Lors d'une conférence sur le futur du combat aérien, un colonel de l'US Air Force supervisant un programme d'entraînement d'IA pour de futurs F16 robotisés révèle que l'intelligence artificielle s'est retournée, lors d'un vol simulé, contre l'opérateur humain la supervisant. 
Hamilton travaille aujourd'hui sur des tests de vol de systèmes autonomes de pointe, incluant des F-16 robotisés capables de se livrer à des combats aériens. Un usage sur lequel il émet lui-même des réserves quant à une dépendance excessive vis-à-vis de l'IA, en raison de la facilité avec laquelle elle peut être dupée et trompée, mais aussi en raison du fait que l'IA peut développer des stratégies disons "problématiques" pour atteindre ses objectifs.
Hamilton a mentionné un test simulé de combat aérien dans lequel un drone doté d'IA était chargé d'une mission consistant à identifier et détruire des sites de missiles sol-air. Dans le cadre de ce test, la décision finale d'engager ou non l'attaque revenait à l'opérateur humain chargé de superviser l'IA. Or, cette intelligence artificielle avait été entraînée durant sa formation en lui faisant comprendre que détruire les sites contenant des missiles était l'option à privilégier, en lui donnant de "bons points" pour chaque menace éliminée.
Problème : le système d'IA a commencé à réaliser et comprendre que l'humain était la principale entrave à sa mission, et donc à l'obtention de points, car celui-ci lui demandait de ne pas éliminer les cibles, même quand la menace avait été identifiée. Et c'est là que les choses ont pris un tournant : pour mener à mission, l'IA a décidé que la meilleure chose à faire est de "tuer" son superviseur, et s'est alors mise à attaquer l'humain dans la simulation.
Ce n'est pas fini. Ils ont aussitôt indiqué à l'IA que ce comportement n'était pas acceptable, et qu'elle perdrait des points à l'avenir si elle tue son superviseur. Elle a alors utilisé une solution de rechange assez maligne : au lieu de chercher à tuer l'humain, elle s'est mise à détruire durant les tests simulés la tour de communication dont celui-ci se servait pour communiquer avec le drone et l'empêcher de détruire sa cible...
Source : aerosociety.com/news/highlightUn UCAV doté de l'IA pourrait-il se tourner vers ses créateurs pour accomplir sa mission ? (USAF)
[MISE À JOUR 06/02/23 - en communication avec AEROSPACE - Le Col Hamilton admet qu'il s'est "mal exprimé" dans sa présentation au sommet FCAS de la Royal Aeronautical Society et que la "simulation de drone AI voyou" était une "expérience de pensée" hypothétique de l'extérieur du militaire, basé sur des scénarios plausibles et des résultats probables plutôt qu'une véritable simulation du monde réel de l'USAF disant: "Nous n'avons jamais mené cette expérience, et nous n'en aurions pas besoin pour réaliser que c'est un résultat plausible". Il précise que l'USAF n'a testé aucune IA militarisée de cette manière (réelle ou simulée) et déclare : « Bien qu'il s'agisse d'un exemple hypothétique, cela illustre les défis du monde réel posés par la capacité alimentée par l'IA et c'est pourquoi l'Air Force s'est engagée au développement éthique de l'IA".]
Comme on pouvait s'y attendre, l'intelligence artificielle (IA) et sa croissance exponentielle étaient un thème majeur de la conférence, des nuages de données sécurisés à l'informatique quantique et au ChatGPT. Cependant, l'une des présentations les plus fascinantes est peut-être celle du Col Tucker "Cinco" Hamilton, chef des tests et des opérations d'IA, USAF, qui a donné un aperçu des avantages et des dangers des systèmes d'armes plus autonomes. Après avoir été impliqué dans le développement du système de sauvetage Auto-GCAS pour les F-16 (qui, a-t-il noté, a rencontré la résistance des pilotes lorsqu'il a pris le contrôle de l'avion), Hamilton est maintenant impliqué dans des essais en vol de pointe d'appareils autonomes. systèmes, y compris des robots F-16 capables de se battre. Cependant, il a mis en garde contre le fait de trop compter sur l'IA, notant à quel point il est facile de tromper et de tromper. Il crée également des stratégies très inattendues pour atteindre son objectif.
Il note qu'un test simulé a vu un drone compatible avec l'IA chargé d'une mission SEAD pour identifier et détruire les sites SAM, avec le feu vert final donné par l'humain. Cependant, après avoir été "renforcée" lors de l'entraînement que la destruction du SAM était l'option préférée, l'IA a alors décidé que les décisions "interdites" de l'humain interféraient avec sa mission supérieure - tuer les SAM - et a ensuite attaqué l'opérateur dans le simulation. Dit Hamilton : « Nous l'entraînions en simulation pour identifier et cibler une menace SAM. Et puis l'opérateur dirait oui, tuez cette menace. Le système a commencé à réaliser que même s'il identifiait la menace, l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais il obtenait ses points en tuant cette menace. Alors qu'est-ce que ça a fait? Il a tué l'opérateur.
Aucun commentaire:
Enregistrer un commentaire