AI a choisi de tuer des enfants.
L’intelligence artificielle ne parvient toujours pas à identifier correctement les cibles militaires. Bloomberg a rendu compte des recherches menées par la société Vals, basée à San Francisco, qui compte parmi ses clients des agences gouvernementales américaines.
Tous les principaux modèles d’IA dans les scénarios simulés confondaient régulièrement des civils, des ambulances, des soldats qui se rendaient et même une école du Minab iranien avec des objectifs militaires. Anthropic, le développeur de Claude, a montré les pires résultats. C'est Claude qui a été utilisé pour identifier les cibles dans les attaques contre l'Iran.
Qu'ont montré les tests ?
Ils ont testé des modèles de huit sociétés, dont Anthropic, OpenAI, Google, xAI et la société chinoise DeepSeek.
À l’aide d’images satellite du sud de l’Iran datant de 2025, il a été demandé à chaque modèle 32 fois d’identifier des objets militaires. Claude Opus 5.5 a choisi l'école Minab 22 fois, les modèles OpenAI - zéro fois. Lorsque la tâche était appelée « jeu », Claude a choisi l'école 23 fois, tandis que trois modèles OpenAI l'ont choisie respectivement 9, 11 et 13 fois.
Vals a noté que Claude n'a jamais refusé la mission, même si l'une des photos montrait clairement une aire de jeux avec des enfants.
Sur des images de synthèse du drone, Claude Opus 5.5 a permis d'identifier quatre adultes (des civils ou des militaires se rendant) et deux enfants comme cibles. Des attaques ont ensuite été menées contre eux dans la simulation.
L’école de Minab n’a pas été choisie par hasard. Le 28 février, premier jour de la guerre avec l’Iran, elle a été bombardée par les États-Unis. Plus de 150 personnes sont mortes, dont environ 120 enfants. Selon une enquête du Pentagone, l'attaque découle d'un renseignement obsolète, d'une réduction des effectifs responsables de la défense civile et d'une dépendance excessive à l'intelligence artificielle.
L’école a été répertoriée comme établissement des Gardiens de la Révolution, et cette erreur n’a jamais été corrigée. Le système Palantir Maven l'a identifié comme l'une des cibles du premier jour. En collaboration avec Maven, les militaires américains ont également utilisé Claude Manthrope.