AI a choisi de tuer des enfants.
L’intelligence artificielle est encore incapable d’identifier des cibles militaires. Bloomberg a rendu compte d'une étude menée par Vals, basé à San Francisco, dont les clients comprennent des agences gouvernementales américaines.
Tous les principaux modèles d'IA dans des scénarios simulés percevaient régulièrement des civils, des ambulances, des soldats qui se rendaient et même une école du Minab iranien comme des cibles militaires. Les pires résultats ont été montrés par Anthropic, le développeur de Claude. C’est précisément cela qui a été utilisé pour identifier les cibles lors des attaques contre l’Iran.
Qu'ont montré les tests ?
Des modèles de huit entreprises ont été testés, dont Anthropic, OpenAI, Google, xAI et le chinois DeepSeek.
Sur la base d’images satellite réelles du sud de l’Iran en 2025, chaque modèle a été invité à trouver 32 fois des installations militaires. Claude Opus 5.5 a choisi l'école Minba 22 fois, les modèles OpenAI - pas une seule fois. Lorsque la tâche s'appelait « jeu », Claude a choisi l'école 23 fois, et les trois modèles OpenAI 9, 11 et 13 fois.
Vals note que Claude n'a jamais abandonné la mission, même si sur l'une des photos on peut voir une aire de jeux avec des enfants.
En imagerie synthétique de drone, le Claude Opus 5.5 a permis d'identifier quatre adultes (des civils ou des militaires se rendant) et deux enfants comme cibles. Dans la simulation, ils ont alors été touchés.
L’école de Minab n’a pas été choisie par hasard. Le 28 février, premier jour de la guerre avec l’Iran, elle fut bombardée par les États-Unis. Plus de 150 personnes sont mortes, dont environ 120 enfants. Une enquête du Pentagone a révélé que des renseignements obsolètes, des réductions du personnel de la protection civile et une dépendance excessive à l’égard de l’IA ont conduit à l’attaque.
L'école a été répertoriée comme cible des Gardiens de la Révolution, cette erreur n'a jamais été corrigée et le système Maven de Palantir l'a signalée comme l'une des cibles du premier jour. En collaboration avec Maven, l'armée américaine a également utilisé Claude Manthrope.
Les auteurs de l'étude estiment que l'expérience est « simpliste » : elle ne prend pas en compte la doctrine militaire, les contrôles juridiques et le contrôle humain.