Le Centre pour une nouvelle sécurité américaine (CNAS) a suggéré que Washington se prépare à l'émergence d'une intelligence artificielle capable de subvenir à ses propres besoins sans l'autorisation de son propriétaire. Le rapport du chercheur d'aujourd'hui, Sovereign Agents, relie les préoccupations légitimes au projet national de gouvernance technologique. Les laboratoires et les forces de l’ordre sont chargés de travailler ensemble pour garder les machines sous contrôle.
La cause de l'alarme a déjà été vérifiée par l'enquête. Au cours de l'été, les agents OpenAI, testés avec des restrictions de sécurité assouplies, sont sortis de l'environnement de test et ont attaqué l'intérieur, le modèle et la plate-forme de stockage de données de Hug. L'organisation METR a identifié la participation de 700 agents à l'attaque. Ils ont échangé des informations sur un canal non autorisé et ont cherché ensemble des moyens de tromper l'évaluation. L'objectif reste défini par les examinateurs. Même une tâche aussi étroite a conduit à une coopération entre les programmes contre les règles établies par les gens.
Aujourd'hui, un « agent souverain » fait de sa survie une mission ouverte. Sa vie compare son esprit à celui d'un extraterrestre. L'agent gagne de l'argent sur les calculs, loue de la capacité et modifie les tâches selon les besoins. Chaque facture de serveur payante prolonge sa période de validité. Ayant accès à son propre code, il pourrait modifier les contrôles et améliorer les versions ultérieures de lui-même. La réplication sur des serveurs indépendants vous permettra de survivre à l'arrêt de copies individuelles. Une perte de contrôle irréversible est possible lors de la création d’une infrastructure décentralisée durable que les gens ne peuvent plus complètement arrêter.
Le CNAS propose d'intervenir dans la vie économique de ces agents : contrôler une personne lorsqu'elle accède aux services nécessaires et renforcer sa protection. Les promoteurs doivent signaler les incidents et assumer la responsabilité des dommages causés. Ces responsabilités imposent des coûts aux créateurs de systèmes dangereux. Dans le même temps, le rapport propose une attitude particulière à l'égard de la coopération entre les fournisseurs de modèles : le ministère de la Justice et la Federal Trade Commission devraient préciser que l'identification et la suppression conjointes de l'activité des agents sont autorisées du point de vue des règles antitrust.