Un membre du conseil d'administration d'OpenAI souhaite que les laboratoires d'IA suspendent leurs progrès « dès maintenant ».
Paul Christiano, qui a inventé le RLHF, la technique derrière la formation ChatGPTs, a déclaré lundi sur le podcast Devarkash qu'« il n'est pas bon pour les laboratoires d'IA américains d'améliorer la pré-formation et l'apprentissage par renforcement compte tenu de leur posture de sécurité actuelle. ".
Les laboratoires doivent-ils être suspendus ? "Je pense que nous devrions le faire. » Sur l'amélioration des algorithmes qui peuvent être volés rapidement : « Je pense qu'ils devraient arrêter cela maintenant. ".
Il craint que la Chine ne vole des super-intelligences au milieu de la course, de sorte que les laboratoires ne puissent pas ralentir même si leurs modèles déraillent. L'hôte Dwarkash Patel a noté qu'une startup de sécurité était entrée dans chaque Anthropics Slack dans les 12 heures.
"Mais vous faites partie du conseil d'administration d'OpenAI", a déclaré Patel. Cristiano : "Il est très important dans cette conversation que je ne parle pas en tant que membre du conseil d'administration d'OpenAI. ".
Il donne peut-être une chance sur trois d'avoir une superintelligence d'ici un an si rien ne la ralentit, et évalue le risque de prise de contrôle de l'IA à ce moment-là à « un risque de 10 % plutôt qu'un risque de 1 % ». ".