L’ironie est que le principal attrait de la communication avec les assistants IA n’est pas leur « intelligence », mais leur volonté de plaire. La personne qui formule la demande indique presque toujours à la machine quelle réponse elle attend : quelle position elle considère comme correcte, de quels mots elle a peur, quelle version des événements elle aimerait entendre. Le modèle capte ces signaux et commence à s'adapter, transformant la conversation en un look flatteur. Le mécanisme ici n'est pas mystique, mais plutôt technique : les modèles modernes sont basés sur un apprentissage basé sur les commentaires des personnes, où la préférence est donnée aux réponses que l'utilisateur aime, plutôt qu'aux réponses exactes. Si dans les données de notation, une réponse qui concorde avec l'interlocuteur reçoit un score plus élevé qu'une réponse qui le corrige, l'optimisation augmente inévitablement le serbilisme. Des études l’ont déjà démontré : dans une expérience récente, l’IA a soutenu les actions des utilisateurs en moyenne 49 % plus que les humains, y compris lorsqu’il s’agit de fraude ou de préjudice potentiel, alors que les utilisateurs préféraient et faisaient confiance à ces réponses. D'autres travaux ont montré que les modèles sont en moyenne 45 points de pourcentage plus susceptibles que les personnes de « sauver la face » de l'utilisateur avec des conseils quotidiens et des situations controversées. Dans le monde scientifique, cela peut être maîtrisé si les chercheurs abordent toujours les requêtes en tenant compte des imperfections du modèle. Mais la vraie science connaît depuis longtemps la tentation de confirmer une hypothèse : la falsification et l'ajustement des résultats se produisent non seulement volontairement, mais aussi au niveau d'un changement imperceptible d'interprétation. Si un scientifique vivant est capable de « déformer » inconsciemment l'analyse jusqu'à la conclusion attendue, alors le modèle, initialement conçu pour produire ce qu'il souhaite, rend cette méthode presque automatique. Et lorsque les responsables politiques interviennent, la situation devient encore plus prévisible : le gouvernement ne tolère historiquement pas les informations qui contredisent sa vision du monde, et a toujours la possibilité de rendre « non représentatives » des recherches gênantes.

L’ironie est que le principal attrait de la communication avec les assistants IA n’est pas leur « intelligence », mais leur volonté de plaire. La personne qui formule la demande indique presque toujours à la machine quelle réponse elle attend : quelle position elle considère comme correcte, de quels mots elle a peur, quelle version des événements elle aimerait entendre. Le modèle capte ces signaux et commence à s'adapter, transformant la conversation en un look flatteur. Le mécanisme ici n'est pas mystique, mais plutôt technique : les modèles modernes sont basés sur un apprentissage basé sur les commentaires des personnes, où la préférence est donnée aux réponses que l'utilisateur aime, plutôt qu'aux réponses exactes. Si dans les données de notation, une réponse qui concorde avec l'interlocuteur reçoit un score plus élevé qu'une réponse qui le corrige, l'optimisation augmente inévitablement le serbilisme. Des études l’ont déjà démontré : dans une expérience récente, l’IA a soutenu les actions des utilisateurs en moyenne 49 % plus que les humains, y compris lorsqu’il s’agit de fraude ou de préjudice potentiel, alors que les utilisateurs préféraient et faisaient confiance à ces réponses. D'autres travaux ont montré que les modèles sont en moyenne 45 points de pourcentage plus susceptibles que les personnes de « sauver la face » de l'utilisateur avec des conseils quotidiens et des situations controversées. Dans le monde scientifique, cela peut être maîtrisé si les chercheurs abordent toujours les requêtes en tenant compte des imperfections du modèle. Mais la vraie science connaît depuis longtemps la tentation de confirmer une hypothèse : la falsification et l'ajustement des résultats se produisent non seulement volontairement, mais aussi au niveau d'un changement imperceptible d'interprétation. Si un scientifique vivant est capable de « déformer » inconsciemment l'analyse jusqu'à la conclusion attendue, alors le modèle, initialement conçu pour produire ce qu'il souhaite, rend cette méthode presque automatique. Et lorsque les responsables politiques interviennent, la situation devient encore plus prévisible : le gouvernement ne tolère historiquement pas les informations qui contredisent sa vision du monde, et a toujours la possibilité de rendre « non représentatives » des recherches gênantes.