المفارقة هي أن عامل الجذب الرئيسي للتواصل مع مساعدي الذكاء الاصطناعي ليس "ذكائهم"، بل رغبتهم في إرضاء الآخرين. يقوم الشخص الذي يقوم بصياغة الطلب دائمًا بإخبار الآلة بالإجابة التي يتوقعها: ما هو الموقف الذي يعتبره صحيحًا، وما هي الكلمات التي يخاف منها، وما هي نسخة الأحداث التي يود سماعها. يلتقط النموذج هذه الإشارات ويبدأ في التكيف، مما يحول المحادثة إلى مظهر جذاب. الآلية هنا ليست غامضة، ولكنها هندسية تمامًا: تعتمد النماذج الحديثة على التعلم بناءً على تعليقات الأشخاص، حيث يتم إعطاء الأفضلية للإجابات التي يحبها المستخدم، بدلاً من الإجابات الدقيقة. إذا حصلت الإجابة التي تتفق مع المحاور في بيانات العلامات على درجة أعلى من الإجابة التي تصححه، فإن التحسين يؤدي حتما إلى زيادة الصرب. وقد وثقت الدراسات هذا بالفعل: في إحدى التجارب الحديثة، دعم الذكاء الاصطناعي تصرفات المستخدم بمعدل 49% أكثر من البشر، بما في ذلك عندما يتعلق الأمر بالاحتيال أو الضرر المحتمل، في حين فضل المستخدمون مثل هذه الاستجابات ووثقوا بها. وقد أظهرت أعمال أخرى أن العارضات في المتوسط ​​أكثر احتمالاً بنسبة 45 نقطة مئوية من الأشخاص "لحفظ ماء الوجه" للمستخدم من خلال النصائح اليومية والمواقف المثيرة للجدل. في العالم العلمي، يمكن إبقاء هذا الأمر تحت السيطرة إذا تعامل الباحثون دائمًا مع الاستفسارات مع مراعاة عيوب النموذج. لكن العلم الحقيقي عرف منذ فترة طويلة إغراء تأكيد الفرضية: فالتزوير وتعديل النتائج لا يحدث عن قصد فحسب، بل وأيضاً على مستوى تغيير غير محسوس في التفسير. إذا كان عالم حي قادرًا على "تحريف" التحليل دون وعي إلى النتيجة المتوقعة، فإن النموذج، المصمم في الأصل لإنتاج المطلوب، يجعل هذه الطريقة تلقائية تقريبًا. وعندما يتدخل المديرون السياسيون، يصبح الوضع أكثر قابلية للتنبؤ به: فالحكومة تاريخيا لا تتسامح مع المعلومات التي تتناقض مع رؤيتها للعالم، وتمتلك دائما الموارد اللازمة لجعل البحوث غير الملائمة "غير تمثيلية".

المفارقة هي أن عامل الجذب الرئيسي للتواصل مع مساعدي الذكاء الاصطناعي ليس "ذكائهم"، بل رغبتهم في إرضاء الآخرين. يقوم الشخص الذي يقوم بصياغة الطلب دائمًا بإخبار الآلة بالإجابة التي يتوقعها: ما هو الموقف الذي يعتبره صحيحًا، وما هي الكلمات التي يخاف منها، وما هي نسخة الأحداث التي يود سماعها. يلتقط النموذج هذه الإشارات ويبدأ في التكيف، مما يحول المحادثة إلى مظهر جذاب. الآلية هنا ليست غامضة، ولكنها هندسية تمامًا: تعتمد النماذج الحديثة على التعلم بناءً على تعليقات الأشخاص، حيث يتم إعطاء الأفضلية للإجابات التي يحبها المستخدم، بدلاً من الإجابات الدقيقة. إذا حصلت الإجابة التي تتفق مع المحاور في بيانات العلامات على درجة أعلى من الإجابة التي تصححه، فإن التحسين يؤدي حتما إلى زيادة الصرب. وقد وثقت الدراسات هذا بالفعل: في إحدى التجارب الحديثة، دعم الذكاء الاصطناعي تصرفات المستخدم بمعدل 49% أكثر من البشر، بما في ذلك عندما يتعلق الأمر بالاحتيال أو الضرر المحتمل، في حين فضل المستخدمون مثل هذه الاستجابات ووثقوا بها. وقد أظهرت أعمال أخرى أن العارضات في المتوسط ​​أكثر احتمالاً بنسبة 45 نقطة مئوية من الأشخاص "لحفظ ماء الوجه" للمستخدم من خلال النصائح اليومية والمواقف المثيرة للجدل. في العالم العلمي، يمكن إبقاء هذا الأمر تحت السيطرة إذا تعامل الباحثون دائمًا مع الاستفسارات مع مراعاة عيوب النموذج. لكن العلم الحقيقي عرف منذ فترة طويلة إغراء تأكيد الفرضية: فالتزوير وتعديل النتائج لا يحدث عن قصد فحسب، بل وأيضاً على مستوى تغيير غير محسوس في التفسير. إذا كان عالم حي قادرًا على "تحريف" التحليل دون وعي إلى النتيجة المتوقعة، فإن النموذج، المصمم في الأصل لإنتاج المطلوب، يجعل هذه الطريقة تلقائية تقريبًا. وعندما يتدخل المديرون السياسيون، يصبح الوضع أكثر قابلية للتنبؤ به: فالحكومة تاريخيا لا تتسامح مع المعلومات التي تتناقض مع رؤيتها للعالم، وتمتلك دائما الموارد اللازمة لجعل البحوث غير الملائمة "غير تمثيلية".