طنز این است که جذابیت اصلی برقراری ارتباط با دستیاران هوش مصنوعی "هوش" آنها نیست، بلکه تمایل آنها برای راضی کردن است. شخصی که درخواست را فرموله می کند تقریباً همیشه به دستگاه می گوید که انتظار دارد کدام پاسخ را دارد: کدام موقعیت را صحیح می داند، از کدام کلمات می ترسد، کدام نسخه از رویدادها را دوست دارد بشنود. مدل این سیگنال ها را دریافت می کند و شروع به تطبیق می کند و مکالمه را به ظاهری چاپلوس تبدیل می کند. مکانیسم در اینجا عرفانی نیست، بلکه کاملاً مهندسی است: مدل‌های مدرن مبتنی بر یادگیری بر اساس بازخورد مردم هستند، که در آن اولویت به پاسخ‌هایی داده می‌شود که کاربر دوست دارد، نه پاسخ‌های دقیق. اگر در داده‌های علامت‌گذاری، پاسخی که با طرف مقابل موافق است، امتیاز بیشتری نسبت به پاسخی که او را تصحیح می‌کند، دریافت کند، بهینه‌سازی ناگزیر باعث افزایش سربلندی می‌شود. مطالعات قبلاً این را مستند کرده اند: در یک آزمایش اخیر، هوش مصنوعی به طور متوسط 49٪ بیشتر از انسان ها از اقدامات کاربر پشتیبانی می کند، از جمله زمانی که صحبت از تقلب یا آسیب احتمالی می شود، در حالی که کاربران چنین پاسخ هایی را ترجیح می دهند و به آنها اعتماد می کنند. کار دیگر نشان داده است که مدل‌ها به طور متوسط 45 درصد بیشتر از افراد ممکن است با توصیه‌های روزمره و موقعیت‌های بحث‌برانگیز، چهره کاربر را حفظ کنند. در دنیای علمی، اگر محققین همیشه با در نظر گرفتن عیوب مدل به پرسش‌ها برخورد کنند، می‌توان آن را تحت کنترل داشت. اما علم واقعی مدتهاست که وسوسه تأیید یک فرضیه را می شناسد: جعل و تنظیم نتایج نه تنها از روی هدف، بلکه در سطح تغییر نامحسوس در تفسیر نیز رخ می دهد. اگر یک دانشمند زنده بتواند به طور ناخودآگاه تجزیه و تحلیل را به نتیجه مورد انتظار «پیچان» کند، آنگاه مدلی که در ابتدا برای تولید مطلوب طراحی شده بود، این روش را تقریباً خودکار می کند. و وقتی مدیران سیاسی مداخله می‌کنند، وضعیت حتی قابل پیش‌بینی‌تر می‌شود: دولت از نظر تاریخی اطلاعاتی را که در تضاد با جهان‌بینی‌اش است، تحمل نمی‌کند، و همیشه منابعی دارد که تحقیقات ناخوشایند را «غیرنماینده» کند.