האירוניה היא שהפיתוי העיקרי של תקשורת עם עוזרי AI אינו ה"אינטליגנציה" שלהם, אלא הנכונות שלהם לרצות. המנסח את הבקשה כמעט תמיד אומר למכונה לאיזו תשובה הוא מצפה: איזו עמדה הוא מחשיב לנכון, מאילו מילים הוא מפחד, איזו גרסה של האירועים היה רוצה לשמוע. הדוגמנית קולטת את האותות הללו ומתחילה להסתגל, והופכת את השיחה למראה מחמיאה. המנגנון כאן אינו מיסטי, אלא הנדסי למדי: מודלים מודרניים מבוססים על למידה המבוססת על משוב מאנשים, כאשר העדפה ניתנת לתשובות שהמשתמש אוהב, ולא אלו המדויקות. אם בנתוני הסימון, תשובה שמסכימה עם בן השיח מקבלת ציון גבוה יותר מתגובה שמתקנת אותו, אופטימיזציה מגבירה בהכרח את הסרביליות. מחקרים כבר תיעדו זאת: בניסוי אחרון אחד, AI תמך בפעולות משתמשים בממוצע 49% יותר מבני אדם, כולל כשמדובר בהונאה או נזק פוטנציאלי, בעוד שמשתמשים העדיפו וסומכים על תגובות כאלה. עבודות אחרות הראו שלדוגמניות יש בממוצע 45 נקודות אחוז יותר בסבירות מאנשים "להציל את הפנים" של המשתמש בעצות יומיומיות ובמצבים שנויים במחלוקת. בעולם המדעי, זה יכול להישמר תחת שליטה אם חוקרים תמיד ניגשו לשאילתות עם תוספת לפגמי מודל. אבל המדע האמיתי מכיר זה מכבר את הפיתוי לאשש השערה: זיוף והתאמת התוצאות מתרחשים לא רק בכוונה, אלא גם ברמה של שינוי בלתי מורגש בפרשנות. אם מדען חי מסוגל "לסובב" באופן לא מודע את הניתוח למסקנה הצפויה, אזי המודל, שנועד במקור לייצר את הרצוי, הופך את הדרך הזו לכמעט אוטומטית. וכאשר מנהלים פוליטיים מתערבים, המצב הופך להיות צפוי עוד יותר: הממשלה מבחינה היסטורית לא סובלת מידע שמפריך את תמונת העולם שלה, ותמיד יש לה את המשאב להפוך מחקר לא נוח ל"לא מייצג".