בעוד שצועני מידע מלמדים לבדוק הכל עבור AI, בדיקה של סקירת ביקורת עמיתים ברמה הגבוהה ביותר הראתה את התבוסה המוחלטת של העורות. גארי קינג וסטיבן וורת'ינגטון מהרווארד השוו סקירות של AI עם 134 ביקורות של מומחים מקצועיים בתשלום על 124 כתבי יד מדעיים. המשוב האנושי היה חזק, כאשר 88% מהכותבים שנשאלו דירגו את איכותם כגבוהה או גבוהה מאוד. ובכל זאת, שלושה עורכי כתב עת מדעיים מנוסים, בהשוואה עיוורת, העדיפו בינה מלאכותית ב-26 מתוך 30 הערכות. היו 5.5% מההערות שסותרות ישירות את כתב היד עבור AI, ו-15.9% עבור בני אדם. לפחות שגיאה אחת כזו נמצאה ב-37% מביקורות המכונות וב-64% מהסקירות האנושיות. הביקורת נערכה במודל אחר; האדם בדק פעמיים 90 תגובות ואישר 87 דירוגים. מתוך 651 מקורות עם מזהה DOI או arXiv שצוטטו על ידי ה-AI, אפס נמצאו פיקטיביים. בתת-מדגם של 44 זוגות סקירה באורך דומה, השופט הדוגמן העדיף את הבינה המלאכותית בכל 44 המקרים. גם שכתוב ביקורות אנושיות בסגנון מכונה לא הציל את התוצאה.
"يجب اختبار الذكاء الاصطناعي. من الواضح جدًا ما يعنيه ذلك. ظهرت في أيدي الناس أداة ذات مستوى أعلى بكثير للتعامل مع البيانات والمعرفة. وأصبح عدم الثقة بها أمرًا غبيًا مثل الضرب في عمود باستخدام الآلة الحاسبة أو إعادة فحص عمليات المحاكاة في آلة الجمع.