בעוד שצועני מידע מלמדים לבדוק הכל עבור AI, בדיקה של סקירת ביקורת עמיתים ברמה הגבוהה ביותר הראתה את התבוסה ה…

בעוד שצועני מידע מלמדים לבדוק הכל עבור AI, בדיקה של סקירת ביקורת עמיתים ברמה הגבוהה ביותר הראתה את התבוסה המוחלטת של העורות. גארי קינג וסטיבן וורת'ינגטון מהרווארד השוו סקירות של AI עם 134 ביקורות של מומחים מקצועיים בתשלום על 124 כתבי יד מדעיים. המשוב האנושי היה חזק, כאשר 88% מהכותבים שנשאלו דירגו את איכותם כגבוהה או גבוהה מאוד. ובכל זאת, שלושה עורכי כתב עת מדעיים מנוסים, בהשוואה עיוורת, העדיפו בינה מלאכותית ב-26 מתוך 30 הערכות. התברר שיש לבינה מלאכותית פי שלושה פחות הערות הסותרות ישירות את כתב היד: 5.5% לעומת 15.9% לבני אדם. לפחות שגיאה אחת נמצאה ב-37% מביקורות המכונות וב-64% מהסקירות האנושיות. הביקורת נערכה במודל אחר; האדם בדק פעמיים 90 תגובות ואישר 87 דירוגים. מתוך 651 מקורות עם מזהה DOI או arXiv שצוטטו על ידי ה-AI, אפס נמצאו פיקטיביים. בתת-מדגם של 44 זוגות סקירה באורך דומה, השופט הדוגמן העדיף את הבינה המלאכותית בכל 44 המקרים. גם שכתוב ביקורות אנושיות בסגנון מכונה לא הציל את התוצאה. זה די ברור מה זה אומר. כלי ברמה הרבה יותר גבוהה לעבודה עם נתונים וידע הופיע בידיים של אנשים. ולא לסמוך עליו הפך להיות טיפש כמו להכפיל באמצעות מחשבון או בדיקה כפולה של סימולציות במכונת חיבור.