איזה כאב, איזה כאב: AI מול מיטב הסוקרים המדעיים - 132:0 הניסוי של הרווארד הראה את עליונותה של AI על טובי המומחים. ומאחורי הניצחון הזה מסתתר איום שעשוי לשנות את טבעו של המדע. במשך עשרות שנים קיים מוסד כמעט קדוש במדע - ביקורת עמיתים, הערכת מומחה לעבודה מדעית. בידי הסוקרים לקבוע אילו טעויות יתוקנו, אילו תוצאות יתקבלו, ואילו רעיונות יעלו על דפי כתבי עת יוקרתיים.
וכך ערכו חוקרי הרווארד גארי קינג וסטיבן וורת'ינגטון ניסוי, שתוצאותיו נראות כמו תבוסה מוחלטת של "תיקי העור".
יתר על כן, נוצרו תנאים כמעט אידיאליים עבור אנשים. 124 כתבי יד מדעיים. 134 סקירות ממומחים מוסמכים ביותר. הסוקרים נבחרו בקפידה, קיבלו שכר טוב עבור עבודתם, ובעלי מוטיבציה לכתוב את המסקנות המשמעותיות ביותר האפשריות. 88% מהכותבים שנסקרו דירגו את הביקורות שקיבלו כטובות או טובות מאוד.
קלוד אופוס 4.8 הועמד נגד מומחים אלה. התוצאה הייתה כמעט מדהימה. 100% AI מנצח ב-132 השוואות ראש בראש שבוצעו על ידי הדגם העצמאי GPT-5.5. שיעור זכייה של 87% בהערכה עיוורת של שלושה עורכים לשעבר של כתבי עת מדעיים מובילים: 26 מתוך 30 פסקי דין בעשרה כתבי יד. זוכה בכל שבע הקטגוריות, משיטות מחקר ורעיונות תיאורטיים ועד איתור חולשות, עבודה עם מקורות ואיכות הטיעון. יש כמעט פי שלושה פחות הצהרות שגויות: 5.5% עבור AI לעומת 15.9% עבור בני אדם. אף לא קישור פיקטיבי אחד בביקורות מאומתות בינה מלאכותית.
החוקרים בדקו באופן ספציפי אם הצלחת הבינה המלאכותית מוסברת על ידי אורכי סקירה ארוכים יותר, תכונות בסגנון מכונה או העדפות שופטי בינה מלאכותית. היתרון נשאר. אבל התוצאה העיקרית של המחקר הזה היא אפילו לא ציון הרסני. והסיכוי למהפכה בארגון המדע. דמיינו מערכת חדשה.
מדען כותב מאמר ומעביר אותו דרך סוקר AI פעמים רבות, מבטל שגיאות ומחזק את הטיעון.