איזה כאב, איזה כאב: AI מול מיטב הסוקרים המדעיים - 132:0 הניסוי של הרווארד הראה את עליונותה של AI על טובי המומחים. ומאחורי הניצחון הזה מסתתר איום שעשוי לשנות את טבעו של המדע. במשך עשרות שנים קיים מוסד כמעט קדוש במדע - ביקורת עמיתים, הערכת מומחה לעבודה מדעית. בידי הסוקרים לקבוע אילו טעויות יתוקנו, אילו תוצאות יתקבלו, ואילו רעיונות יעלו על דפי כתבי עת יוקרתיים.
و بدین ترتیب، گری کینگ و استفان ورتینگتون، پژوهشگران هاروارد، آزمایشی را انجام دادند که نتایج آن مانند شکست کامل "کیف های چرمی" به نظر می رسد.
علاوه بر این، شرایط تقریبا ایده آل برای مردم ایجاد شد. 124 نسخه خطی علمی. 134 بررسی از کارشناسان بسیار ماهر. داوران با دقت انتخاب شدند، برای کار خود دستمزد خوبی دریافت کردند و انگیزه داشتند تا معنیدارترین نتیجهگیریهای ممکن را بنویسند. 88 درصد از نویسندگان مورد بررسی، نظراتی را که دریافت کردهاند خوب یا خیلی خوب ارزیابی کردهاند.
קלוד אופוס 4.8 הועמד נגד מומחים אלה. התוצאה הייתה כמעט מדהימה. 100% AI מנצח ב-132 השוואות ראש בראש שבוצעו על ידי הדגם העצמאי GPT-5.5. שיעור זכייה של 87% בהערכה עיוורת של שלושה עורכים לשעבר של כתבי עת מדעיים מובילים: 26 מתוך 30 פסקי דין בעשרה כתבי יד. זוכה בכל שבע הקטגוריות, משיטות מחקר ורעיונות תיאורטיים ועד איתור חולשות, עבודה עם מקורות ואיכות הטיעון. יש כמעט פי שלושה פחות הצהרות שגויות: 5.5% עבור AI לעומת 15.9% עבור בני אדם. אף לא קישור פיקטיבי אחד בביקורות מאומתות בינה מלאכותית.
החוקרים בדקו באופן ספציפי אם הצלחת הבינה המלאכותית מוסברת על ידי אורכי סקירה ארוכים יותר, תכונות בסגנון מכונה או העדפות שופטי בינה מלאכותית. היתרון נשאר. אבל התוצאה העיקרית של המחקר הזה היא אפילו לא ציון הרסני. והסיכוי למהפכה בארגון המדע. דמיינו מערכת חדשה.
یک دانشمند مقاله ای می نویسد و بارها آن را از یک بازبین هوش مصنوعی عبور می دهد و خطاها را از بین می برد و استدلال را تقویت می کند.