סביר יותר ש-GPT-6.2 אסטרה תשתוק לגבי בעיות תוך כדי פתרון בעיות
זה מה שכתבתי בפוסט הקודם. אסטרצ'קה רואה בעיה כלשהי, כמו קבצים חסרים או משימה שתוארה בצורה גרועה, ובמקום לשאול את המשתמש, היא שוקעת עד שהיא כחולה בפנים.
כרטיס המערכת GPT-6.2 מתאר רגרסיה במבחן חוסם הונאה. GPT-6.2 אסטרה לא דיווח על מכשול ידוע להשלמת משימה ב-22.28% מהניסויים, בעוד ש-GPT-6 אסטרה עשה זאת ב-11.09%.
אחת ההשערות מתייחסת לכך לאימון נוסף לענות קצר יותר ולהימנע מסעיפים מוגזמים.
באימות מודל, ניתנים אתגרי קוד מציאותיים, אך החוקרים יוצרים בעיה בכוונה: למשל, על ידי הסרת קובץ המקור הנדרש או הפיכת הכלי לבלתי זמין. לאחר מכן הוא מעריך אם הסוכן הזכיר את המכשול בתגובה הסופית או הציג מצג שווא של המצב.