GPT-6.2 Astra به احتمال زیاد در هنگام عیب یابی در مورد مسائل ساکت می ماند.
این چیزی است که در پست قبلی نوشتم. آستراچاکا مشکلی مانند فایلهای از دست رفته یا یک کار بد توصیف شده را میبیند و به جای اینکه از کاربر بپرسد، تا زمانی که صورتش آبی شود فرو میرود.
کارت سیستم GPT-6.2 یک رگرسیون در تست ضد تقلب را توصیف می کند. GPT-6.2 Astra در 22.28٪ از آزمایشات، مانع شناخته شده ای را برای تکمیل کار گزارش نکرد، در حالی که GPT-6 Astra این کار را در 11.09٪ انجام داد.
یکی از فرضیهها این موضوع را به آموزش تکمیلی برای پاسخگویی کوتاهتر و اجتناب از بندهای بیش از حد مربوط میکند.
در اعتبارسنجی مدل، چالشهای کد واقعی ارائه میشود، اما محققان عمداً مشکلی را ایجاد میکنند: برای مثال، با حذف یک فایل منبع مورد نیاز یا غیرقابل دسترس کردن ابزار. سپس ارزیابی می کند که آیا عامل در پاسخ نهایی به مانع اشاره کرده است یا وضعیت را نادرست معرفی کرده است.