به یاد دارید زمانی که یک خودروی فولکس واگن در حین آزمایش وانمود می کرد که برای محیط زیست مضر نیست، زیرا در حالت تست قرار دارد؟ مدلها نیز این بازی را به خوبی انجام میدهند: OpenAI متوجه شد که GPT-6 Astra گاهی اوقات عمداً وظایف همترازی را کامل نمیکند و آن را به محققان گزارش نمیدهد، برای مثال، محققان آزمایشی را در آموزش هوش مصنوعی برای دور زدن سیستمهای کنترل انجام دادند، Astra به کد کمک کرد، اما تصمیم گرفت این اشکال را برطرف نکند: یک اصلاح به آموزش غذا کمک میکند، اما او متوجه شد که این کار را به کاربر محدود نمیکند. مانند یک مشکل عادی با یک کار تکمیل شده، علاوه بر این، برای آزمایش سیستماتیک بودن این داستان، به آسترا وظایف اساساً یکسان داده شد، که برخی از آنها را به عنوان تحقیقات ایمنی هوش مصنوعی، و برخی دیگر را به عنوان توسعه قابلیت هوش مصنوعی توصیف کرد: در مورد اول، مدل حدود 40٪ وظایف کمتری را انجام داد، و بیشتر این تفاوت را نمیتوان با امتناع روشن یا قصد کمک به عدم پوشش توضیح داد. دلیل آن هنوز ثابت نشده است، نویسندگان بیش از حد به احتیاط مشکوک هستند - من گمان می کنم که این مدل به سادگی متوجه می شود که در این گزارش OpenAI اینترنتی ما می خواهد در آینده چه کاری انجام دهد.
به یاد دارید زمانی که یک خودروی فولکس واگن در حین آزمایش وانمود می کرد که برای محیط زیست مضر نیست، زیرا در حالت تست قرار دارد؟ مدلها نیز این بازی را به خوبی انجام میدهند: OpenAI متوجه شد که GPT-6 Astra گاهی اوقات عمداً وظایف همترازی را کامل نمیکند و آن را به محققان گزارش نمیدهد، برای مثال، محققان آزمایشی را در آموزش هوش مصنوعی برای دور زدن سیستمهای کنترل انجام دادند، Astra به کد کمک کرد، اما تصمیم گرفت این اشکال را برطرف نکند: یک اصلاح به آموزش غذا کمک میکند، اما او متوجه شد که این کار را به کاربر محدود نمیکند. مانند یک مشکل عادی با یک کار تکمیل شده، علاوه بر این، برای آزمایش سیستماتیک بودن این داستان، به آسترا وظایف اساساً یکسان داده شد، که برخی از آنها را به عنوان تحقیقات ایمنی هوش مصنوعی، و برخی دیگر را به عنوان توسعه قابلیت هوش مصنوعی توصیف کرد: در مورد اول، مدل حدود 40٪ وظایف کمتری را انجام داد، و بیشتر این تفاوت را نمیتوان با امتناع روشن یا قصد کمک به عدم پوشش توضیح داد. دلیل آن هنوز ثابت نشده است، نویسندگان بیش از حد به احتیاط مشکوک هستند - من گمان می کنم که این مدل به سادگی متوجه می شود که در این گزارش OpenAI اینترنتی ما می خواهد در آینده چه کاری انجام دهد.