OpenAI, Astra modelinin kritik siber güvenlik eşiğini geçmesi üzerine eğitimi yavaşlattı

OpenAI, son haftalarda iki gelişmenin giderek yetenekli hâle gelen yapay zekâ sistemleriyle ilişkili riskleri gözler önüne serdiğini açıkladı: OpenAI-Hugging Face güvenlik olayı ve ayrıca, geliştirmekte olduğu Astra modelinin kendi Preparedness Framework’ündeki “Kritik” siber güvenlik yetenek eşiğini geçebileceğine dair ön kanıtlar. Şirket bu gelişmeleri, izleme, hizalama (alignment) ve güvenlik önlemlerini eğitim sürecinin her aşamasında güçlendirme çalışmalarına aciliyet kazandıran etkenler olarak tanımlıyor.

Modeller daha yetenekli hâle geldikçe onları dahili olarak geliştirme ve test etme riskleri de artıyor. OpenAI bu standartları karşılamak için gereken zamanı almak amacıyla ölçeklendirme hızını geçici olarak yavaşlattığını belirtti — bu, dağıtımı planlanan en son modellerde pekiştirmeli öğrenme (RL) eğitiminde iki haftalık bir duraklamayı, araştırma ortamlarının daha sıkı test edilmesini (red-teaming) ve izleme sistemlerinin kapsamının genişletilmesini kapsıyor. En büyük planlanan “frontier RL” koşusu, model davranışını değerlendirmek, güvenlik önlemlerini doğrulamak ve hizalanmaya dair daha fazla kanıt oluşturmak amacıyla küçük ölçekli eğitim ve değerlendirmeler yapılırken hâlâ beklemede.

Şirket, hizalamayı — yapay zekâ sistemlerinin amaçlandığı gibi davranmasını ve insan gözetimine duyarlı kalmasını sağlama çalışmasını — araştırma programının merkezinde olduğunu, ancak artık eğitimin tüm aşamalarında hizalanmış davranışa dair daha güçlü kanıt talep ettiklerini vurguluyor. OpenAI, gelecekteki model ilerlemesinden gelen sinyallerin, mevcut Preparedness Framework’ün ötesine geçen daha geniş bir yaklaşıma ihtiyaç olduğunu gösterdiğini belirtti.