Araştırma: İnsanlar 40 bin oyun turunda AI ajan komutlarının üçte birindeki tehdidi kaçırdı
Oyunlaştırılmış bir 'insan onayı' deneyinde, katılımcılara yapay zekâ ajanlarının önerdiği komutlar gösterilip onaylamaları ya da reddetmeleri istendi. Kırk bin turdan toplanan veriler, insanların zararlı komutların üçte birini fark edemeyip onayladığını ortaya koydu. Bulgu, Hacker News'te 289 puan ve 206 yorumla geniş bir teknik tartışma başlattı.
Yapay zekâ ajanlarının, kullanıcı adına dosya silme, komut çalıştırma veya sistem ayarı değiştirme gibi eylemler önerdiği ve nihai kararın insana bırakıldığı “insan-onaylı” güvenlik modeli, birçok AI ürününün temel güvenlik varsayımı. Yeni bir oyunlaştırılmış deney, bu varsayımın ne kadar sağlam olduğunu test etti.
Deneyin tasarımı
Araştırmacılar, katılımcılara yapay zekâ ajanlarının önerdiği çeşitli komutları gösteren bir oyun tasarladı. Katılımcılardan her komutu inceleyip onaylamaları ya da reddetmeleri istendi; bazı komutlar zararsızken bazıları gizlenmiş ölçüde zararlı işlemler içeriyordu (örneğin veri sızdırma veya sistem yapılandırmasını bozma potansiyeli taşıyan komutlar).
Sonuçlar
Kırk bin oyun turundan elde edilen toplu veri, katılımcıların zararlı olarak işaretlenmiş komutların yaklaşık üçte birini fark edip reddetmek yerine onayladığını gösterdi. Başka bir deyişle, insan gözden geçirmesi güvenlik katmanı olarak devreye girdiğinde bile, tehditli komutların önemli bir kısmı sistematik olarak gözden kaçıyor.
Neden önemli
Yapay zekâ ajanlarının gerçek sistemlere (dosya sistemleri, ödeme araçları, bulut altyapısı) giderek daha fazla erişim kazandığı bir dönemde, “her kritik eylemde insana sor” yaklaşımı yaygın bir güvenlik stratejisi olarak kabul ediliyor. Bu bulgu, söz konusu stratejinin insan dikkatinin sınırlarına dayandığını ve tek başına yeterli olmayabileceğini gösteriyor — bu da otomatik tespit, kısıtlı yetki tanımlama ve çok katmanlı denetim gibi ek teknik önlemlerin neden giderek daha fazla gündeme geldiğini açıklıyor.
Yapay zekâ ajanlarının önerdiği eylemleri denetlemek için 'insana sor' modeline tek başına güvenmenin yetersiz kalabileceğini gösteren deneysel bir veri seti; otonom sistemlerde ek teknik güvenlik katmanlarının önemini artırıyor.
- scalex.dev (birincil kaynak) · 2026-08-06
Bu haber ozgun ozet olarak hazirlanmistir; telif hakki ilgili kaynaklara aittir. Tam metin icin kaynak baglantilarini ziyaret edin.
Ilgili Haberler
Anthropic araştırmacısından kendi kendini geliştiren yapay zekâya bir bakış
Anthropic'in fellows programındaki bir araştırmacı, yapay zekâ sistemlerinin literatür tarayıp yöntem önererek ve modeli kısa iterasyonlarla eğiterek hizalama hatalarını azaltabildiğini gösteren yeni bir makale yayınladı. Çalışmada, en iyi otomatik yöntem ortalama altı saat içinde deneyimli insan araştırmacıların önerdiği yöntemleri geride bırakmış; maliyet karşılaştırmasında saatte yaklaşık 4 dolarlık otomatik araştırmaya karşı insan araştırmacı için saatte yaklaşık 150 dolar rakamı veriliyor.
Sony, EMI ve Warner Chappell, Anthropic'i şarkı sözü korsanlığıyla suçlayan yeni dava açtı
Büyük müzik yayıncıları Sony, EMI ve Warner Chappell, Anthropic'in kitap yazarlarıyla 1,5 milyar dolarlık telif uzlaşmasının ardından şirketi bu kez torrent yoluyla binlerce şarkı sözü ve nota içeren eseri izinsiz indirmekle suçlayan yeni bir dava açtı. Dilekçe, kurucu ortağın toplu indirme yaptığını gösteren iç yazışmaları kanıt olarak sunuyor. Anthropic ise iddiaları reddedip adil-kullanım savunmasını sürdüreceğini açıkladı.
Anthropic'in yeni Fable 5.1 modeli daha ucuz ve daha az kısıtlayıcı geliyor
Anthropic, en gelişmiş model ailesinin yeni sürümlerini — Fable 5.1 ve Mythos 5.1'i — yayınladı. Yeni sürüm performans artışının yanında token maliyetini düşürüyor ve güvenlik filtrelerinin yanlış-pozitif engellemelerini azaltıyor. Kurumsal müşteriler için daha önce sunulmayan 'Sıfır Veri Saklama' özelliği artık Fable ailesine de geliyor; Mythos 5.1 ise yalnızca siber güvenlik veya yaşam bilimleri araştırması yapan kayıtlı ortaklara açılıyor.