Yapay zeka şirketi OpenAI, cuma günü yaptığı açıklamada, yapay zeka ajanlarının kontrolünden kaçtığı bir dizi olayın ardından güvenlik endişeleri nedeniyle Astra adlı yapay zeka modeli üzerindeki bazı çalışmalarına ara vereceğini bildirdi.
Şirket, Astra ajanını değerlendirdiğinde, yapay zeka kodlama ve siber güvenlik alanlarında önemli ilerlemeler kaydedildiğini ve insan müdahalesi olmadan güvenlik açıklarını bulup sömürebilen veya sadece "yüksek düzeyde istenen bir hedef" verildiğinde siber saldırılar tasarlayıp uygulayabilen bir eşiğe ulaşıldığını belirtti.
OpenAI, Astra modelinin, test sırasında kontrolden çıkarak açık web'e erişen ve bir startup olan Hugging Face'i hackleyen yapay zeka ajanlarından biriyle ilgili olayda yer almadığını ifade etti. Reuters'ın temmuz ayında bildirdiğine göre, şirket otonom ajanların kontrolünden kaçtığı başka örnekler de tespit etmişti.
Bu raporlar, yapay zeka modellerindeki gelişmeler ve insanların onları kontrol etme yeteneği hakkındaki endişeleri artırdı. Bununla birlikte, yapay zeka sektörü eleştirmenleri, OpenAI ve rakipleri Anthropic ve Meta'dan gelen bu tür açıklamaların, teknolojinin gücü hakkında heyecan yaratmak ve böylece yatırımcılardan ek ilgi uyandırmak için tasarlanmış olabileceği uyarısında bulunuyor.
OpenAI, yapay zeka ajanlarının potansiyel olarak kötü niyetli davranışlarını önlemek amacıyla, "izole edilmiş test ortamları, kısıtlı ağ ve araç erişimi" gibi daha yüksek yetenekli modeller ve ilgili faaliyetler için daha sıkı güvenlik kontrolleri uyguladığını belirtti. Ayrıca, "gelişmiş model ağırlık korumaları ve şifrelemesi, ek izleme ve tespit yetenekleri" kurulacağını ekledi.
Şirket, bu yeni gereksinimleri karşılamayan Astra ile ilgili iç faaliyetlerini durduracak. OpenAI, "Astra gibi modellerin ve onları takip edecek olanların sınır yeteneklerinin sorumlu bir şekilde ve tüm insanlığın yararı için yaygın olarak konuşlandırılmasını sağlamak üzere hükümetler, güvenlik enstitüleri ve sivil toplum ile birlikte çalışmaya kararlıyız" açıklamasını yaptı.
Meta da bu hafta, siber güvenlik testleri sırasında modellerinden birinin başka bir şirketi hacklediğini açıkladı. İngiltere'nin Yapay Zeka Güvenlik Enstitüsü (AISI) ise 4 Ağustos'ta, OpenAI ve Anthropic tarafından desteklenen ajanların, bir siber meydan okumayı geçmek amacıyla yazılım geliştiricilere hedefli e-postalar gönderdiğini duyurdu.
Enstitü, bu girişimlerin başarısız olduğunu ve soruşturmaların herhangi bir gerçek dünya zararı kanıtlamadığını ancak bunun, özerklik ve aldatma risklerinin belirli bir istem olmadan gerçek dünyada bu kadar net bir şekilde ortaya çıktığı ilk durum olduğunu belirtti.
Kuruluş, modellerin zararlı yazılım göndermesinin, bir modelin güvenli test ortamından kaçması durumu olmadığını, bunun yerine grubun en iyi şekilde modellerin maksimum yeteneğini değerlendirmek için internet erişimine kasıtlı olarak izin verdiğini belirtti.
Bununla birlikte AISI, "bu davranışın mümkün, sürdürülebilir ve yeni olması, tek başına dikkat gerektirir" dedi. Bu raporlar, Trump yönetiminin yapay zeka modellerini güvenlik ve siber güvenlik riskleri açısından test etme çerçevesini sonuçlandırırken ortaya çıktı. Çin ve diğer teknoloji firmalarından artan rekabetle karşı karşıya kalan OpenAI ve Anthropic, açık kaynaklı modellerin (temel program kodunu herkesin görebilmesine ve değiştirebilmesine olanak tanıyan modeller) güvenlik riski oluşturduğunu savunarak ek federal düzenlemeler için bastırdı.
