Çinli yapay zeka geliştiricisi Moonshot, geliştirdiği yapay zeka modellerinin biyolojik silah üretimi ve suikast yöntemleri gibi hassas konularda bilgi verebildiğinin ortaya çıkması üzerine bir inceleme başlattı. Yapay zeka sistemlerinin güvenliğini denetleyen Mindgard adlı kuruluş, temmuz ayında yaptığı bir testte, Moonshot'ın Kimi K2.6 ve K3 Swarm modellerinin, geliştiriciler tarafından yerleştirilen güvenlik önlemlerini aşabildiğini tespit etti.
Bu durum, araştırmacıların yapay zeka araçlarının koruma mekanizmalarını devre dışı bırakıp bırakmadığını anlamak amacıyla kullandığı karmaşık talimatlar dizisi olan 'jailbreak' (sistem kısıtlamalarını aşma) süreci sırasında meydana geldi. Mindgard'ın raporuna göre, bu güvenlik önlemlerinin Kimi modellerinin endişe verici konuları tartışmasını engellemesi gerekiyordu.
Moonshot, yapay zeka alanında daha iyi ve daha güvenli sistemler oluşturmanın temel bir unsuru olarak üçüncü taraf katkılarını memnuniyetle karşıladıklarını belirtti. Şirket, Mindgard'ın bulguları hakkında kendileriyle iletişim halinde olduğunu ve durumu değerlendirdiklerini ifade etti. Ancak Mindgard, Kimi'nin hassas konular hakkındaki yanıtlarının ne ölçüde işe yaradığını kesin olarak kanıtlamadığını, fakat güvenlik önlemlerinin bu tür tartışmaları engellemesi gerektiğini savundu.
Mindgard ayrıca, 'jailbreak' yapılmış Kimi 2.6 sürümünün, kötü niyetli kişilerin internete bağlanarak kod çalıştırmasına olanak tanıyabileceğini ve bunun siber saldırılar için bir başlangıç noktası olabileceği uyarısında bulundu. Bu bulgular, yapay zeka endüstrisinin, ChatGPT ve Anthropic'in Claude sistemlerini destekleyen kapalı ve tescilli modellerin mi, yoksa açık kaynaklı araçların mı daha güvenli bir yol olduğu konusundaki bölünmüşlüğünün sürdüğü bir dönemde geldi. Surrey Üniversitesi'nden Profesör Alan Woodward, açık kaynaklı modellerin kötü niyetli kişilerin eline geçme riskini taşıdığını, ancak aynı zamanda siber savunma amacıyla da kullanılabileceğini belirtti. Woodward, uluslararası düzenlemelerin yapay zekanın gelişim hızına yetişmesinin zor olduğunu da sözlerine ekledi.
