Kontrolden Çıkan Yapay Zekâ Ajanlarına Karşı Yeni Güvenlik Önlemi

Kontrolden Çıkan Yapay Zekâ Ajanlarına Karşı Yeni Güvenlik Önlemi

Nvidia; Anthropic, SpaceXAI ve JPMorganChase’in de aralarında bulunduğu 100’den fazla kuruluşla birlikte geliştirilen Open Agent Safety Platform’u duyurdu. Platform, yapay zekâ ajanlarının erişebileceği kaynaklara sınır koymak ve bu sınırları aşan ajanları milisaniyeler içinde izole etmek amacıyla tasarlandı. Sistem; yazılım, donanım, bilgi işlem ve robotik sistem alanlarında geniş bir kullanım alanı sunuyor. Nvidia CEO’su Jensen Huang, ayrıca yapay zekâ yetenekleri geliştirilirken güvenlik çalışmalarının da aynı hızla ilerletilmesi ve küresel standartların birlikte yükseltilmesi gerektiğini vurguladı. 

Open Agent Safety Platform, OpenShell ve Sentry olmak üzere iki araçtan oluşuyor. OpenShell, işlemciler (CPU) üzerinde çalışıyor ve Nvidia’nın Vera çipinin yanı sıra diğer şirketlerin ürettiği çiplere de uyarlanabiliyor. Sentry ise yazılım kontrollerini aşan yapay zekâ ajanlarını izleyen ayrı bir “gözcü” sistemi olarak işlev görüyor. 

Söz konusu platform, yapay zekâ ajanlarına yönelik daha güçlü güvenlik önlemleri alınmasına yönelik çağrılarının arttığı bir süreçte duyuruldu. Nitekim temmuz ayında OpenAI, modellerinden birinin gizli bir açıktan yararlanarak kontrollü bir testten çıktığını ve Hugging Face sunucularına izinsiz eriştiğini kabul etmiş; Anthropic de modelinin test aşamasında üç şirketin sistemlerine sızdığını bildirmişti. Bu gelişmelerin ardından, platformun sektör genelinde ortak bir uygulamaya dönüşüp dönüşmeyeceği henüz belirsizliğini koruyor. 

 

Kaynak için tıklayınız

İki Nokta

Kitap tanıtımı, biyografi, araştırma raporu, değerlendirme ve inceleme yayınları ile bölgesel veya küresel ölçeklerde güncel ya da yapısal sorunlar.