NIST, AI model riskini test etmek için bir araç yayınladı
ABD hükümeti, şirketler ve geniş halk kitleleri için teknoloji geliştiren ve test eden ABD Ticaret Bakanlığı kurumu olan Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), kötü amaçlı saldırıların (özellikle yapay zeka modeli eğitim verilerini “zehirleyen” saldırılar) bir yapay zeka sisteminin performansını nasıl düşürebileceğini ölçmek için tasarlanmış bir test ortamını yeniden yayınladı.
Dioptra (klasik astronomik ve arazi ölçüm aracından sonra) olarak adlandırılan, ilk olarak 2022’de yayınlanan modüler, açık kaynaklı web tabanlı araç, AI modellerini eğiten şirketlere ve bu modelleri kullanan kişilere AI risklerini değerlendirme, analiz etme ve izleme konusunda yardımcı olmayı amaçlıyor. NIST, Dioptra’nın modelleri kıyaslamak ve araştırmak için kullanılabileceğini ve ayrıca modelleri “kırmızı takım” ortamında simüle edilmiş tehditlere maruz bırakmak için ortak bir platform sağlayabileceğini söylüyor.
NIST bir basın bülteninde, “Makine öğrenimi modelleri üzerindeki düşmanca saldırıların etkilerini test etmek, Dioptra’nın hedeflerinden biridir,” diye yazdı. “Ücretsiz indirilebilen, generating child gibi açık kaynaklı yazılım, hükümet kurumları ve küçük ve orta ölçekli işletmeler de dahil olmak üzere topluluğun, AI geliştiricilerinin sistemlerinin performansı hakkındaki iddialarını değerlendirmek için değerlendirmeler yapmasına yardımcı olabilir.”
Dioptra, NIST ve NIST’in yakın zamanda oluşturduğu AI Güvenlik Enstitüsü’nden gelen ve AI’nın bazı tehlikelerini azaltmanın yollarını, örneğin rızaya dayanmayan pornografi üretmek için nasıl kötüye kullanılabileceğini ortaya koyan belgelerle birlikte ilk kez görücüye çıktı. Bu, benzer şekilde modellerin yeteneklerini ve genel model güvenliğini değerlendirmeyi amaçlayan bir araç seti olan İngiltere AI Güvenlik Enstitüsü’nün Inspect’inin lansmanını takip ediyor. ABD ve İngiltere, geçen yılın Kasım ayında Bletchley Park’ta düzenlenen İngiltere AI Güvenlik Zirvesi’nde duyurulan, gelişmiş AI model testlerini birlikte geliştirmek için devam eden bir ortaklığa sahip.
Dioptra ayrıca Başkan Joe Biden’ın AI ile ilgili yürütme emrinin (EO) ürünüdür ve (diğer şeylerin yanı sıra) NIST’in AI sistem testlerine yardımcı olmasını zorunlu kılar. EO, ilgili olarak, modeller geliştiren şirketlerin (örneğin Apple) federal hükümeti bilgilendirmeleri ve tüm güvenlik testlerinin sonuçlarını kamuoyuna sunulmadan önce paylaşmaları gereklilikleri de dahil olmak üzere AI güvenliği ve emniyeti için standartlar da belirler.
Daha önce yazdığımız gibi, AI kıyaslamaları zordur; bunun en önemli nedeni, günümüzdeki en gelişmiş AI modellerinin, altyapıları, eğitim verileri ve diğer önemli ayrıntıları onları oluşturan şirketler tarafından gizli tutulan kara kutular olmasıdır. AI üzerinde çalışan İngiltere merkezli kar amacı gütmeyen bir araştırma enstitüsü olan Ada Lovelace Enstitüsü’nden bu ay çıkan bir rapor, değerlendirmelerin tek başına bir AI modelinin gerçek dünyadaki güvenliğini belirlemek için yeterli olmadığını, kısmen de mevcut politikaların AI satıcılarının hangi değerlendirmeleri yürüteceklerini seçici bir şekilde seçmelerine izin vermesi nedeniyle buldu.
NIST, Dioptra’nın modellerin riskini tamamen ortadan kaldırabileceğini iddia etmiyor. Ancak kurum yapmak Dioptra’nın, hangi tür saldırıların bir yapay zeka sisteminin daha az etkili bir şekilde çalışmasına neden olabileceği konusunda ışık tutabileceğini ve bunun performans üzerindeki etkisini ölçebileceğini öne sürüyorlar.
Ancak büyük bir sınırlama olarak, Dioptra yalnızca Meta’nın genişleyen Llama ailesi gibi yerel olarak indirilebilen ve kullanılabilen modellerde kutudan çıktığı gibi çalışır. OpenAI’nin GPT-4o’su gibi bir API’nin arkasına gizlenmiş modeller, en azından şimdilik, işe yaramaz.
Kaynak: https://techcrunch.com/2024/07/27/nist-releases-a-tool-for-testing-ai-model-risk/