Yapay Zeka

Yapay Zeka Açıkları Ortaya Çıktı: Düşmanca Saldırılar Beklenenden Daha Yaygın ve Tehlikeli

Özet: Yeni bir çalışma, yapay zeka sistemlerinin düşmanca saldırılara karşı önceden inanıldığından daha duyarlı olduğunu ve bu sistemlerin yanlış kararlara yol açabilecek manipülasyonlara karşı savunmasız hale geldiğini ortaya koyuyor.

Araştırmacılar, AI derin sinir ağlarında rakiplere yönelik güvenlik açıklarının yaygın olduğunu ve bunların kritik uygulamalarda kullanımıyla ilgili endişeleri artırdığını buldu. Ekip, bu güvenlik açıklarını değerlendirmek için sinir ağlarının düşmanca saldırılara karşı duyarlılığını test edebilen bir yazılım olan QuadAttacK’yi geliştirdi.

Bulgular, özellikle insan hayatı açısından potansiyel etkileri olan uygulamalarda, bu tür saldırılara karşı yapay zekanın sağlamlığının artırılması ihtiyacını vurguluyor.

Ana unsurlar:

  1. Düşmanca saldırılar, yapay zeka sistemlerinin kafasını karıştıracak şekilde verilerin manipüle edilmesini içerir ve bu da potansiyel olarak hatalı sonuçlara yol açar.
  2. Araştırmacılar tarafından geliştirilen QuadAttacK, derin sinir ağlarının düşmana yönelik güvenlik açıklarına karşı duyarlılığını test edebiliyor.
  3. Yaygın olarak kullanılan çeşitli derin sinir ağlarında yaygın güvenlik açıkları bulundu ve bu durum, yapay zekanın dayanıklılığının artırılması ihtiyacını vurguladı.

Kaynak: Kuzey Carolina Eyalet Üniversitesi

Yapay zeka araçları, otonom araçlardan tıbbi görüntülerin yorumlanmasına kadar çeşitli uygulamalar için umut vaat ediyor. Ancak yeni bir çalışma, bu yapay zeka araçlarının, yapay zeka sistemlerini etkili bir şekilde kötü kararlar almaya zorlayan hedefli saldırılara karşı önceden düşünülenden daha savunmasız olduğunu ortaya koyuyor.

Söz konusu olan, birisinin yapay zeka sistemine beslenen verileri karıştırmak için manipüle ettiği “düşmanca saldırılar” olarak adlandırılan saldırılardır. Örneğin, birisi dur işaretinin belirli bir noktasına belirli türde bir çıkartma yapıştırmanın dur işaretini yapay zeka sistemi için etkili bir şekilde görünmez hale getirebileceğini bilebilir. Veya bir bilgisayar korsanı, bir X-ışını makinesine, görüntü verilerini, yapay zeka sisteminin yanlış teşhisler koymasına neden olacak şekilde değiştiren bir kod yükleyebilir.

Bu bir kafayı, mikroçipleri ve kodu gösterir.
Güvenlik açıklarının önceden düşünülenden çok daha yaygın olduğunu buldular. Kredi: Nörobilim Haberleri

Konuyla ilgili bir makalenin ortak yazarı Tianfu Wu, “Çoğunlukla, bir dur işareti üzerinde her türlü değişikliği yapabilirsiniz ve dur işaretlerini tanımlamak üzere eğitilmiş bir yapay zeka, bunun bir dur işareti olduğunu hâlâ bilecektir” diyor. yeni bir çalışma ve North Carolina Eyalet Üniversitesi’nde elektrik ve bilgisayar mühendisliği alanında doçentlik yaptı.

“Ancak yapay zekanın bir güvenlik açığı varsa ve saldırgan bu güvenlik açığını biliyorsa, saldırgan bu güvenlik açığından yararlanarak bir kazaya neden olabilir.”

Wu ve işbirlikçilerinin yeni çalışması, bu tür düşmanca güvenlik açıklarının yapay zeka derin sinir ağlarında ne kadar yaygın olduğunu belirlemeye odaklandı. Güvenlik açıklarının önceden düşünülenden çok daha yaygın olduğunu buldular.

Wu, “Dahası, saldırganların yapay zekayı verileri istedikleri şekilde yorumlamaya zorlamak için bu güvenlik açıklarından yararlanabileceğini gördük” diyor.

“Dur işareti örneğini kullanarak, biraz farklı çıkartmalar kullanarak veya güvenlik açığı ne olursa olsun, yapay zeka sisteminin dur işaretinin bir posta kutusu, hız sınırı işareti veya yeşil ışık vb. olduğunu düşünmesini sağlayabilirsiniz.

“Bu son derece önemli, çünkü bir yapay zeka sistemi bu tür saldırılara karşı dayanıklı değilse, sistemi özellikle insan hayatını etkileyebilecek uygulamalar için pratik kullanıma koymak istemezsiniz.”

Derin sinir ağlarının bu düşmanca saldırılara karşı savunmasızlığını test etmek için araştırmacılar QuadAttac adı verilen bir yazılım geliştirdiler.k. Yazılım, herhangi bir derin sinir ağını düşmana yönelik güvenlik açıkları açısından test etmek için kullanılabilir.

“Temel olarak, eğitimli bir yapay zeka sisteminiz varsa ve bunu temiz verilerle test ederseniz, yapay zeka sistemi tahmin edildiği gibi davranacaktır. QuadAttack bu işlemleri izler ve yapay zekanın verilerle ilgili kararları nasıl verdiğini öğrenir. Bu QuadAttac’a izin verirk Yapay zekayı kandırmak için verilerin nasıl değiştirilebileceğini belirlemek.

QuadAttack daha sonra yapay zekanın nasıl tepki verdiğini görmek için yapay zeka sistemine manipüle edilmiş veriler göndermeye başlar. QuadAttac isek bir güvenlik açığı tespit ettiğinde yapay zekanın QuadAttac’ı hızlı bir şekilde görmesini sağlayabilir.k görmesini istiyor.”

Kavram kanıtlama testinde araştırmacılar QuadAttac’ı kullandık dört derin sinir ağını test etmek için: iki evrişimli sinir ağı (ResNet-50 ve DenseNet-121) ve iki görüntü transformatörü (ViT-B ve DEiT-S). Bu dört ağ, dünya çapında yapay zeka sistemlerinde yaygın olarak kullanıldığı için seçildi.

Wu, “Bu ağların dördünün de düşman saldırılarına karşı çok savunmasız olduğunu görünce şaşırdık” diyor. “Ağların görmelerini istediğimiz şeyi görmesini sağlamak için saldırılarda ne kadar ince ayar yapabildiğimize özellikle şaşırdık.”

Araştırma ekibi QuadAttac’ı yaptık kamuya açıktır, böylece araştırma topluluğu bunu sinir ağlarını güvenlik açıkları açısından test etmek için kullanabilir. Program burada bulunabilir: https://thomaspaniagua.github.io/quadattack_web/.

Wu, “Artık bu güvenlik açıklarını daha iyi tanımlayabildiğimize göre, bir sonraki adım bu güvenlik açıklarını en aza indirmenin yollarını bulmaktır” diyor. “Halihazırda bazı potansiyel çözümlerimiz var – ancak bu çalışmanın sonuçları hala gelecek.”

Makale, “QuadAttack: Sıralı Öğrenmeye İkinci Dereceden Programlama Yaklaşımık Adversarial Attacks”, 16 Aralık’ta New Orleans, La’da düzenlenen Otuz Yedinci Sinirsel Bilgi İşleme Sistemleri Konferansı’nda (NeurIPS 2023) sunulacak. Makalenin ilk yazarı, Ph.D. Thomas Paniagua’dır. NC State’de öğrenci. Makalenin ortak yazarı Ph.D. Ryan Grainger’dir. NC State’de öğrenci.

Finansman: Çalışma, W911NF1810295 ve W911NF2210010 hibeleri kapsamında ABD Ordusu Araştırma Ofisi’nin desteğiyle yapıldı; ve 1909644, 2024688 ve 2013451 numaralı hibeler kapsamında Ulusal Bilim Vakfı’ndan.

Bu yapay zeka araştırma haberi hakkında

Kaynak ve İleri Okuma: https://neurosciencenews.com/ai-vulnerabilities-neuroscience-25312/

İlgili Makaleler

Başa dön tuşu