Yapay Zeka

Yapay Zekanın Öğrenme Yolu: Sinir Ağları Arasında Şaşırtıcı Tekdüzelik

Özet: Sinir ağları, karmaşıklıkları veya eğitim yöntemleri ne olursa olsun, görüntü sınıflandırma görevlerinde bilgisizlikten uzmanlığa doğru şaşırtıcı derecede tekdüze bir yol izler. Araştırmacılar, sinir ağlarının, görüntüleri kulaklar veya gözler gibi aynı düşük boyutlu özellikleri tanımlayarak sınıflandırdığını ve ağ öğrenme yöntemlerinin çok farklı olduğu varsayımını çürüttüğünü buldu.

Bu bulgu, daha verimli yapay zeka eğitim algoritmaları geliştirmenin önünü açabilir ve potansiyel olarak şu anda gerekli olan önemli hesaplama kaynaklarını azaltabilir. Bilgi geometrisine dayanan araştırma, yapay zeka gelişimi için, sinir ağlarının ortak öğrenme yolunun anlaşılmasının daha ucuz ve daha hızlı eğitim yöntemlerine yol açabileceği daha akıcı bir geleceğe işaret ediyor.

Ana unsurlar:

  1. Ortak Öğrenme Yolu: Sinir ağları, tasarımları veya boyutları ne olursa olsun, benzer, düşük boyutlu bir yol izleyerek görüntüleri sınıflandırmayı öğrenir.
  2. Verimlilik Potansiyeli: Çalışmanın içgörüleri, daha az hesaplama kaynağı gerektiren, hiper verimli yapay zeka eğitim algoritmaları oluşturma olasılığını ortaya koyuyor.
  3. Bilgi Geometrisinin Temeli: Bilgi geometrisini kullanmak, araştırmacıların farklı ağları eşit temelde karşılaştırmasına ve öğrenme stratejilerindeki temel benzerlikleri ortaya çıkarmasına olanak sağladı.

Kaynak: Pensilvanya Üniversitesi

Penn Mühendisleri, günümüzün yapay zeka devrimine öncülük eden sistemler olan sinir ağlarının nasıl öğrendiğine dair beklenmedik bir modeli ortaya çıkardı ve yapay zekadaki cevaplanmamış en önemli sorulardan birine yanıt önerdi: Bu yöntemler neden bu kadar iyi çalışıyor?

Biyolojik nöronlardan ilham alan sinir ağları, tıpkı nöronların birbirleriyle olan bağlantılarını ayarlaması gibi, verileri alan ve çıktılarını yöneten ağırlıklarda veya parametrelerde tekrar tekrar küçük değişiklikler yaparak kendilerini eğiten bilgisayar programlarıdır.

Bu yanan bir ağı gösterir.
Yalnızca bir avuç girdiyi kullanarak görüntüleri sınıflandırmak üzere bir sinir ağını eğitmek için gereken yolu tutarlı bir şekilde bulacak bir algoritmayı keşfetmek, çözülmemiş bir zorluktur. Kredi: Nörobilim Haberleri

Nihai sonuç, ağın daha önce görmediği verileri tahmin etmesine olanak tanıyan bir modeldir. Nöral ağlar günümüzde tıptan kozmolojiye, potansiyel olarak hastalıklı hücrelerin tanımlanmasından yeni galaksilerin keşfedilmesine kadar bilim ve mühendisliğin hemen hemen tüm alanlarında kullanılmaktadır.

dergisinde yayınlanan yeni bir makalede Ulusal Bilimler Akademisi Bildiriler Kitabı (PNAS), Pratik Chaudhari, Elektrik ve Sistem Mühendisliğinde Yardımcı Doçent (ESE) ve Genel Robotik, Otomasyon, Algılama ve Algılama (GRASP) Laboratuvarı’nda çekirdek öğretim üyesi ve ortak yazar James Sethna, James Gilbert White Fizik Bilimleri Profesörü Cornell Üniversitesi, sinir ağlarının, tasarımı, boyutu veya eğitim tarifi ne olursa olsun, sınıflandırılacak görsellerle sunulduğunda cehaletten gerçeğe aynı yolu izlediğini gösteriyor.

Pennsylvania Üniversitesi Sanat ve Bilim Okulu’nda Uygulamalı Matematik ve Hesaplamalı Bilimler alanında doktora öğrencisi olan Jialin Mao, makalenin baş yazarıdır.

Chaudhari, “Görevin kedi ve köpek resimlerini tanımlamak olduğunu varsayalım” diyor.

“Siz onları sınıflandırmak için bıyıkları kullanabilirsiniz, bir başkası ise kulakların şeklini kullanabilir; farklı ağların görüntülerdeki pikselleri farklı şekillerde kullanacağını ve bazı ağların kesinlikle diğerlerinden daha iyi sonuçlar elde edeceğini varsayabilirsiniz, ancak orada hepsinin öğrenme şekli açısından çok güçlü bir ortak nokta var. Sonucu bu kadar şaşırtıcı kılan da bu.”

Sonuç, yalnızca sinir ağlarının iç işleyişini aydınlatmakla kalmıyor, aynı zamanda görüntüleri çok daha kısa sürede ve çok daha düşük bir maliyetle sınıflandırabilecek hiper verimli algoritmalar geliştirme olasılığına işaret ediyor. Aslında yapay zekayla ilgili en yüksek maliyetlerden biri, sinir ağlarını geliştirmek için gereken muazzam hesaplama gücüdür. Chaudhari, “Bu sonuçlar, onları eğitmenin yeni yollarının olabileceğini gösteriyor” diyor.

Bu yeni yöntemin potansiyelini göstermek için Chaudhari, ağların bir harita üzerinde bir rota çizmeye çalıştığını hayal etmeyi öneriyor.

“İki noktayı hayal edelim” diyor.

“Ağın doğru etiketler hakkında hiçbir şey bilmediği Cehalet ve tüm görüntüleri doğru şekilde sınıflandırabildiği Gerçek. Bir ağı eğitmek, Cehalet ile Gerçek arasındaki olasılık uzayında milyarlarca boyutta bir yol çizmeye karşılık gelir. Ancak farklı ağların aynı yolu izlediği ve bu yolun daha çok üç, dört veya beş boyutlu olduğu ortaya çıktı.”

Başka bir deyişle, sinir ağlarının şaşırtıcı karmaşıklığına rağmen, yapay zeka sistemlerinin temel görevlerinden biri olan görüntüleri sınıflandırmak, bu karmaşıklığın yalnızca küçük bir kısmını gerektirir.

Chaudhari, “Bu aslında ağ tasarımının, boyutunun veya eğitim yöntemlerinin ayrıntılarının düşündüğümüzden daha az önemli olduğunun kanıtıdır” diyor.

Bu içgörülere ulaşmak için Chaudhari ve Sethna, geometri ve istatistiği bir araya getiren bir alan olan bilgi geometrisinden araçlar ödünç aldılar.

Her ağı bir olasılık dağılımı olarak ele alan araştırmacılar, ağlar arasında gerçek bir elma-elma karşılaştırması yapabildiler ve ağların beklenmedik, temel benzerliklerini ortaya çıkardılar.

Chaudhari, “Yüksek boyutlu uzayların özellikleri nedeniyle tüm noktalar birbirinden uzaktadır” diyor.

“Ağların farklılıklarına dair bize daha net bir resim sunan daha karmaşık araçlar geliştirdik.”

Ekip, çok çeşitli teknikler kullanarak çok katmanlı algılayıcılar, evrişimli ve artık ağlar ve ChatGPT gibi sistemlerin kalbinde yer alan transformatörler dahil olmak üzere birçok farklı türde yüz binlerce ağı eğitti.

Chaudhari, “Sonra bu güzel resim ortaya çıktı” diyor.

“Bu ağların çıktı olasılıkları, devasa alanlardaki bu ince manifoldlarda düzgün bir şekilde kümelenmişti.” Başka bir deyişle, ağların öğrenmesini temsil eden yollar birbiriyle uyumlu hale geldi ve bu da ağların görüntüleri aynı şekilde sınıflandırmayı öğrendiklerini gösteriyor.

Chaudhari, bu şaşırtıcı olay için iki potansiyel açıklama sunuyor: Birincisi, sinir ağları hiçbir zaman rastgele piksel çeşitleriyle eğitilmiyor.

Chaudhari, “Tuz ve biber sesini hayal edin” diyor. “Bu açıkça bir görüntü, ancak çok da ilginç değil; insanlar ve hayvanlar gibi gerçek nesnelerin görüntüleri, olası tüm görüntülerin uzayının çok küçük bir alt kümesidir.”

Başka bir deyişle, bir sinir ağından insanlar için önemli olan görüntüleri sınıflandırmasını istemek göründüğünden daha kolaydır çünkü ağın asla dikkate almaması gereken birçok olası görüntü vardır.

İkincisi, sinir ağlarının kullandığı etiketler biraz özeldir. İnsanlar nesneleri köpekler ve kediler gibi geniş kategorilere ayırır ve her hayvan türünün her bir üyesi için ayrı kelimelere sahip değildir.

Chaudhari şöyle diyor: “Ağlar tahminlerde bulunmak için tüm pikselleri kullanmak zorunda olsaydı, o zaman ağlar çok ama çok farklı yollar bulurdu.” Ancak kedileri ve köpekleri ayıran özelliklerin kendisi de düşük boyutludur.

Chaudhari, muhtemelen kulaklar, gözler, işaretler vb. gibi ortak noktaları belirleyerek, “Bu ağların aynı ilgili özellikleri bulduğuna inanıyoruz” diye ekliyor.

Yalnızca bir avuç girdiyi kullanarak görüntüleri sınıflandırmak üzere bir sinir ağını eğitmek için gereken yolu tutarlı bir şekilde bulacak bir algoritmayı keşfetmek, çözülmemiş bir zorluktur.

Chaudhari, “Bu milyar dolarlık bir soru” diyor. “Sinir ağlarını ucuza eğitebilir miyiz? Bu makale bunu başarabileceğimize dair kanıtlar sunuyor. Nasıl olduğunu bilmiyoruz.”

Finansman: Bu çalışma Pennsylvania Üniversitesi Mühendislik ve Uygulamalı Bilimler Okulu ve Cornell Üniversitesi’nde gerçekleştirildi. Ulusal Bilim Vakfı, Ulusal Sağlık Enstitüleri, Deniz Araştırmaları Ofisi, Eric ve Wendy Schmidt AI Bilim Doktora Sonrası Bursu ve Amazon Web Services’in bulut bilişim kredilerinden alınan bağışlarla desteklendi.

Diğer ortak yazarlar arasında Penn Engineering’den Rahul Ramesh; Pensilvanya Üniversitesi Sanat ve Bilim Okulu’ndan Rubing Yang; Cornell Üniversitesi’nden Itay Griniasty ve Han Kheng Teoh; ve Brigham Young Üniversitesi’nden Mark K. Transtrum.

Bu yapay zeka araştırma haberi hakkında

Soyut

Birçok derin ağın eğitim süreci aynı düşük boyutlu manifoldu araştırıyor

Eğitim sırasında derin ağların tahminlerinin yörüngelerini analiz etmek için bilgi-geometrik teknikler geliştiriyoruz. Temeldeki yüksek boyutlu olasılıksal modelleri inceleyerek, eğitim sürecinin etkili bir şekilde düşük boyutlu bir manifoldu araştırdığını ortaya koyuyoruz.

Farklı optimizasyon yöntemleri, düzenlileştirme teknikleri, veri artırma teknikleri ve ağırlık başlatma teknikleri kullanılarak eğitilmiş, çok çeşitli mimarilere, boyutlara sahip ağlar, tahmin alanında aynı manifold üzerinde yer alır.

Farklı mimarilere sahip ağların ayırt edilebilir yörüngeler izlediğini ancak diğer faktörlerin minimum etkiye sahip olduğunu bulmak için bu manifoldun ayrıntılarını inceliyoruz; daha büyük ağlar, daha küçük ağlara benzer bir manifold boyunca eğitilir, hatta daha hızlıdır; ve tahmin alanının çok farklı kısımlarında başlatılan ağlar, benzer bir manifold boyunca çözüme yakınsar.

Kaynak ve İleri Okuma: https://neurosciencenews.com/ai-ann-learning-25820/

İlgili Makaleler

Başa dön tuşu