Biyolojik Beyinler, Yapılandırılmış Keşif Sayesinde Öğrenmede Yapay Zekayı Geride Bırakıyor

Özet: Hızlı öğrenme söz konusu olduğunda, biyolojik beynin mevcut AI teknolojisi üzerinde bir üstünlüğü var gibi görünüyor.

Bilim adamları, beynin öğrenmek için kullandığı algoritmaları anlamak için farklı pekiştirmeli öğrenme modelleriyle çalıştılar. Hayvanlar tarafından kullanılan yönlendirilmiş keşfin, rastgele keşfeden yapay aracıların aksine öğrenmeyi daha verimli hale getirdiğini ve daha az deneyim gerektirdiğini buldular.

Ana unsurlar:

1. Çalışma, hayvanların yönlendirdiği keşiflerin öğrenmeyi daha verimli hale getirdiğini ve bunun da daha hızlı öğrenebilen ve daha az deneyim gerektiren daha iyi AI aracıları oluşturmaya yardımcı olabileceğini öne sürüyor.
2. Yapay zeka ajanları bir şeyler öğrenmek ve çevreyi binlerce kez keşfetmek için çok fazla deneyime ihtiyaç duyarken, gerçek bir hayvan bir ortamı on dakikadan daha kısa sürede öğrenebilir.
3. Araştırma bulguları, hayvanların mekansal çevrelerini keşfetme ve öğrenme davranışlarını açıklayabilen daha verimli öğrenme algoritmalarına olan ihtiyacı vurgulamaktadır.

Kaynak: Sainsbury Karşılama Merkezi

Sinirbilimciler, keşif eylemlerinin hayvanların uzamsal çevrelerini daha verimli bir şekilde öğrenmelerini nasıl sağladığını ortaya çıkardılar. Bulguları, daha hızlı öğrenebilen ve daha az deneyim gerektiren daha iyi yapay zeka aracıları oluşturmaya yardımcı olabilir.

Sainsbury Wellcome Center’daki araştırmacılar ve UCL’deki Gatsby Hesaplamalı Sinirbilim Birimi, hayvanların gerçekleştirdiği içgüdüsel keşif çalışmalarının rastgele olmadığını buldu. Bu amaca yönelik eylemler, farelerin dünya haritasını verimli bir şekilde öğrenmesini sağlar.

Bugün yayınlanan araştırma, Nöronsinirbilimcilerin, hayvanların üstlendiği belirli keşif eylemlerinin, örneğin nesnelere doğru hızla fırlamak gibi, çevrelerinde nasıl gezineceklerini öğrenmelerine yardımcı olmada önemli olduğu hipotezini nasıl test ettiklerini anlatıyor.

“Psikolojide, belirli eylemleri gerçekleştirmenin öğrenmeyi nasıl kolaylaştırdığına dair pek çok teori var. Sainsbury Wellcome Grup Lideri Profesör Tiago Branco, “Bu çalışmada, bir ortamdaki engelleri basitçe gözlemlemenin onlar hakkında bilgi edinmek için yeterli olup olmadığını veya amaçlı, duyusal güdümlü eylemlerin hayvanların dünyanın bilişsel bir haritasını oluşturmasına yardımcı olup olmadığını test ettik” dedi. Kağıda merkez ve ilgili yazar.

Önceki çalışmada, SWC’deki bilim adamları, hayvanların bir engelin etrafından dolaşmayı ne kadar iyi öğrendikleri ile nesneye kaç kez koştukları arasında bir ilişki gözlemlediler. Bu çalışmada, SWC Doktora öğrencisi ve makalenin ilk yazarı Philip Shamash, hayvanların keşif seferleri gerçekleştirmesini önlemenin etkisini test etmek için deneyler yaptı.

Philip, motor korteksin bir bölümünde channelrhodopsin adı verilen ışıkla etkinleşen bir proteini ifade ederek, hayvanların engellere doğru keşif koşusu başlatmasını önlemek için optogenetik araçları kullanabildi.

Ekip, farelerin engelleri gözlemlemek ve koklamak için çok zaman harcamış olmalarına rağmen, onlara doğru koşmaları engellenirse öğrenmediklerini keşfetti. Bu, içgüdüsel keşif eylemlerinin, hayvanların çevrelerinin bir haritasını öğrenmelerine yardımcı olduğunu gösteriyor.

Ekip, beynin öğrenmek için kullanıyor olabileceği algoritmaları keşfetmek amacıyla, insanların yapay etmenler için geliştirdikleri farklı pekiştirmeli öğrenme modellerini çalıştırmak ve hangisinin daha çok olduğunu gözlemlemek için SWC’deki Andrew Saxe’nin laboratuvarında doktora öğrencisi olan Sebastian Lee ile birlikte çalıştı. fare davranışını yakından yeniden üretir.

Takviyeli öğrenme modellerinin iki ana sınıfı vardır: modelsiz ve model tabanlı. Ekip, bazı koşullar altında farelerin modelden bağımsız bir şekilde hareket ettiğini, ancak diğer koşullar altında, bir dünya modeline sahip gibi göründüğünü buldu. Ve böylece araştırmacılar, modelden bağımsız ve model tabanlı arasında karar verebilen bir aracı uyguladılar. Bu, fare beyninin çalışma şeklinin tam olarak böyle olması gerekmez, ancak davranışı açıklamak için bir öğrenme algoritmasında neyin gerekli olduğunu anlamalarına yardımcı oldu.

“Yapay zeka ile ilgili sorunlardan biri, ajanların bir şeyler öğrenmek için çok fazla deneyime ihtiyaç duymalarıdır. Çevreyi binlerce kez keşfetmeleri gerekirken, gerçek bir hayvan bir ortamı on dakikadan daha kısa sürede öğrenebilir.

“Bunun kısmen, yapay ajanların aksine, hayvanların keşfinin rastgele olmaması ve bunun yerine göze çarpan nesnelere odaklanması nedeniyle olduğunu düşünüyoruz. Bu tür yönlendirilmiş keşif, öğrenmeyi daha verimli hale getiriyor ve böylece öğrenmek için daha az deneyime ihtiyaç duyuyorlar” diye açıklıyor Profesör Branco.

Araştırmacılar için sonraki adımlar, keşif eylemlerinin yürütülmesi ile alt hedeflerin temsili arasındaki bağlantıyı keşfetmektir. Ekip şimdi, alt hedefleri temsil etmede hangi alanların dahil olduğunu ve keşif eylemlerinin temsillerin oluşumuna nasıl yol açtığını keşfetmek için beyinde kayıtlar yapıyor.

Finansman: Bu araştırma, Wellcome Kıdemli Araştırma Bursu (214352/Z/18/Z) ve Gatsby Charitable Foundation’dan Sainsbury Wellcome Center Core Grant ve Wellcome (090843/F/09/Z), Sainsbury Wellcome Center Doktora Programı tarafından finanse edilmiştir. ve Wellcome Trust ve Royal Society’den (216386/Z/19/Z) bir Sir Henry Dale Bursu.

Bu AI ve nörobilim araştırma haberleri hakkında

Soyut

Fareler, eyleme dayalı bir eşleme süreci aracılığıyla alt hedef konumlarını tanımlar

Öne Çıkanlar

• Keşif sırasında engellere yönelik koşuların kesintiye uğraması, alt hedef öğrenmeyi engeller
• Kaçış sırasında alt hedef seçimi, farenin ortamdaki konumuna bağlıdır
• Çift sistemli pekiştirmeli bir öğrenme aracısı, fare davranışını kopyalar

Özet

Memeliler, çevrelerini keşfederek ortamların zihinsel haritalarını oluştururlar. Burada, bu süreç için hangi keşif unsurlarının önemli olduğunu araştırıyoruz. Sığınağa verimli kaçış yolları uygulamak için farelerin alt hedef konumlarını (engel kenarları) ezberledikleri bilinen fare kaçış davranışını inceledik.

Keşif eylemlerinin rolünü test etmek için, fareler keşfedilirken çeşitli eylemleri kesintiye uğratmak için kapalı döngü nöral stimülasyon protokolleri geliştirdik. Engel kenarlarına yönelik koşu hareketlerini engellemenin alt hedef öğrenmeyi engellediğini bulduk; ancak, birkaç kontrol hareketini engellemenin hiçbir etkisi olmadı.

Takviyeli öğrenme simülasyonları ve uzamsal verilerin analizi, yapay ajanların bölge düzeyinde bir uzamsal temsile sahip olmaları ve nesneye yönelik hareketlerle keşfetmeleri durumunda bu sonuçlarla eşleşebileceğini göstermektedir. Farelerin, alt hedefleri hiyerarşik bir bilişsel haritaya entegre etmek için eylem odaklı bir süreç kullandığı sonucuna vardık.

Bu bulgular, memelilerin uzamsal bilgi edinmek için kullandıkları bilişsel araç setine ilişkin anlayışımızı genişletiyor.