Robot Köpek Bir Saatte Yürümeyi Öğreniyor

Özet: Araştırmacılar, yeni bir öğrenme algoritmasının robot bir köpeği bir saat içinde yürümesi için eğittiğini bildirdi.

Kaynak: Max Planck Enstitüsü

Yeni doğmuş bir zürafa veya tay, yırtıcılardan kaçınmak için bacaklarının üzerinde mümkün olduğunca hızlı yürümeyi öğrenmelidir. Hayvanlar, omuriliklerinde bulunan kas koordinasyon ağları ile doğarlar. Bununla birlikte, bacak kaslarının ve tendonların tam koordinasyonunu öğrenmek biraz zaman alır. Başlangıçta, yavru hayvanlar büyük ölçüde kablolu omurilik reflekslerine güvenir.

Biraz daha temel olmakla birlikte, motor kontrol refleksleri, hayvanın ilk yürüme denemeleri sırasında düşmekten ve kendilerine zarar vermekten kaçınmasına yardımcı olur.

Aşağıdaki, daha gelişmiş ve kesin kas kontrolü, sonunda sinir sistemi genç hayvanın bacak kaslarına ve tendonlarına iyi bir şekilde adapte olana kadar uygulanmalıdır. Artık kontrolsüz tökezleme yok – genç hayvan artık yetişkinlere ayak uydurabilir.

Stuttgart’taki Max Planck Akıllı Sistemler Enstitüsü’ndeki (MPI-IS) araştırmacılar, hayvanların yürümeyi ve tökezlemeyi nasıl öğrendiklerini öğrenmek için bir araştırma çalışması yürüttüler. Ayrıntıları anlamalarına yardımcı olan dört ayaklı, köpek boyutunda bir robot yaptılar.

MPI-IS Dynamic Locomotion araştırma grubunda eski bir doktora öğrencisi olan Felix Ruppert, “Mühendisler ve robotistler olarak, tıpkı bir hayvan gibi refleksleri olan ve hatalardan öğrenen bir robot yaparak cevabı aradık” diyor.

“Bir hayvan tökezlerse, bu bir hata mı? Bir kez olursa olmaz. Ancak sık sık tökezliyorsa, bize robotun ne kadar iyi yürüdüğüne dair bir ölçü verir.”

Felix Ruppert, “Kapalı Çevrim Merkezi Model Üreteçlerinde Robot Dinamiğinin Plastik Eşleşmesini Öğrenmek18 Temmuz 2022 tarihinde prestijli dergide yayınlanacak olan Doğa Makine Zekası.

Öğrenme algoritması sanal omuriliği optimize eder

Sadece bir saat içinde yürümeyi öğrenen Ruppert’in robotu, karmaşık bacak mekaniğini iyi bir şekilde kullanıyor. Bir Bayesian optimizasyon algoritması öğrenmeyi yönlendirir: ölçülen ayak sensörü bilgisi, robotun bilgisayarında bir program olarak çalışan modellenmiş sanal omurilikten gelen hedef verilerle eşleştirilir.

Robot, gönderilen ve beklenen sensör bilgilerini sürekli karşılaştırarak, refleks döngüleri çalıştırarak ve motor kontrol modellerini uyarlayarak yürümeyi öğrenir.

Öğrenme algoritması, bir Merkezi Model Oluşturucunun (CPG) kontrol parametrelerini uyarlar. İnsanlarda ve hayvanlarda, bu merkezi model oluşturucular, beyinden girdi olmaksızın periyodik kas kasılmaları üreten omurilikteki nöron ağlarıdır.

Merkezi model oluşturucu ağlar, yürüme, göz kırpma veya sindirim gibi ritmik görevlerin oluşturulmasına yardımcı olur. Ayrıca refleksler, bacaktaki sensörleri omuriliğe bağlayan sabit kodlanmış sinir yolları tarafından tetiklenen istemsiz motor kontrol eylemleridir.

Genç hayvan tamamen düz bir yüzey üzerinde yürüdüğü sürece, CPG’ler omurilikten gelen hareket sinyallerini kontrol etmek için yeterli olabilir. Ancak yerdeki küçük bir tümsek yürüyüşü değiştirir. Refleksler devreye girer ve hayvanın düşmesini önlemek için hareket modellerini ayarlar.

Hareket sinyallerindeki bu anlık değişiklikler tersine çevrilebilir veya ‘elastik’tir ve hareket desenleri, bozulmadan sonra orijinal konfigürasyonlarına geri döner. Ancak hayvan, aktif reflekslere rağmen birçok hareket döngüsünde tökezlemeyi bırakmazsa, o zaman hareket kalıpları yeniden öğrenilmeli ve ‘plastik’, yani geri döndürülemez hale getirilmelidir. Yeni doğan hayvanda, CPG’ler başlangıçta henüz yeterince iyi ayarlanmamıştır ve hayvan hem düz hem de engebeli arazide tökezler. Ancak hayvan, CPG’lerinin ve reflekslerinin bacak kaslarını ve tendonlarını nasıl kontrol ettiğini hızla öğrenir.

Aynısı, “Morti” adlı Labrador boyutundaki robot köpek için de geçerlidir. Dahası, robot hareket modellerini yaklaşık bir saat içinde bir hayvandan daha hızlı optimize ediyor. Morti’nin CPG’si, robotun bacaklarının hareketini kontrol eden küçük ve hafif bir bilgisayarda simüle edilir.

Bu sanal omurilik, dört ayaklı robotun sırtına, başının olacağı yere yerleştirilir. Robotun düzgün bir şekilde yürümesi için geçen saat boyunca, robotun ayaklarından gelen sensör verileri, robotun CPG’si tarafından tahmin edilen beklenen iniş ile sürekli olarak karşılaştırılır. Robot tökezlerse, öğrenme algoritması bacakların ne kadar ileri geri sallandığını, bacakların ne kadar hızlı sallandığını ve bir bacağın yerde ne kadar süre kaldığını değiştirir.

Ayarlanan hareket, robotun uyumlu bacak mekaniğini ne kadar iyi kullanabileceğini de etkiler. Öğrenme süreci sırasında, CPG uyarlanmış motor sinyalleri gönderir, böylece robot bundan böyle daha az tökezler ve yürümesini optimize eder.

Bu çerçevede, sanal omuriliğin robotun bacak tasarımı, motorları ve yayları hakkında açık bir bilgisi yoktur. Makinenin fiziği hakkında hiçbir şey bilmeyen, bir robot ‘modelinden’ yoksundur.

Ruppert, “Robotumuz, bacak anatomisi veya nasıl çalıştığı hakkında hiçbir şey bilmeden pratik olarak ‘doğdu’, diye açıklıyor.

“CPG, doğanın sağladığı ve bizim robota aktardığımız yerleşik bir otomatik yürüme zekasına benziyor. Bilgisayar, bacakların motorlarını kontrol eden sinyaller üretir ve robot başlangıçta yürür ve sendeler.

“Veriler sensörlerden, sensör ve CPG verilerinin karşılaştırıldığı sanal omuriliğe geri akar. Sensör verileri beklenen verilerle eşleşmezse, öğrenme algoritması, robot iyi ve tökezlemeden yürüyene kadar yürüme davranışını değiştirir. Refleksleri aktif tutarken CPG çıktısını değiştirmek ve robotun tökezlemesini izlemek, öğrenme sürecinin temel bir parçasıdır.”

Enerji verimli robot köpek kontrolü

Morti’nin bilgisayarı, yürüme sürecinde sadece beş watt güç çekiyor. Karmaşık kontrolörlerin yardımıyla çalışmayı öğrenen önde gelen üreticilerin endüstriyel dörtlü robotları, çok daha fazla güce aç. Kontrolörleri, robotun bir modeli kullanılarak robotun kesin kütle ve vücut geometrisi bilgisi ile kodlanmıştır. Genellikle onlarca, birkaç yüz watt’a kadar güç çekerler.

Her iki robot türü de dinamik ve verimli çalışır, ancak hesaplamalı enerji tüketimi Stuttgart modelinde çok daha düşüktür. Ayrıca hayvan anatomisi hakkında önemli bilgiler sağlar.

“Yaşayan bir hayvanın omuriliğini kolayca araştıramayız. Ama bir robotu robotta modelleyebiliriz,” diyor Ruppert ile birlikte yayının yazarlarından olan ve Dinamik Hareket Araştırma Grubu’nun başkanı Alexander Badri-Spröwitz.

“Bu CPG’lerin birçok hayvanda bulunduğunu biliyoruz. Reflekslerin gömülü olduğunu biliyoruz; ama hayvanların refleksler ve CPG’lerle hareketleri öğrenmesi için ikisini nasıl birleştirebiliriz? Bu, robotik ve biyoloji arasındaki kesişme noktasında temel bir araştırmadır. Robotik model bize biyolojinin tek başına cevaplayamayacağı sorulara cevaplar veriyor.”

Bu robotik ve nöroteknoloji araştırma haberleri hakkında

Soyut

Kapalı döngü merkezi model üreteçlerinde robot dinamiklerinin plastik eşleşmesini öğrenme

Hayvanlar, kas ve tendonlarındaki uyumu kullanarak daha az kontrol çabası ve enerji verimliliği ile çevik hareket performansı elde eder. Bununla birlikte, biyolojik hareket kontrolörlerinin bacak mekaniklerinde yer alan zekayı kullanmayı nasıl öğrendikleri bilinmemektedir.

Burada, kısa vadeli esneklik ve uzun vadeli plastisite kavramına dayalı kontrol kalıpları ve mekaniği eşleştirmek için bir çerçeve sunuyoruz. Hayvanlardan esinlenerek, pasif elastik bacaklara sahip bir robot olan Morti tasarladık.

Dörtlü robot Morti, seyrek temas geri bildirimi kullanarak kısa süreli bozulmaları elastik olarak azaltmak için tasarlanmış, biyo-ilhamlı bir kapalı döngü merkezi model üreteci tarafından kontrol edilir.

Morti, uzun vadede düzeltici geri bildirim miktarını en aza indirerek, denetleyiciyi mekanikleriyle eşleştirmeyi öğrenir ve 1 saat içinde yürümeyi öğrenir. Mekaniğinin avantajlarından yararlanan Morti, maliyet fonksiyonunda belirgin bir minimizasyon olmaksızın enerji verimliliğini %42 oranında artırır.