VLAAI derin sinir ağını kullanarak konuşma zarfının EEG’den kodunun çözülmesi.
Beyindeki konuşmanın işlenmesini araştırmak için, beyin sinyalleri ve konuşma özellikleri arasında bir ilişki kurmak için yaygın olarak basit doğrusal modeller kullanılır. Bununla birlikte, bu doğrusal modeller, beyin gibi oldukça dinamik, karmaşık doğrusal olmayan bir sistemi modellemek için yetersiz donanıma sahiptir ve genellikle önemli miktarda konuya özel eğitim verisi gerektirir. Bu çalışma, yeni bir konuşma kod çözücü mimarisini tanıtıyor: Çok Büyük Artırılmış İşitsel Çıkarım (VLAAI) ağı. VLAAI ağı, son teknoloji konudan bağımsız modellerden daha iyi performans gösterdi (medyan Pearson korelasyonu 0.19, p < 0.001) ve iyi kurulmuş lineer modele göre %52'lik bir artış sağladı. Ablasyon tekniklerini kullanarak VLAAI ağının her bir bölümünün göreceli önemini belirledik ve doğrusal olmayan bileşenlerin ve çıktı bağlam modülünün model performansını en çok etkilediğini bulduk (%10 göreli performans artışı). Daha sonra, VLAAI ağı, görünmeyen denekler ve uyaranlar için genellemeyi test etmek için 26 denekten oluşan bir bekleme veri seti ve halka açık görünmeyen veri seti üzerinde değerlendirildi. Bekletilen denekler ile varsayılan test seti arasında anlamlı bir fark bulunmadı ve varsayılan test seti ile genel veri seti arasında sadece küçük bir fark bulundu. Temel modellerle karşılaştırıldığında, VLAAI ağı, genel veri kümesindeki tüm temel modellerden hala önemli ölçüde daha iyi performans gösterdi. VLAAI ağını 1 ila 80 denek arasındaki veriler üzerinde eğiterek eğitim seti boyutunun etkisini değerlendirdik ve eğitim setindeki denek sayısı ile görünmeyen denekler üzerindeki performans arasında logaritmik bir ilişki ortaya koyarak 26 beklemede kalan denek üzerinde değerlendirdik. Son olarak, özneden bağımsız VLAAI ağı, özneye özgü VLAAI modelleri elde etmek için 26 beklemede kalan denek için ince ayarlandı. 5 dakikalık veya daha fazla veri ile, özneden bağımsız VLAAI ağı ile ilgili olarak %34'e kadar (0,18'den 0,25 medyan Pearson korelasyonuna) kadar önemli bir performans artışı bulundu.
