Zamansal korelasyon ve derin öğrenme ile Ses Kategorisi tanımlaması için İnferior Colliculus Çoklu Birim Aktivitesinin Nöral Kod Çözülmesi
Doğal sesler insanlar ve hayvanlar tarafından kolayca algılanır ve tanımlanır. Buna rağmen, ses algısını mümkün kılan sinirsel dönüşümler büyük ölçüde bilinmemektedir. Sinirbilimciler, sonunda beyin-makine arayüzlerinin (BCI’ler) tasarımına yönelik araştırmalara yardımcı olabilecek sinirsel kod çözme hakkında önemli sonuçlar çıkarıyorlar. Seslerin zaman-frekans korelasyon özelliklerinin orta beyindeki işitsel toplanma tepkilerine yansıyabileceği ve bunun doğal seslerin tanımlanmasında önemli bir rol oynayabileceği düşünülmektedir. Çalışmamızda, alt kolikulusta toplanan çok birimli aktivite (MUA) sinyallerinden doğal sesler tahmin edilecektir. MUA sinyallerinin zamansal korelasyon değerleri görüntülere dönüştürülür. İki farklı segment boyutu kullandık ve böylece sınıflandırma için dört alt küme oluşturduk. Önceden eğitilmiş evrişimli sinir ağları (CNN’ler) kullanılarak görüntülerin özellikleri çıkarılmış ve duyulan sesin türü sınıflandırılmıştır. Bunun için Alexnet, GoogleNet ve Squeezenet CNN’lerinden transfer öğrenimi uyguladık. Sınıflandırıcılar destek vektör makineleri (SVM), k-en yakın komşu (KNN), Naive Bayes ve Ensemble kullanılmıştır. Değerlendirme parametreleri olarak doğruluk, duyarlılık, özgüllük, kesinlik ve F1 puanı ölçüldü. Denemeleri tek tek değerlendirdiğimizde 1000 ms pencere üzeri zamansal korelasyon görüntüleri ile %85,69 doğruluk elde ettik. Tüm denemeleri kullanarak ve gürültüyü ortadan kaldırarak doğruluk %100’e yükseldi.
