Real-time decoding of arm kinematics during grasping based on f5 neural spike data

Abstract

Extending our knowledge about brain mechanisms and behavior can lead to many advantages and inspiration in the diagnosis of nervous system diseases and robotics and artificial intelligence. Ventral premotor cortex, i.e. area F5, in a macaque monkey's brain is one of the areas of interest in the literature. Studies have shown that F5 area in monkeys is involved in arm movements and hand configuration, enabling the animal to grasp objects with different shapes (different grip types). Furthermore, it is shown in the studies that F5 area contains neurons called mirror neurons which are active not only during the period the animal moves his arm and hand but also while the animal is observing another monkey or person performing the same action. In this study, we aim to investigate whether, by using F5 area neural activity, monkey's arm kinematics can be decoded in real-time or not. Furthermore, how the decoding capacity of mirror and non-mirror neurons can be differentiated. To this end, the neural behavior of 32 neurons (including both mirror and non-mirror neurons) in the stated area was recorded while a monkey was performing grasping tasks on different objects. Also, monkey's motion was video captured simultaneously. Using image processing techniques and tools, kinematics data was extracted from the videos. Later, the possibility of single neuron's decoding of the kinematics data was investigated. Results reveal that although single neuron real-time decoding of the kinematics is not always ideal, reasonable performance is achievable with selected neurons from both groups. Based on the results of this study non-mirror neurons seem to act as better single-neuron decoders. Although it seems obvious that population-level activity is required for more robust decoding, the single-neuron decoding accuracy can be considered as possible criteria to categorize neurons in the F5 area.Beyin mekanizmaları ve davranışıyla ilgili bilgimizi genişletmek, sinir sistemi hastalıklarının ve yaralanmaların teşhisine ışık tutmaktan mevcut olan en gelişkin robotik ve yapay zekâ alanlarına ilham vermeye kadar pek çok avantaj sağlayabilir. Makaklardaki ventral premotor korteks, yani F5 bölgesi, literatürdeki ilgi alanlarından biridir. Araştırmalar, maymunlardaki F5 alanının kol hareketleri ve el konfigürasyonunda rol oynadığı ve farklı şekillerdeki objelerin (farklı kavrama tipleri) kavranmasını sağladığını gösteriyor. Ayrıca f5 alanınında sadece hayvanın hareketi sırasında değil, başka bir maymunun aynı hareketini izlerken de aktif olan ayna-nöron adı verilen nöronların bulunduğu gösterilmiştir. Bu çalışmada, F5 alanındaki sinir aktivitesini kullanarak maymunun kol kinematiğinin gerçek zamanlı olarak çözülüp çözülemeyeceğini, dahası, ayna ve ayna olmayan nöronların şifre çözme kapasitesinin nasıl ayırt edilebileceğini araştırmayı amaçlıyoruz. Bu amaçla, belirtilen bölgedeki 32 nöronun (ayna ve ayna olmayan nöronlar dahil) sinirsel davranışları, bir maymun farklı nesneler üzerinde kavrama görevleri yürütürken kaydedilmiştir. Ayrıca, maymunun hareketi aynı anda videoya çekildi. Görüntü işleme teknikleri ve araçlarını kullanarak videolardan kinematik veriler çıkarıldı. Daha sonra, tek bir nöronun kinematik verileri çözme yeteneği araştırıldı. Sonuçlar, kinematiklerin tek bir nöron tarafından gerçek zamanlı kod çözümü her zaman ideal olmasa da, her iki gruptan seçilen nöronlarla makul bir performansa ulaşılabileceğini ortaya koymaktadır. Bu çalışmanın sonuçlarına dayanarak, ayna olmayan nöronların tek nöronlu kod çözücüleri olarak daha iyi oldukları söylenebilir. Daha güçlü kod çözme için çoklu nöron etkinliğine ihtiyaç duyulduğu açıkça görülse de, F5 bölgesindeki nöronlar, tek nöron şifre çözme yöntemindeki başarı ölçülerine göre kategorize edilebilir.