An ecologically valid reference frame for perspective invariant action recognition

Abstract

In robotics, objects and body parts can be represented in various coordinate frames to ease computation. In biological systems, body or body part centered coordinate frames have been proposed as possible reference frames that the brain uses for interacting with the environment. Coordinate transformations are standard tools in robotics and can facilitate perspective invariant action recognition and action prediction based on observed actions of other agents. Although it is known that human adults can do explicit coordinate transformations, it is not clear whether this capability is used for recognizing and understanding the actions of others. Mirror neurons, found in the ventral premotor cortex of macaque monkeys, seem to undertake action understanding in a perspective invariant way, which may rely on lower level perceptual mechanisms. To this end, in this paper, we propose a novel reference frame that is ecologically plausible and can sustain basic action understanding and mirror function. We demonstrate the potential of this representation by simulation of an upper body humanoid robot with an action repertoire consisting of push, poke, move-away, bring-to-mouth, bring-left and bring-right actions. The simulation experiments indicate that the representation is suitable for action recognition and effect prediction in a perspective invariant way, and thus can be deployed as an artificial mirror system for robotic applications.

Robotikte, nesneler ve vücut parçaları, hesaplamayı kolaylaştırmak için çeşitli koordinat sistemlerinde temsil edilebilir. Biyolojik sistemlerde, vücut veya vücut parçası merkezli koordinat sistemleri, beynin çevre ile etkileşim için kullandığı olası referans sistemleri olarak önerilmiştir. Koordinat dönüşümleri robotikte standart araçlardır ve diğer ajanların gözlemlenen eylemlerine dayalı olarak perspektiften bağımsız eylem tanıma ve eylem tahminini kolaylaştırabilir. Yetişkin insanların kolaylıkla koordinat dönüşümleri yapabildikleri bilinmesine rağmen, bu yeteneğin başkalarının eylemlerini tanımak ve anlamak için kullanılıp kullanılmadığı açık değildir. Makak maymunlarının ventral premotor korteksinde bulunan ayna nöronları, daha düşük seviyeli algısal mekanizmalara dayanabilen, perspektiften bağımsız bir şekilde eylem anlayışını üstleniyor gibi görünmektedir. Bu amaçla, bu çalışmada, ekolojik olarak var olabilecek olan, temel eylem anlayışını ve ayna nöronu işlevini sürdürebilen yeni bir referans sistemi öneriyoruz. Bu temsilin potansiyelini, itme, dürtme, uzaklaştırma, ağzına getirme ve sağa ve sola taşıma eylemlerinden oluşan bir eylem repertuarına sahip bir üst vücut insansı robotun simülasyonu ile gösteriyoruz. Simülasyon deneyleri, temsilin, perspektiften bağımsız bir şekilde eylem tanıma, objeler üzerindeki etki tahmini için uygun olduğunu ve bu nedenle robotik uygulamalar için yapay bir ayna nöronu sistemi olarak konuşlandırılabileceğini göstermektedir.