High-level representations through unconstrained sensorimotor learning

Abstract

Living organisms, in particular mammals are adept at learning complex tasks that may require basic planning such as tool use and manipulation. This ability is manifested by the central nervous system; in particular by the brain, which has evolved from neural circuits that perform low level signal processing for action and perception. Artificial systems can learn to perform low level signal processing for tasks requiring basic perception and action. A particular learning mechanism for this is Reinforcement Learning (RL), in which the sensorimotor experience of an agent that involves a sequence of action decisions and returned 'rewards' from the environment are used to build a 'policy' for a given task. The complex task execution capabilities of higher-level animals may be facilitated by the abstractions formed based on the sensorimotor life cycle of lower-level neural circuits during learning. In a similar vein, the learning experience of an RL agent can be used to form symbol-like structures to enable more complex task executions, by for example explicit planning in symbolic space. The emergence of such high-level structures and their relationship with the environment and the agent dynamics may be revealed by analyzing the neural outputs during learning and actual deployment in different environments. In the literature, there are a range of studies that start by assuming the existence of symbolic structures that 'ground' them onto continuous sensorimotor signals experienced by the agent. In addition, many works aim to facilitate the emergence of symbol-like representations by using specially designed machine learning architectures. In this thesis, we take a different approach and investigate whether a deep reinforcement learning system that learns a dynamic task would facilitate the formation of high-level neural representations that might be considered as precursors of symbolic representations. For our experiments, we use a simulated robot whose sole task is to learn a policy to stand up under velocity dependent force perturbations. The policy is represented and learned by a neural network that is composed of simulated neurons whose responses are recorded during learning and, later, when testing the policy in different environments. The recorded data are then analyzed to detect formation of high-level abstract representations and their relations to the task dynamics. The results indicate that without even explicit design to promote abstract representations, intriguing neural responses emerge via learning, which may serve as the basis of abstract symbol-like representations.

Canlı organizmalar, özellikle memeliler basit planlama gerektiren alet kullanımı ve maniplasyon gibi karmaşık görevleri yerine getirmede ustadırlar. Bu yetenek, merkezi sinir sistemi tarafından, özellikle de aksiyon ve algı için alt seviye sinyal işleme gerçekleştiren nöral devrelerden gelişen beyin tarafından ortaya konmaktadır. Yapay sistemler, temel algılama ve aksiyon alma gerektiren görevler için alt seviye sinyal işlemeyi öğrenebilir. Özellikle pekiştirmeli öğrenme (RL), bir aktörün sensör deneyimi ile bir dizi aksiyon alması ve çevreden dönen "ödülleri" toplayarak belirli bir görevi yerine getirmek için gerekli karar mekanizmasını (policy) oluşturduğu öğrenme şeklidir. Daha gelişmiş hayvanların karmaşık görevleri gerçekleştirme yetenekleri, öğrenme sırasında alt seviye sinir devrelerinin sensör deneyimi döngüsüne dayalı olarak oluşturulan soyutlamalar ile gerçekleştirilir. Benzer bir şekilde bir RL aktörünün öğrenme deneyimi, sembol benzeri yapılar olusturularak, sembol ile planlama gibi karmaşık görevleri yerine getirmesini sağlamak amacı için kullanılabilir. Bu tür yüksek seviyeli yapıların ortaya çıkışı ve bunların çevre ve aktör dinamikleri ile ilişkileri, öğrenme sırasında nöron çıktıları ve muhtemel farklı ortamlarda konuşlandırılmasının analiz edilmesi ile ortaya çıkartılabilir. Literatürde pek çok çalışma bu sembollerin halihazırda var olduğu varsayımı ile başlar ve bu sembolleri sürekli motor sensör çıktıları üzerine oturtur. Diğer bir yaklaşım ise bu sembollerin ortaya çıkmasını sağlamak amacı ile özel olarak dizayn edilmiş sinir ağları kullanmaktır. Bu tez çalışmasında ise dinamik bir görevi öğrenen bir derin pekiştirmeli öğrenme sisteminin üst seviye bir sinirsel yapı oluşturma olasığı incelenmiştir ki bu yapılar sembolik temsillerin öncülleri olarak düşünülebilir. Deneylerimiz için, görevi hız vektörüne bağlı bir bozucu kuvvet altında ayağa kalkmayı öğrenmek olan simüle edilmiş bir robot kullandık. Simule edilmiş nöronlardan oluşan ayağa kalkma mekanizması bir sinir ağı ile öğrenilebilir ve temsil edilebilir. Deneylerimizde böyle bir sinir ağının çıktıları öğrenme sırasında ve sonrasında farklı ortamlarda kaydedilmiştir. Kaydedilen veriler daha sonra üst seviye soyut temsillerin oluşumu ve bunların görev dinamikleri ile ilişkilerini tespit etmek için incelenmiştir. Sonuçlar, soyut yapılar için özel bir tasarım kullanmadan, sembol benzeri gösterim olarak görülebilecek ilgi çekici sinir çıktılarının oluşabileceğini göstermiştir.