Development of multimodal expressions of space in speech and gesture: the case of sagittal and topological spatial relations

Abstract

Previous literature has shown that learning to communicate about space follows a lengthy timetable. However, prior work has shown that children can express some concepts, including spatial relations, in gestures prior to expressing them in speech. Do children use gestures with under-informative descriptions for spatial relations that are acquired earlier in development such as topological and viewpoint dependent sagittal spatial relations? Furthermore, within those spatial relations that are acquired earlier, are there differences in the use of under-informative speech plus gesture combinations? Finally, when speech and gesture are both considered, do developmental differences between adults and children diminish or disappear completely? The present study addresses these questions by looking at children's spatial expressions in speech only, gestures, and speech plus gesture. We contrasted descriptions of two spatial descriptions that vary in their complexity. Participants (24 children and 23 adults) were monolingual Turkish speakers who described a target picture (indicated by an arrow) to an addressee. Target pictures depicted either topological relations (in-on) or viewpoint-dependent relations in the sagittal axis (front-behind). Our results showed that children and adults produced informative spatial expressions equally frequently for topological spatial relations in their speech. However, children produced informative spatial expressions less frequently than adults for viewpoint dependent sagittal spatial relations in their speech. Children produced spatial expressions that informative when gesture were considered more for viewpoint dependent sagittal spatial relations. Children produced spatial expressions that informative when gesture were considered less for topological spatial relations because they were already informative in their speech. Lastly, children’s frequency of informative spatial expressions reached the adults’ level in speech plus gestures. Gestures revealed earlier expression of viewpoint dependent sagittal spatial relations. However, the total speech plus gesture frequency of informative spatial expression did not add new information for topological spatial relations. This study demonstrated the interactions between multimodal expressions of spatial relations and their complexity as seen in their order of acquisition.

Önceki çalışmalar uzamsal alanda iletişim kurmanın uzun bir gelişimsel çizelgeyi takip ettiğini göstermektedir. Ancak, yine önceki çalışmalar çocukların uzamsal ilişkiler de dahil olmak üzere bazı kavramları jest kullanarak konuşmalarından daha erken ifade edebildiklerini de göstermektedir. Çocukların nesneler arasındaki ilişkiyi yeterince açıklamayan kelimeler ile birlikte jest kullanıp kullanmadıkları, topolojik ve sagital eksendeki uzamsal ilişkiler gibi gelişimsel olarak daha erken yaşlarda öğrenilen uzamsal ilişkilerde test edilmemiştir. Ayrıca, daha erken öğrenilen uzamsal ilişkiler arasında yeterince açıklayıcı olmayan kelimeler ile jest kullanımında bir fark olup olmadığı incelenmemiştir. Son olarak, konuşma ve jest beraber değerlendirildiğinde, çocuklar ve yetişkinler arasındaki gelişimsel farkların azalıp azalmadığı veya tamamen kaybolup kaybolmadığı bilinmemektedir. Bu çalışmada, çocukların ve yetişkinlerin konuşmalarına, jestlerine, konuşma ve jestlerine birlikte bakılarak bu sorulara cevap aranmıştır. Bunun için çocuk ve yetişkinlerin zorluk derecelerinde farklılık gösteren iki uzamsal ilişkiyi konuşma ve jestlerinde nasıl ifade ettikleri kıyaslanmıştır. Anadili olarak Türkçe konuşan katılımcılardan (24 çocuk ve 23 yetişkin) farklı uzamsal ilişkileri gösteren 4 fotoğraf arasından ok ile gösterilen hedef fotoğrafı tanımlamaları istenmiştir. Bu görseller arasında ok ile gösterilen hedef uzamsal ilişkiler topolojik (içinde-üstünde) ya da sagital eksendeki bakış açısına göre değişen uzamsal ilişkilerden oluşmaktadır. Sonuçlar çocuk ve yetişkinlerin konuşmalarında topolojik uzamsal ilişkileri eşit sıklıkla bilgilendirici ifade ettiklerini göstermektedir. Ancak, çocukların konuşmalarında sagital eksendeki bakış açısına göre değişen uzamsal ilişkileri yetişkinlere göre daha az sıklıkla bilgilendirici ifade edebileceği bulunmuştur. Çocukların nesneler arasındaki ilişkiyi yeterince açıklamayan ifadeler ile birlikte jest kullanımının, sagital eksendeki bakış açısına göre değişen uzamsal ilişkileri tanımlamada topolojik ilişkileri tanımlamaya göre daha sıklıkla kullandıkları bulunmuştur. Çocukların nesneler arasındaki ilişkiyi yeterince açıklamayan ifadeler ile birlikte jestleri topolojik ilişkiler için daha az kullandıkları bulunmuştur. Buna sebep olarak çocukların topolojik uzamsal ilişkilerin konuşma ile ifadesinde zaten yeterince bilgilendirici oldukları gösterilebilir. Son olarak, konuşma jestler ile birlikte değerlendirildiği zaman, çocuklar ile yetişkinler arasındaki gelişimsel farkların kapandığı gözlemlenmiştir. Çocuklar jestleri aracılığı ile sagital eksendeki bakış açısına göre değişen uzamsal ilişkilerde erken gelişim göstermişlerdir. Ancak, konuşma ve jestlerin toplam bilgilendirici sıklığı topolojik uzamsal ilişkilerin ifade edişine yeni bir bilgi eklememiştir. Bu çalışma farklı uzamsal ilişkilerin ve bu ilişkilerin edinim sırasına göre zorluk derecelerinin konuşma ve jestlerde ifade edilişinde bir etkileşim bulmuştur.