UtskriftPerson
Doktorand inom kognitionsvetenskap.
Forskning
Pågående projekt
Avslutade projekt
Om forskningen
Syftet med mitt forskningsprojekt är att undersöka effekter hur kombinationen av vad man hör och ser formar vad han tar till sig när man lyssnar på någon som pratar.
Planen är att studera detta genom att spela in spela in rörelser och tal av talare, och sedan animera digitala karaktärer utifrån detta. Detta ger möjligheter att precist manipulera stimulusmaterial baserat på naturligt tal. Man kan på så vis systematiskt introducera diskrepans mellan tal och gester (t.ex. tidsmässig eller rumslig förskjutning eller utsläckning av gester). Detta bygger delvis på ny metodologi som utvecklas inom projektet.
Resultaten bör kunna ge insikter om vad som är nödvändigt och tillräckligt i koordinationen av tal och gester för att fylla kommunikativa funktioner. I första hand är vi intresserade av lärandesituationer, och resultaten kan och ange riktlinjer för användandet av virtuella agenter i lärteknologi. Därför kommer vissa av studierna i projektet utföras med barn i skolålder.
Publikationer
Artiklar (3 st)
- Nirme, J., Haake, M., Gulz, A. & Gullberg, M. (accepted/in press). Motion capture-based animated characters for the study of speech-gesture integration. Behavior Research Methods. The Psychonomic Society.
- Nirme, J., Haake, M., Lyberg Åhlander, V., Brännström, J. & Sahlén, B. (2019). A virtual speaker in noisy classroom conditions : supporting or disrupting children’s listening comprehension?. Logopedics Phoniatrics Vocology, 44, 79-86. Taylor & Francis.
- Rudner, M., Lyberg-Åhlander, V., Brännström, J., Nirme, J., Pichora-Fuller, M. K. & Sahlén, B. (2018). Listening comprehension and listening effort in the primary school classroom. Frontiers in Psychology, 9. Frontiers.
Bokkapitel (1 st)
Konferensbidrag (5 st)
- Nirme, J. (2018). Stronger activation of spatial representations of words by presentation of gestures in absence of spatial task.
- Nirme, J. & Garde, H. (2017). Computational camera placement optimization improves motion capture data quality.
- Nirme, J. (2016). Recall and perceived naturalness of asynchronous speech and gesture.
- Anikin, A., Nirme, J., Alomari, S., Bonnevier, J. & Haake, M. (2015). Compensation for a large gesture-speech asynchrony in instructional videos. I Ferré, G. & Tutton, M. (Red.) Gesture and Speech in Interaction - 4th edition (GESPIN 4) (pp. 19-23).
- Lingonblad, M., Londos, L., Nilsson, A., Boman, E., Nirme, J. & Haake, M. (2015). Virtual Blindness - A Choice Blindness Experiment with a Virtual Experimenter. Intelligent Virtual Agents, 9238, 442-451. Springer.
