UtskriftPerson
Doktorand inom kognitionsvetenskap.
Forskning
Pågående projekt
Avslutade projekt
- Betydelsen av en berättares temporala koordinering av gester och tal för en lyssnare/betraktare
- The influence of non-verbal and environmental factors on sentence comprehension in children
- Thinking in Time: Cognition, Communication and Learning
- Valblindhet/Choice Blindness: Tillit och förtroende i Virtual Reality
Om forskningen
Syftet med mitt forskningsprojekt är att undersöka effekter hur kombinationen av vad man hör och ser formar vad han tar till sig när man lyssnar på någon som pratar.
Planen är att studera detta genom att spela in spela in rörelser och tal av talare, och sedan animera digitala karaktärer utifrån detta. Detta ger möjligheter att precist manipulera stimulusmaterial baserat på naturligt tal. Man kan på så vis systematiskt introducera diskrepans mellan tal och gester (t.ex. tidsmässig eller rumslig förskjutning eller utsläckning av gester). Detta bygger delvis på ny metodologi som utvecklas inom projektet.
Resultaten bör kunna ge insikter om vad som är nödvändigt och tillräckligt i koordinationen av tal och gester för att fylla kommunikativa funktioner. I första hand är vi intresserade av lärandesituationer, och resultaten kan och ange riktlinjer för användandet av virtuella agenter i lärteknologi. Därför kommer vissa av studierna i projektet utföras med barn i skolålder.
Publikationer
Böcker (1 st)
Artiklar (4 st)
- Nirme, J., Sahlén, B., Lyberg Åhlander, V., Brännström, J. & Haake, M. (2020). Audio-visual speech comprehension in noise with real and virtual speakers. Speech Communication, 116, 44-55. Elsevier.
- Nirme, J., Haake, M., Gulz, A. & Gullberg, M. (2019). Motion capture-based animated characters for the study of speech-gesture integration. Behavior Research Methods. Springer.
- Nirme, J., Haake, M., Lyberg Åhlander, V., Brännström, J. & Sahlén, B. (2019). A virtual speaker in noisy classroom conditions : supporting or disrupting children’s listening comprehension?. Logopedics Phoniatrics Vocology, 44, 79-86. Taylor & Francis.
- Rudner, M., Lyberg-Åhlander, V., Brännström, J., Nirme, J., Pichora-Fuller, M. K. & Sahlén, B. (2018). Listening comprehension and listening effort in the primary school classroom. Frontiers in Psychology, 9. Frontiers.
Bokkapitel (1 st)
Konferensbidrag (5 st)
- Nirme, J. (2018). Stronger activation of spatial representations of words by presentation of gestures in absence of spatial task.
- Nirme, J. & Garde, H. (2017). Computational camera placement optimization improves motion capture data quality.
- Nirme, J. (2016). Recall and perceived naturalness of asynchronous speech and gesture.
- Anikin, A., Nirme, J., Alomari, S., Bonnevier, J. & Haake, M. (2015). Compensation for a large gesture-speech asynchrony in instructional videos. I Ferré, G. & Tutton, M. (Red.) Gesture and Speech in Interaction - 4th edition (GESPIN 4) (pp. 19-23).
- Lingonblad, M., Londos, L., Nilsson, A., Boman, E., Nirme, J. & Haake, M. (2015). Virtual Blindness - A Choice Blindness Experiment with a Virtual Experimenter. Intelligent Virtual Agents, 9238, 442-451. Springer.
Forskningsportalen (Lunds universitet)
