Person

• Kommunikation och kognition
• LAMiNATE (Language Acquisition, Multilingualism, and Teaching)
• The Educational Technology Group

• Teaching and learning in diverse and noisy class-rooms: Taking knowledge from the lab to implementation in teacher education
• Betydelsen av en berättares temporala koordinering av gester och tal för en lyssnare/betraktare
• The influence of non-verbal and environmental factors on sentence comprehension in children
• Thinking in Time: Cognition, Communication and Learning
• Valblindhet/Choice Blindness: Tillit och förtroende i Virtual Reality
• Virtuellt klassrum som forskningsplattform

Syftet med mitt forskningsprojekt är att undersöka effekter hur kombinationen av vad man hör och ser formar vad han tar till sig när man lyssnar på någon som pratar. 
Planen är att studera detta genom att spela in spela in rörelser och tal av talare, och sedan animera digitala karaktärer utifrån detta. Detta ger möjligheter att precist manipulera stimulusmaterial baserat på naturligt tal. Man kan på så vis systematiskt introducera diskrepans mellan tal och gester (t.ex. tidsmässig eller rumslig förskjutning eller utsläckning av gester). Detta bygger delvis på ny metodologi som utvecklas inom projektet. 

Resultaten bör kunna ge insikter om vad som är nödvändigt och tillräckligt i koordinationen av tal och gester för att fylla kommunikativa funktioner. I första hand är vi intresserade av lärandesituationer, och resultaten kan och ange riktlinjer för användandet av virtuella agenter i lärteknologi. Därför kommer vissa av studierna i projektet utföras med barn i skolålder.

Böcker (1 st)

• Nirme, J. (2020). Understanding virtual speakers. Lund University Cognitive Studies, 177. Lund University (Media-Tryck). Doktorsavhandling.

Artiklar (5 st)

• Halder, A., Nordin, A., Miller, M., Kuklane, K., Nirme, J. & Gao, C. (2021). Effects of leg fatigue due to exhaustive stair climbing on gait biomechanics while walking up a 10˚ incline – implications for evacuation and work safety. Fire Safety Journal. Elsevier.
  • Extern fulltext
• Nirme, J., Haake, M., Gulz, A. & Gullberg, M. (2020). Motion capture-based animated characters for the study of speech-gesture integration. Behavior Research Methods, 52, 1339-1354. Springer.
  • Extern fulltext
• Nirme, J., Sahlén, B., Lyberg Åhlander, V., Brännström, J. & Haake, M. (2020). Audio-visual speech comprehension in noise with real and virtual speakers. Speech Communication, 116, 44-55. Elsevier.
  • Extern fulltext (Begränsad tillgång)
• Nirme, J., Haake, M., Lyberg Åhlander, V., Brännström, J. & Sahlén, B. (2019). A virtual speaker in noisy classroom conditions : supporting or disrupting children’s listening comprehension?. Logopedics Phoniatrics Vocology, 44, 79-86. Taylor & Francis.
  • Extern fulltext
• Rudner, M., Lyberg-Åhlander, V., Brännström, J., Nirme, J., Pichora-Fuller, M. K. & Sahlén, B. (2018). Listening comprehension and listening effort in the primary school classroom. Frontiers in Psychology, 9. Frontiers Media S. A..
  • Extern fulltext

Bokkapitel (1 st)

• Silvervarg, A., Kirkegaard, C., Nirme, J., Haake, M. & Gulz, A. (2014). Steps towards a Challenging Teachable Agent. I Bickmore, T., Marsella, S. & Sidner, C. (Red.) Intelligent Virtual Agents, 14th International Conference, IVA 2014, Boston, MA, USA, August 27-29, 2014, Proceedings / Lecture Notes in Computer Science (pp. 410-419), 8637. Springer.
  • Extern fulltext (Begränsad tillgång)
  • Extern fulltext (Begränsad tillgång)

Konferensbidrag (5 st)

• Nirme, J. (2018). Stronger activation of spatial representations of words by presentation of gestures in absence of spatial task.
  • Extern fulltext
• Nirme, J. & Garde, H. (2017). Computational camera placement optimization improves motion capture data quality.
  • Extern fulltext
• Nirme, J. (2016). Recall and perceived naturalness of asynchronous speech and gesture.
  • Extern fulltext
• Anikin, A., Nirme, J., Alomari, S., Bonnevier, J. & Haake, M. (2015). Compensation for a large gesture-speech asynchrony in instructional videos. I Ferré, G. & Tutton, M. (Red.) Gesture and Speech in Interaction - 4th edition (GESPIN 4) (pp. 19-23).
  • Extern fulltext
  • Extern fulltext
• Lingonblad, M., Londos, L., Nilsson, A., Boman, E., Nirme, J. & Haake, M. (2015). Virtual Blindness - A Choice Blindness Experiment with a Virtual Experimenter. Intelligent Virtual Agents, 9238, 442-451. Springer.
  • Extern fulltext (Begränsad tillgång)