Питер Мориарти, аспирант из Университета штата Пенсильвания, представит результаты этих исследований, проведенных с Мишель Вижант, профессором акустики и архитектурной инженерии, и профессором психологии Памелой Коул в совместном проекте Американского акустического общества и Японского акустического общества. встреча состоится ноя. 28 декабря.
2 в Гонолулу, Гавайи.
Команда использовала функциональную магнитно-резонансную томографию (фМРТ) для сбора информации в реальном времени об активности мозга детей, когда они слушали образцы голоса своей матери с различными аффектами или невербальными эмоциональными сигналами.
Акустический анализ образцов голоса проводился в сочетании с данными фМРТ для корреляции активности мозга с количественными акустическими характеристиками.
«Мы используем акустический анализ и фМРТ, чтобы изучить взаимодействие и, в частности, то, как мозг ребенка реагирует на определенные акустические сигналы в речи матери», — сказал Мориарти.
Дети в исследовании слышали 15-секундные голосовые образцы одних и тех же слов или предложений, но каждый из них выражал гнев, счастье или был нейтральным по аффектам в целях контроля. Эмоциональные аффекты определялись и количественно прогнозировались набором акустических параметров.
«Большинство этих акустических параметров достаточно хорошо установлены», — сказал Мориарти. "Мы говорим о таких вещах, как высота речи как функция времени… Они использовались в сотнях исследований."В более общем смысле они смотрят на то, что называется просодией, или интонациями голоса.
Однако есть много акустических параметров, относящихся к речи. Понимание закономерностей в различных наборах этих параметров и того, как они связаны с эмоциями и эмоциональной обработкой, далеко не так просто.
"Вы не можете просто поговорить с Siri [имеется в виду виртуальный помощник Apple], и Siri знает, что вы злитесь или нет. «Есть очень сложная модель, которую нужно создать, чтобы выносить такие суждения», — объяснил Мориарти. "Проблема в том, что между этими акустическими параметрами и типом эмоции существует очень сложное взаимодействие и негатив или позитив, которые мы ассоциируем с некоторыми из этих эмоций."
Эта работа является пилотным исследованием, проведенным на ранней стадии более крупного проекта под названием The Processing of the Emotional Environment Project (PEEP).
На этом раннем этапе команда ищет лучший набор переменных для прогнозирования этих эмоций, а также их влияния на процессы в мозге. «[Мы хотим] акустическое число или числа, которые хорошо предсказывали бы, что мы говорим:« Да, мы можем количественно сказать, что это было сердито или это было хорошо », — сказал Вижант.
В работе, которая будет представлена, команда продемонстрировала важность рассмотрения низкочастотных характеристик в спектрах голоса; шаблоны, которые появляются в течение многих секунд речи или образец голоса в целом.
Эти закономерности, как они сообщают, могут играть важную роль в понимании результирующей активности мозга и дифференциации информации, относящейся к эмоциональной обработке.
С помощью эффективных предикторов и анализа фМРТ воздействия на мозг конечной целью PEEP является изучение того, как малыш, еще не развивший язык, обрабатывает эмоции посредством просодии и как окружающая среда влияет на их развитие. «Долгосрочная цель — действительно понять просодическую обработку, потому что именно на нее реагируют маленькие дети, прежде чем они смогут действительно обработать и интегрировать вербальное содержание», — сказал Коул.
Однако малышей сложнее отобразить на устройстве фМРТ, поскольку для этого требуется, чтобы они были в основном неподвижны в течение длительных периодов времени. Так что на данный момент команда изучает детей старшего возраста в возрасте от 6 до 10 лет, хотя все еще есть некоторые проблемы.
«По сути, мы пытаемся проверить этот тип процедуры и посмотреть, сможем ли мы получить значимые результаты, изучая детей, которые так молоды. Раньше этого не делали в этой возрастной группе, и это в значительной степени из-за того, что дети не могут двигаться в сканере."