Полученные данные будут полезны для понимания пациентов с дефицитом восприятия речи и для создания компьютеров, способных понимать слуховую и визуальную речь.«Все люди растут, слушая десятки тысяч речевых примеров, в результате чего наш мозг содержит исчерпывающую карту вероятности того, что любая данная пара движений рта и звуков речи сочетается друг с другом», — сказал д-р Майкл Бошамп, профессор нейрохирургии. из Медицинского колледжа Бейлора и старшим автором статьи с Джоном Магнотти, научным сотрудником докторантуры в Бейлоре. «В повседневных ситуациях мы часто сталкиваемся с несколькими говорящими, испускающими звуковые и визуальные речевые сигналы, и мозг должен решить, следует ли интегрировать определенную комбинацию голоса и лица».«Несмотря на то, что наши чувства постоянно бомбардируются информацией, наш мозг без труда выбирает вербальную и невербальную речь наших собеседников из этой какофонии», — сказал Магнотти.Эффект Мак-Герка — пример того, когда что-то идет не так.
Это происходит, когда видимые движения рта могут перекрывать слышимое, заставляя человека воспринимать звук, отличный от того, что он на самом деле говорит. Только когда глаза закрыты и когда слышен звук, можно понять правильное сообщение.
Например, визуальное «га» в сочетании со слуховым «ба» приводит к восприятию «да».Магнотти и Бошамп смогли создать модель алгоритма мультисенсорного восприятия речи, основанную на принципе причинного вывода, что означает, что, учитывая конкретную пару слуховых и визуальных слогов, мозг вычисляет вероятность того, что они принадлежат к одному или нескольким говорящим, и использует эту вероятность. для определения окончательного восприятия речи.
«Мы сравнили нашу модель с альтернативной идентичной моделью, за исключением того, что она всегда интегрирует доступные сигналы, что означает, что нет случайного вывода о восприятии речи», — сказал Бошамп, который также является директором Core for Advanced MRI в Baylor. «Используя данные от большого числа субъектов, модель с причинным выводом лучше предсказывала, как люди будут или не будут интегрировать аудиовизуальные слоги речи».«Результаты предполагают фундаментальную роль вычисления типа причинного вывода, происходящего в мозге во время мультисенсорного восприятия речи», — сказал Магнотти.Исследователи уже имеют представление о том, как и где мозг по отдельности кодирует слуховую и визуальную речь, но этот алгоритм проливает свет на процесс их интеграции.
Он будет служить руководством, выделяя определенные области мозга, которые будут важны для мультисенсорного восприятия речи.«Понимание того, как мозг объединяет информацию, полученную от различных органов чувств, поможет понять способы улучшить ухудшение восприятия речи из-за типичного старения и даже разработать устройства, которые могут улучшить слух на протяжении всей жизни», — сказал Бошам.
(См. Примеры на http://openwetware.org/wiki/Beauchamp:McGurk_CI_Stimuli.)