Этот эффект проявляется в том, что слуховая и зрительная информация, которую несёт в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Проводя своё оригинальное исследование, Мак-Гурк и Мак-Дональд создали такие условия, при которых слуховые сигналы произносимого слога не соответствовали соответствующим движениям губ (McGurk & MacDonald, 1976). Испытуемым предьявлалась видеозапись человека, многократно произносившего одними губами слоги ga-ga, в то время как фонограма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ, говорившего человека, а фонограмма была выключена, они достаточно точно идентифицировали произносимые звуки как ga-ga (подтверждая тем самы, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу слыховые и зрительные стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране человека, артикуляция губ которого соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук - da-da! Интересная деталь: большинство испытуемых не осознали несоответствия слуховой и зрительной стимуляций.
Когда вы смотрите плохо дублированный иностранный фильм, то очень легко заметить, что звуки, которые вылетают из ртов актеров, не совпадают с движениями их губ.
Другими словами, даже когда наше зрение и слух стимулируются одновременно во время фильма, наш мозг должен выполнять действительно хорошую работу, обращая внимание на соответствие движения губ и звуков.
Но мозг также может быть введен в заблуждение. В интригующей иллюзии, известной как эффект Мак-Гурка, наблюдение за движениями губ человека может обманом заставить мозг услышать неправильный звук.
Эффект Мак-Гурка возникает, когда существует конфликт между зрительной речью, то есть движением чьего-либо рта и губ, и слуховой речью, представленной звуками, которые человек слышит. И это может привести к восприятию совершенно другого сообщения.
Исследование с помощью компьютерной модели
В новом исследовании неврологи из медицинского колледжа «Бэйлора» в Хьюстоне попытались предложить количественное объяснение причин эффекта Мак-Гурка. Они разработали компьютерную модель, которая была в состоянии точно предсказать, когда эффект Мак-Гурка должен или не должен произойти у людей, согласно результатам, опубликованным 16 февраля в журнале PLOS Computational Biology.
В демонстрации эффекта Мак-Гурка, используемого в исследовании, участнику предлагалось оставить глаза закрытыми во время прослушивания видео, которое показывает человека, производя его звуки «ба-ба-ба». Затем этого участника просили открыть глаза и внимательно посмотреть на рот человека в видео, но без звука. Для участника визуальные эффекты выглядели так, как будто человек говорил «га-га-га». На последнем этапе эксперимента воспроизводилось то же самое видео, но на этот раз звук был включен, а участнику предложили его посмотреть. Чувствительные к эффекту Мак-Гурка люди сообщали о том, что в третий раз они слышали звук «да-да-да», который не соответствовал ни слуховым, ни визуальным сигналам, замеченным ранее.
Так происходит потому, что мозг пытается решить, какой, по его мнению, звук ближе к тому, что он видит визуально. Когда участник снова закрывал глаза, и ученые воспроизводили звук видео, он снова слышал оригинальный звук «ба-ба-ба».
Эффект был впервые описан в эксперименте, проведенном в 1976 году психологами Гарри Мак-Гурком и Джоном Макдональдом. Он показал, что визуальная информация, предоставляемая движениями рта, может влиять и переопределять то, как думает человек, что он слышит.
Прогнозирование иллюзии
«Эффект Мак-Гурка – это мощная, мультисенсорная иллюзия, — сказал соавтор исследования Джон Магнотти, докторант в отделе нейрохирургии в «Бейлоре». — Мозг воспринимает слуховую и визуальную речь и объединяет их, чтобы сформировать что-то новое».
Когда люди общаются лицом к лицу, мозг занимается сложной деятельностью, поскольку он пытается решить, как совместить движения губ со звуками речи, которые слышит, отметил Магнотти.
В исследовании ученые пытались понять, почему мозг может лучше складывать некоторые слоги, чтобы интерпретировать звук, который был услышан правильно, а другие нет.
Причинно-следственный вывод
Чтобы понять это, их модель полагалась на идею, известную как причинно-следственный вывод, или процесс, при котором мозг человека решает, были ли звуковые и визуальные звуки речи произведены одним и тем же источником. Другие исследователи разработали модели, чтобы помочь предсказать, когда может произойти эффект Мак-Гурка, но это новое исследование является первым, которое включает причинно-следственную связь в свое вычисление, отметил Магнотти. Факторинг в причинном умозаключении, возможно, улучшил точность новой модели по сравнению с предыдущими, которые также должны были предсказывать иллюзии.
Чтобы проверить точность своей модели предсказания, исследователи набрали 60 участников и попросили их послушать пару слуховой и зрительной речи от одного оратора. Затем участников попросили решить, какой звук они слышали: «ба», «да» или «га».
Их результаты показали, что разработанная модель может достоверно предсказать, когда большинство участников эксперимента испытают эффект Мак-Гурка. Но, как и ожидалось в их расчете, были выявлены люди, которые оказались не восприимчивы к этому, поделился Магнотти.
Интересно отметить, что, когда этот же тест был проведен со студентами в Китае, а не в Соединенных Штатах, было доказано, что эффект Мак-Гурка работает на других языках.
Практическое применение использованных компьютерных моделей
Магнотти сказал, что, по его мнению, компьютерные модели, разработанные для этого исследования, могут также иметь практическое применение. Например, эта модель может быть полезна для компаний, которые создают компьютеры, помогающие распознавать речь, таких как Google Home или Amazon Echo.
Если бы у этих технологии были камеры, они могли бы интегрировать движение губ людей в то, что они говорят, чтобы повысить точность своих систем распознавания речи.
Модель также может помочь детям с кохлеарными имплантатами, улучшая понимание исследователями механизма, как визуальная речь влияет на то, что человек слышит, отметил Магнотти.
Иллюзия Аристотеля
Иллюзия Вебера
Холодные предметы кажутся тяжелее, чем теплые предметы того же веса.
Иллюзия звукового контраста
Звук одной и той же силы на фоне более тихих звуков кажется громче, чем на фоне более громких.
Иллюзия Луны
Иллюзия Мюллера-Шумана
После многократного поднимания тяжелого груза более легкий груз кажется легче, чем он есть в действительности и, наоборот, после поднимания легкого груза более тяжелый кажется еще тяжелее.
Иллюзия Шарпантье
Если поднимать два одинаковых по весу и внешнему виду, но различных по объему предмета, то меньший по размеру будет восприниматься человеком как более тяжелый.
Иллюзия Шепарда
При увеличении громкости, тон воспринимается как более высокий. Чтобы проверить на себе эту иллюзию, скачайте WAV-файл (56 Кб).
Эффект Бецольда-Брюке
Эффект заключается в изменении оттенка света при изменении его интенсивности. При увеличении интенсивности относительно длинноволнового света, такого, например, как жёлто-зелёный или жёлто-красный, он будет казаться не только более ярким, но и "более жёлтым". Точно также и коротковолновый свет, воспринимаемый как сине-зелёный и фиолетовый, при увеличении интенсивности начинает казаться синее.
Эффект Мак-Гурка
Этот эффект проявляется в том, что слуховая и зрительная информация, которую несёт в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Проводя своё оригинальное исследование, Мак-Гурк и Мак-Дональд создали такие условия, при которых слуховые сигналы произносимого слога не соответствовали соответствующим движениям губ (McGurk & MacDonald, 1976). Испытуемым предъявлалась видеозапись человека, многократно произносившего одними губами слоги ga-ga , в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ, говорившего человека, а фонограмма была выключена, они достаточно точно идентифицировали произносимые звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу слуховые и зрительные стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране человека, артикуляция губ которого соответствовала слогам ga-ga , и одновременно звучал акустический сигнал ba-ba , большинство из них слышали совсем другой звук - da-da ! Интересная деталь: большинство испытуемых не осознали несоответствия слуховой и зрительной стимуляций.
Проверить на себе эффект Мак-Гурка можно, скачав видео-файл (147 Кб). (Для его просмотра необходим плейер QuickTime)
Эффект Пуркинье
Пуркинье в 1825 году заметил, что яркость голубых и красных дорожных знаков в разное время суток разная: днём обе краски одинаково яркие, а на закате голубая кажется более яркой, чем красная. При наступлении более глубоких сумерек цвета совсем блекнут и, вообще, начинают восприниматься в серых тонах. Красный цвет воспринимается как черный, а голубой как белый. Этот феномен связан с переходом от колбочкового зрения к палочковому при снижении освещенности.
Который демонстрирует взаимодействие между слухом и зрением в восприятии речи. Он предполагает, что восприятие речи мультимодально, то есть вовлекает информацию сразу из нескольких органов чувств . Эффект Мак-Гурка также иногда называют эффектом Мак-Гурка - Мак-Дональда . Впервые он был описан Мак-Гурком и Мак-Дональдом в 1976 году.
Этот эффект может быть испытан при просмотре видеоролика с видеорядом с одной фонемой и звуковой дорожкой с произношением другой фонемы. Часто воспринятая фонема является третьей, средней между этими двумя. Для примера, в оригинальном эксперименте Мак-Гурка испытуемым показывали видеозапись человека, многократно произносившего одними губами слоги ga-ga, в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ, говорившего человека, а фонограмма была выключена, они достаточно точно идентифицировали произносимые звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу слуховые и зрительные стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране человека, артикуляция губ которого соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук - da-da, при этом большинство испытуемых не осознали несоответствия слуховой и зрительной стимуляций. Последующие эксперименты показали, что подобный эффект наблюдается и при проведении экспериментов с целыми предложениями. Эффект очень устойчивый, и знание о нём почти не влияет на его восприятие, что отлично от некоторых оптических иллюзий , которые разрушаются при тщательном изучении.
Изучение эффекта Мак-Гурка используется для создания более точных программ распознавания речи с применением видео-камеры и читающего по губампрограммного обеспечения . Исследование Вейрэма и Райта 2005 года показало, что эффект Мак-Гурка может иметь большое влияние на повседневное восприятие.
Можно испытать на себе эффект Мак-Гурка.
Ссылки
- McGurk, Harry; MacDonald, John (1976); Hearing lips and seeing voices, Nature , Vol. 264(5588), pp. 746-748.
- Wright, Daniel; Wareham, Gary (2005); Mixing sound and vision: The interaction of auditory and visual information for earwitnesses of a crime scene, Legal and Criminological Psychology , Vol. 10(1), pp. 103-108.
