АУДИОВИЗУАЛЬНАЯ ИНТЕГРАЦИЯ: ЭФФЕКТ МАК-ГУРКА.

Уникальность речи заключается также и в том, что при типичной вербальной коммуникации слушатель воспринимает не только акустические звуковые сигналы, источником которых является говорящий, но и сопровождающую их мимику — движения его лица и губ. Иными словами, слушая собеседника, мы нередко видим его лицо, «формирующее» речевые звуки. Могут ли эти визуальные признаки влиять на восприятие речи? В какой мере восприятие речи зависит от того, видим мы лицо собеседника или нет?

Наиболее яркое доказательство того, что визуальные признаки влияют на восприятие речи, — эффект Мак-Гурка, который проявляется в том, что аудиальная и визуальная информация, которую несет в себе речь, взаимодействуют между собой и влияют на то, что мы слышим. Визуальная картина речи влияет на восприятие слушателя. Проводя свое оригинальное исследование, Мак-Гурк и Мак-До- нальд создали такие условия, при которых аудиальные сигналы произносимого слога полностью не соответствовали (противоречили) сопутствовавшим им визуальным сигналам (McGurk & MacDonald, 1976; см. также Dodd, 1977). В одном из экспериментов они демонстрировали испытуемым видеозапись женщины, многократно произносившей одними губами слогиga-ga, в то время как фонограмма воспроизводила слоги ba-ba. Когда испытуемые закрывали глаза и только слушали фонограмму, они точно распознавали слоги. Более того, когда они видели только движения губ говорившей женщины, а фонограмма была выключена, они достаточно точно идентифицировали произносимые ею звуки как ga-ga (подтверждая тем самым, что при необходимости мы можем читать по губам и что, возможно, делаем это гораздо чаще, чем нам кажется). Однако когда испытуемым одновременно предъявлялись противоречащие друг другу аудиальный и визуальный стимулы, они слышали звуки, которых не было ни в одном из них. Например, когда испытуемые видели на экране женщину, артикуляция губ которой соответствовала слогам ga-ga, и одновременно звучал акустический сигнал ba-ba, большинство из них слышали совсем другой звук — da-da\ Интересная деталь: большинство испытуемых не осознали несоответствия аудиальной и визуальной стимуляций.

Аудиовизуальной интеграции, по-видимому, присущ автоматизм, и эта ее особенность имеет общий характер. Известно, что стойкое влияние визуальной стимуляции на восприятие звука проявляется даже при очевидном несоответствии пола человека, за артикуляцией губ которого наблюдают, звучащему голосу (Green et al., 1991). Если испытуемые смотрели видеозапись мужчины, произносившего одними губами ga-ga, и слышали женский голос, говоривший ba-ba, они осознавали несоответствие сигналов, но это не мешало им воспринимать иллюзорную фонему da. Иными словами, влияние визуального стимула на восприятие сохранялось.

Визуальная картина голосовых усилий также может влиять на воспринимаемую громкость звуков. Розенблюм и Фаулер (Rosenblum & Fowler, 1991) предъявляли испытуемым аудиовизуальное излбражение мужчины, произносившего разные слоги , но визуальный дисплей очевидных усилий, прикладываемых им при этом, не соответствовал интенсивности звуков, которые были слышны Например, испытуемые видели человека, произносившего слог с видимым усилием (что соответствует громкому звуку), но слышали тихо произнесенный слог. Даже несмотря на то, что экспериментаторы просили испытуемых судить о громкости звука только по тому, что они слышат, один лишь вид человека, произносящего слог с нескрываемым усилием, существенно увеличивал громкость воспринимаемого звука, и чем больше были голосовые усилия человека на экране, тем более громким казался звук испытуемым.

Аудиовизуальная интеграция, проявлением которой является эффект Мак-Гурка, свидетельствует о том, что при определенных обстоятельствах восприятие речи зависит не только от акустических сигналов.

Установлено (с помощью такого метода визуализации мозга, как ФМРТ), что чтение по губам активирует те же ауди- альные центры мозга, которые активируются и при восприятии звучащей речи, и что механизмы активации аналогичны (Calvert et al., 1997). Является ли само по себе существование интеграции таких признаков, как движения губ и звуки речи, доказательством уникальности речи? Возможно, нет. Во-первых, и люди, и животные проявляют склонность к аудиовизуальной интеграции и в тех случаях, когда имеют место неречевые звуки (Heffner & Heffner, 1992; Saldana & Rosenblum, 1993). Сама по себе локализация звучащих объектов подвержена влиянию визуальной стимуляции. В известной мере то, что вы видите, помогает вам определить, откуда доносится звук. Более того, высокий уровень понимания речи может быть достигнут и без движения губ и прочих визуальных признаков. Способность незрячих людей воспринимать речь и собственный опыт читателей, связанный с прослушиванием радиопередач, подтверждают справедливость этого утверждения. Однако аудиовизуальная интеграция бесспорно свидетельствует о том, что визуальная компонента речи в тех случаях, когда она доступна, становится дополнительным источником информации, сочетающимся со словами. Это может быть очень полезно, и прежде всего в условиях повышенного шума, ибо уменьшается вероятность того, что говорящий будет превратно понят. Сказанное прежде всего относится к ситуациям, когда одновременно звучат несколько сообщений: восприятие того из них, которое имеет к нам непосредственное отношение, значительно облегчается, если есть возможность наблюдать за движениями губ говорящего. Более того, при определенных условиях только выражение лица и жесты оратора способны донести до слушателей эмоциональное и когнитивное содержание его речи, которые не были бы восприняты ими, если бы они слышали одни слова (Iverson & Goldin- Meadow, 1998).

Обобщая все изложенное выше, можно сказать, что источники восприятия речи различны: это и частотые характеристики речевых звуков, и сопровождающая последние визуальная информация, и индивидуальные особенности самого слушателя. На вопрос, который мы задали в самом начале главы: «Уникальна ли речь?», пока нет однозначного ответа. Хотя у нас нет достаточных оснований утверждать, что речь является специфической формой аудиальной информации и потому требует специального механизма или модальности, подобная трактовка — соблазнительная гипотеза, и не исключено, что она соответствует действительности.

Прежде чем перейти к рассмотрению других вопросов, уместно высказать одно соображение общего характера. Из нашей краткой дискуссии читатель не мог не понять — мы это подчеркивали — всю тщетность попыток прийти к одному приемлемому и достаточно полному объяснению восприятия речи. Не исключено восприятие речи, что, как и другие сложные формы деятельности и способности человека, базируется не на одном, а не нескольких механизмах. В любом случае, не должно быть сомнений в том, что понимание восприятия речи далеко выходит за рамки простого анализа физических свойств речевых звуков и восприятия последних слухом.

Январь 24, 2019 Общая психология, психология личности, история психологии
Еще по теме
Феромоны и менструальная синхронность: эффект Мак-Клинтока.
ПСИХОЛОГИЧЕСКИЙ АСПЕКТ АУДИОВИЗУАЛЬНОГО ВОСПРИЯТИЯ
КОМПЛЕКСНАЯ АУДИОВИЗУАЛЬНАЯ СТИМУЛЯЦИЯ.
3. Теория Мак-Клелланда о потребности в достижениях
7. Концепция трудовой мотивации Д. Мак-Клелланда
КЛАССИФИКАЦИЯ МОТИВОВ НА ОСНОВЕ ИНСТИНКТОВ: УИЛЬЯМ МАК-ДАУГОЛЛ
ИНТЕГРАЦИЯ
СТЕПЕНЬ ИНТЕГРАЦИИ РАЗМЕРНОСТЕЙ.
3.5. СИСТЕМНАЯ ИНТЕГРАЦИЯ
4.2.3 Проблема интеграции признаков
СТЕПЕНЬ КОНЦЕПТУАЛЬНОЙ ИНТЕГРАЦИИ.
10.5. Интеграция поведенческих и физиологических процессов
Аутичный ребенок: Проблема интеграции
ПЕРСПЕКТИВЫ ИНТЕГРАЦИИ ПАРАДИГМ
СЕВЕРОКАВКАЗСКИЙ СОЦИУМ: ОТ ТОЛЕРАНТНОСТИ К ИНТЕГРАЦИИ
ИНТЕГРАЦИЯ ПСИХИЧЕСКИ БОЛЬНЫХ В ОБЩЕСТВЕ (MAINSTREAMING (PSYCHOTICS))
Добавить комментарий