РЕГРЕССИЯ И УРАВНИВАНИЕ

При попытке снизить неэквивалентность групп с помощью процедуры уравнивания появляется особый вид угрозы внутренней валидности исследования. В только что рассмотренном примере эта проблема не возникла, но в прикладных исследованиях она иногда появляется. Уравнивание описывалось в главе 6 как альтернатива случайному распределению, подходящая для создания эквивалентных групп в случае управляемой независимой переменной. При использовании уравнивания участников разделяют на пары в зависимости от значения переменной уравнивания, а затем случайным образом распределяют по группам (см. о процедуре уравнивания в главе 6). Однако, если при использовании плана с неэквивалентной контрольной группой две группы были набраны из популяций, имеющих значимые отличия друг от друга в отношении переменной уравнивания, уравнивание может вызвать проблемы. Использование процедуры уравнивания в этом случае может усилить эффект регрессии и даже привести к отказу от эффективной программы. Рассмотрим гипотетический пример.

Предположим, вы разрабатываете программу развития навыков чтения у плохо читающих детей. Вы объявляете о наборе добровольцев для участия в новой обучающей программе и отбираете тех, кто наиболее нуждается в помощи (т. е. детей с очень низкими средними результатами). Чтобы держать под контролем социоэкономпческий класс, вы набираете добровольцев, живущих в таких же районах, но в других городах, и создаете из них контрольную группу. Главная задача заключается в том, чтобы создать группы с одинаковыми начальными навыками чтения, поэтому вы решаете уравнять группы в отношении этой переменной. Вы проводите предварительный тест на навыки чтения у добровольцев из изучаемого района и у потенциальных членов контрольной группы, а затем по полученным результатам формируете две группы с одинаковыми средними оценками. Допустим, что результаты теста варьируются от 0 до 50 баллов. Вы решаете для обеих групп отобрать детей со средней оценкой 25 баллов. Далее группа воздействия занимается но разработанной программе, а контрольная группа не подвергается воздействию. Используется обычный план с неэквивалентной группой:

Экспериментальная Предварительное Программа Заключительное

группа тестирование ио чтению тестирование

Контрольная Предварительное — Заключительное

группа тестирование тестирование

Вы уверены, что ваша программа совершенна и действительно способна помочь множеству детей, и с нетерпением ждете результатов исследования. Поэтому вы шокированы, когда получаете следующие данные:

Экспериментальная Предварительное Программа Заключительное

группа тестирование = 25 по чтению тестирование — Контрольная Предварительное — Заключительное

группа тестирование = 25 тестирование = По-видимому, разработанная программа не просто не работает, но даже препятствует развитию навыков чтения — у контрольной группы обнаружено заметное улучшение! Что же произошло?

Очень вероятно, что эффект регрессии, вызванный процедурой уравнивания, перекрыл эффект экспериментального воздействия. Не забывайте, что экспериментальная группа была сформирована из детей со слабыми навыками чтения как наиболее нуждающихся в этой программе. Если провести тестирование всех детей, попадающих в эту категорию (т. е. в эту популяцию), то средняя оценка может оказаться довольно низкой, скажем 17. Однако при использовании процедуры уравнивания вы были вынуждены отобрать детей с гораздо более высокими оценками, чем в среднем у детей из популяции «плохо читающих». Возможно, что некоторые дети из этой группы в ходе предварительного тестирования получили оценки выше, чем они должны были бы получить, ведь никакой тест не обладает абсолютной надежностью и могла возникнуть некоторая ошибка измерений. Поэтому при заключительном тестировании многие из этих детей получили более низкие оценки вследствие регрессии к среднему. Предположим, что программа была действительно эффективной и увеличивала оценку навыка чтения в среднем на 4 балла. Однако если эффект регрессии состоял в снижении оценки в среднем на 4 балла, то в результате будет обнаружено отсутствие изменений результатов от предварительного к заключительному тестированию:

25 + (+4) + (-4) = 25.

С участниками контрольной группы могло произойти обратное. Возможно, средняя оценка для их популяции была намного выше, чем 25 (например, 35) и они довольно хорошо читали (т. е. образовывали популяцию, отличающуюся от экспериментальной группы). Отбор участников, чьи оценки гораздо ниже, чем в среднем у популяции, проведенный с той целью, чтобы результаты предварительного тестирования соответствовали оценкам экспериментальной группы, мог привести к тому, что из-за эффекта регрессии оценки заключительного тестирования оказались выше.

На результаты этих детей, полученные при заключительном тестировании, повлиял такой же эффект регрессии, заключающийся в изменении оценок на 4 балла. Таким образом:

25 + 0 + (+4) = 29.

На рис. 10.4 эта проблема представлена наглядно. Регрессия и вызванные программой улучшения взаимно исключили друг друга в экспериментальной группе, а на контрольную группу повлияла только регрессия, сдвинувшая оценки в сторону увеличения. В целом, программа по чтению могла быть весьма хорошей, но процедура уравнивания вызвала эффект регрессии, сделавший незаметной ее эффективность1.

Этот вид регрессии обнаружил свой эффект при первой крупномасштабной попытке оценить эффективность программы «Рывок» (60-х гг. XX в.) — одной из центральных программ законодательной инициативы президента Линдона Джонсона «Великое общество» (Campbell & Erlebacher, 1970). Программа была начата в 1965 г. и представляла собой масштабную попытку дать возможность дошкольникам из бедных семей сделать «рывок» к школе: развить у детей различные, связанные со школой навыки, а также привлечь к этому процессу их родителей. К 1990 г. около 11 млн детей участвовали в программе, и сегодня «Рывок» считается самой успешной социальной программой, проводимой правительством (Horn, 1990). В начале 70-х гг. ее критиковали за неспособность вызывать продолжительный эффект. Критики преимущественно основывались на «Вестингхаузовском исследовании» (названном так, поскольку его позволил начать грант, выданный Вестингхаузовской корпорации обучения и Университету штата Огайо), проведенном Виктором Цицирелли и его коллегами (Cicirelli, V.G., Cooper, W.H. & Granger, R.L., 1969).

‘ Хотя проведение прикладного исследования в нолевых условиях может предотвратить подобную проблему, лучше всего проверить навыки чтения у большой группы детей, уравнять их по результатам данного теста, а затем случайным образом распределить их на экспериментальную и контрольную группы.

4. Гипотетическое влияние эффекта регрессии при уравнивании неэквивалентных груп

4. Гипотетическое влияние эффекта регрессии при уравнивании неэквивалентных груп

В ходе Вестпнгхаузовского исследования был обнаружен «эффект затухания» — раннее развитие способностей у детей, произошедшее под влиянием программы «Рывок», к третьему классу стиралось. Вывод, конечно, был сделан такой, что федеральные доллары тратятся на неэффективную социальную программу. Именно на это в своем обращении к конгрессу указал президент Никсон, ссылаясь на вес- тингхаузовское исследование. Впоследствии в годы правления Никсона финансирование «Рывка» неоднократно ставилось под сомнение. В то же самое время главный фундамент критики, вестннгхаузовское исследование, получил отрицательную оценку социологов.

Из-за того, что программа «Рывок» уже давно действовала к моменту, когда стартовал вестингхаузовский проект по ее оценке, в ходе его было невозможно случайным образом распределить детей на экспериментальную и контрольную группы. Вместо этого исследовательская группа набрала группу детей, участвующих в программе «Рывок», и уравняла их по когнитивным показателям с группой детей, не принимающих участия в этой программе. Но для того чтобы уравнять детей по когнитивным показателям, из участников программы «Рывок» были отобраны дети, чьи оценки заметно превышали среднее значение, и контрольные дети, чьи оценки были заметно ниже средних для их группы. А это в точности повторяет ситуацию, только что описанную в приведенном гипотетическом примере программы развития навыков чтения. Таким образом, отсутствие улучшений в третьем классе у группы из программы «Рывок» было, но крайней мере отчасти, связано с регрессией, вызванной процедурой уравнивания (Campbell & Erlebacher, 1970).

В защиту вестингхаузовской исследовательской группы следует отметить, что они отчаянно возражали политикам, которые собирались закрыть программу. Ци- цирелли (Cicirelli V.G., 1984) настаивал на том, что исследование «не показало, что «Рывок»был неудачным» (р. 915; курсив автора), что необходимы дополнительные исследования, а также что должны быть предприняты «серьезные усилия по расширению и усовершенствованию этой программы» (р. 916). Не так давно (Cicirelli, V.G., 1993) Цицирелли отметил, что исходя из вестингхаузовского исследования можно порекомендовать «не останавливать программу «Рывок», а на основании открытии, сделанных в ходе применения этой программы, постараться сделать ее более эффективной» (р. 32).

Планы с неэквивалентной контрольной группой не всегда приводят к разногласиям, подобным тем, которые возникли в ходе вестингхаузовского исследования. Нижеследующий пример демонстрирует попытку поднять самооценку бейсболистов малой лиги с помощью особого курса занятий для тренеров.

Январь 24, 2019 Общая психология, психология личности, история психологии
Еще по теме
РЕГРЕССИЯ
МНОЖЕСТВЕННАЯ РЕГРЕССИЯ
ОБРАТНОЕ ПОЗИЦИОННОЕ УРАВНИВАНИЕ
РЕГРЕССИЯ
УПРАЖНЕНИЕ 6.4. СЛУЧАЙНОЕ РАСПРЕДЕЛЕНИЕ И УРАВНИВАНИЕ
ПРОСТАЯ РЕГРЕССИЯ:
ПРОБЛЕМЫ ПРОЦЕДУРЫ ПОЗИЦИОННОГО УРАВНИВАНИЯ
РЕГРЕССИЯ К СРЕДНЕМУ
МНОЖЕСТВЕННАЯ РЕГРЕССИЯ
УРАВНИВАНИЕ
МНОЖЕСТВЕННАЯ РЕГРЕССИЯ (MULTIPLE REGRESSION)
ЧАСТИЧНОЕ ПОЗИЦИОННОЕ УРАВНИВАНИЕ
ПЕРЕМЕННАЯ УРАВНИВАНИЯ
ПОЗИЦИОННОЕ УРАВНИВАНИЕ
НОРМИРОВАНИЕ И УРАВНИВАНИЕ
РЕГРЕССИЯ
Пример 16. Смешанный факторный план с позиционным уравниванием
Добавить комментарий