Специфические особенности подкрепления инструментальной условной оборонительной реакции
Подкрепление – центральный вопрос условнорефлекторной теории. Согласно мнению некоторых теоретиков, невозможно понять, что такое подкрепление вообще, если не понять, что служит подкреплением при формировании ИУОР (реакции избегания. Парадокс
Методика реакции избегания вышла из недр классической методики. Первоначально методике выработки оборонительной реакции были свойственны некоторые черты классической схемы, приведшие к известным трудностям (опыты Протопопова). Этой участи не избежало и понимание подкрепления (как безусловного раздражителя = тока).
И. П. Павлов не дал определения подкрепления. Единого мнения не существует. Под подкреплением, согласно Э. А. Асратяну (1977), И. П. Павлов понимал действие биологически значимого раздражителя (БЗР), которое придает сигнальное значение другому, сочетанному с ним несущественному в биологическом отношении раздражителю, благодаря которому последний приобретает свойство вызывать эффект первого раздражителя в виде условного рефлекса.
В определении упоминаются: 1. Биологически значимый раздражитель – это безусловный раздражитель (БС –безусловный стимул), который в силу своей природы вызывает БР (безусловный рефлекс). 2. Он сочетается с несущественным в биологическом отношении раздражителем (в будущем – УС) 3. Ранее индифферентный раздражитель становится УС, вследствие чего приобретает свойство вызывать эффект БЗР, что и называется УР. УС БС (кислота) БР (слюноотделение) УС → УР (слюноотделение)
ОТСТУПЛЕНИЕ Собака реагирует на УС так, как если бы это был сам БР: (УС=БР) → УР. То есть, имеет место отождествление условного и безусловного раздражителей. Примеры подобного отождествления: 1. Собака лижет лампу при выработке пищевого УР. 2. Спариваемые самец и самка помещаются в соседних камерах, разделенных падающей дверцей. Один раз в день включается световой стимул, дверца поднимается, самец начинает ухаживание. После 5 -10 проб самцы направляют свое ухаживание на свет и ведут себя так, как будто это самка.
Подкрепление – «действие биологически значимого раздражителя» (пищи, кислоты) Определение подкрепления порождено схемой выработки классического УР и отражает ее: УС – БС (пища) → БР (слюноотделение) Именно в этой схеме безусловный раздражитель обеспечивал формирование условных рефлексов и логично рассматривался как подкрепление. Но …
Следствия применения классической схемы: 1. Невозможно выработать прочный условный рефлекс в виде подъема лапы в ответ на условный раздражитель 2. Невротизация подопытной собаки 3. Вырабатывалась противоположная реакция (собака в ответ на условный раздражитель прижимала лапу к полу) Вывод: При выработке инструментальной оборонительной реакции понимать подкрепление по-прежнему, как безусловный раздражитель, следующий за условным, и давать соответствующую экспериментальную реализацию (как в методике В. П. Протопопова) стало невозможно.
Сопоставление роли безусловного раздражителя в классической методике и методике Протопопова
Сопоставление роли безусловного раздражителя в классической методике и методике Протопопова • Классическая методика • Методика Протопопова • УС – БР (пища, слюна) • 1. БР – подкрепление для • • формирования сигнального значения индифферентного раздражителя, делая его условным сигналом • «БР подкрепляет УС» • 2. БР оправдывает (подкрепляет) опережающее выделение слюны, делая реакцию адаптивной • 3. Пища (кислота) – и причина реакции, и её подкрепление УС – БР (ток) 1. БР – подкрепление для формирования сигнального значения индифферентного раздражителя, делая его условным сигналом • «БР подкрепляет УС» • 2. БР не подкрепляет опережающее выполнение реакции , но наказывает её • 3. Ток – только причина реакции, но не её подкрепление
Следовательно, в классическом УР пища подкрепляет и сигнал, если использовать сложившуюся в то время терминологию, и опережающую реакцию, то есть, сам УР. В опытах Протопопова ток подкрепляет только сигнал, но служит наказанием для опережающей реакции. Это не позволяет выработать устойчивый двигательный оборонительный рефлекс. Но Абсолютизировать схему нельзя (нельзя винить схему в неудаче опытов Протопопова) – классическая методика может обеспечить выработку двигательного оборонительного рефлекса
Условный мигательный рефлекс Классический условный рефлекс УС БС реакция Инструментальный условный рефлекс УС БС реакция
Выработка мигательного (двигательного) оборонительного рефлекса оказалось возможной, поскольку опережающая реакция адаптивна - опережающее закрытие века уменьшает болезненное воздействие струи воздуха на веко А возможно ли применение инструментальной схемы для выработки кислотного УР? Голосуем Нет, ибо если кислота попала в ротовую полость, то прекратить её действие экспериментатор не может
Резюме • В классическом условном рефлексе безусловный • • • раздражитель подкрепляет и сигнал, и опережающую реакцию, то есть, сам УР, который выполняет адаптивную функцию. В опытах Протопопова безусловный раздражитель подкрепляет только сигнал, но служит наказанием для опережающей реакции. Опережающая реакция не адаптивна. Именно поэтому (и только поэтому) невозможен прочный условный двигательный рефлекс Если обеспечить адаптивную функцию опережающей реакции, то можно выработать УР двигательный оборонительный и по классической схеме (мигательный УР). Основное - адаптивная функция, но не схема как таковая
ЧТО ЕСТЬ ПОДКРЕПЛЕНИЕ? • Вопрос о том, что есть подкрепление при выработке двигательного оборонительного УР, разделил исследователей на 2 лагеря: • 1. Многие исследователи рассматривают в качестве подкрепления болевой раздражитель. • 2. Большое число исследователей, наоборот, считают, что подкреплением служит прекращение его действия. • Что является подкреплением в ИУОР? Болевой раздражитель или его прекращение?
1 -й случай: подкреплением служит ток. Каковы последствия? • 1)Ур -R – Т (Пк) • Абсурд! • 2)Ур - R – Т (Пк) • Абсурд!!
Итак, если признать, что подкреплением служит ток, то это ведёт к 2 неприемлемым следствиям: 1. Не подкрепляется вырабатываемая реакция 2. Подкрепляется отсутствие реакции, которую нужно выработать 3. Имеется еще одно неприемлемое следствие нашего выбора тока в качестве подкрепления: Что случится, если ток (= Пк) давать при переходе крысы на другую половину камеры? Бихейвиористы о Пк 4. И ещё одно: "Несмотря на то, что полученный. . . рефлекс ничем не подкреплялся, он держался несколько дней и даже недель" (Конорский и Миллер, 1936, С. 223). Кто может прокомментировать это высказывание?
Кто может прокомментировать это высказывание? • Условный рефлекс «держится» благодаря подкреплению. • Следовательно, если он «держится» , то подкрепление имеет место. • Следовательно, подкрепление – не ток!
Таким образом, признание болевого раздражителя подкреплением приводит к нежелательным последствиям, в частности, противоречит определению инструментального подкрепления реакции, в соответствии с которым оно рассматривается как событие, которое следует за реакцией и увеличивает вероятность ее выработки. Т (Пк) после реакции не увеличивает вероятность ее выработки. Медведь на арене…
Рациональное зерно в понимании тока как подкрепления • И. П. Павлов, Ю. М. Конорский, П. К. Анохин, • • Л. Г. Воронин Каково вышереченное рациональное зерно в понимании классиков? Ответ вы должны дать, используя полученную ранее информацию При использовании «подкрепления» речь идёт о подкреплении условного раздражителя Результат - приобретение сигнального значения условным раздражителем
Рациональное зерно в понимании тока как подкрепления • • • И. П. Павлов, Ю. М. Конорский, П. К. Анохин, Л. Г. Воронин Каково вышереченное рациональное зерно в понимании классиков? Ответ вы должны дать, используя полученную ранее информацию При использовании «подкрепления» речь идёт о подкреплении условного раздражителя Приобретение сигнального значения условным раздражителем Это естественно для классического УР, когда приобретение сигнального значения решает проблему приспособления к среде • Для инструментального УР этого недостаточно, ибо приобретение сигнальной функции – только первый шаг. Подкрепление должно помимо этого обеспечить выработку реакции, направленной на предотвращение наличного тока и потенциально следующего за сигналом тока
2 -й случай: подкрепление – выключениеневключение тока Каковы последствия? 1. Т-Р- Т (Пк). Выключение тока - подкрепление для выработки реакции избавления. А для выработки реакции избегания? 2. Ур – Р – Т (Пк). 1) Начальный этап обучения: мы не включим ток, а крыса не нажмёт на рычаг. Нужно включить ток (а это не Пк). 2) Этап устойчивого воспроизведения РИ (…): Т – (невключение тока) - не реальное событие. Методически нужно оперировать с реальным раздражителем, а он не реален, его в последовательности событий физически просто нет. Теоретики: непонятно, как может отсутствие чего-то служить подкреплением. 3) Этап 100%-го воспроизведения реакции избегания: ток длительно не включается после реакции. Следствие? - Угашение
Получаем противоречие: • Невключение тока (Пк) приводит к угашению, • • • а Пк должно служить выработке УР. Оно не служит – оно не Пк Реальность: как только крыса не совершает реакцию в ответ на Ур, то (согласно методике) включается ток. Что это означает? Невключение тока само по себе не может обеспечить подкрепляющую функцию. Ток необходим Ситуация: необходимо отменить Пк (нпр. , для выработки дифференцировки). А как отменить подкрепление, если под ним понимать отсутствие тока? Вывод: Невключение тока тоже не справляется с ролью Пк
Подкрепление с точки зрения двухфакторной теории обучения • Двухфакторная теория обучения, • или теория двух процессов (Mowrer, 1947; Miller, • • • 1948; Solomon, Wynn, 1954) постулирует: 1. В процессе избегания сначала на основе классического принципа сочетания условного и безусловного раздражителей формируется условная реакция страха. 2. В дальнейшем условный раздражитель, вызывая страх, побуждает животное к опережающему осуществлению двигательной реакции — инструментального оборонительного условного рефлекса. 3. Инструментальным подкреплением служит уменьшение страха, наступающее вследствие совершения указанной реакции.
Критика двухфакторной теории обучения • Schoenfeld (1950): • Редукция страха не поддаётся операциональному • • • определению (не предлагает операций для ее создания или измерения). Подкрепление - выключение условного раздражителя, следующее за реакцией, как реальное событие, поддающееся контролю со стороны экспериментатора. УС – Р - УС Формирование реакции избегания - процесс, в котором условный раздражитель как сигнал страха вызывает реакцию, а последняя приводит к выключению условного раздражителя как инструментальному подкреплению.
Критика двухфакторной теории обучения - дополнение • Двухфакторная теория обучения утверждает: сформированная условная реакция страха побуждает животное к опережающему осуществлению двигательной реакции. • Однако, страх не всегда приводит к активной двигательной реакции. • Безусловно-рефлекторный страх может приводить к пассивно-оборонительной реакции замирания. • Условная реакция страха – то же
Выученная беспомощность • М. Селигман с помощью Павловского классического • • сочетания условного раздражителя (звука) и тока формировал у собак условную реакцию страха в закрытой клетке, в которой невозможно было ни избавиться от электроболевого воздействия, ни избежать его. Ожидалось: что в ответ на звук…? Ссформированный рефлекс страха заставит собак убегать из клетки, как только они услышат звук. Проверка справедливости этого ожидания: камера открывалась, а собаки никуда не убегали. Собаки ложились на пол, скулили и пассивно пережидали окончания действия тока. Вывод: страх не всегда приводит к активной двигательной реакции (вопреки постулату).
Выученная беспомощность • В настоящее время: • крысы, • базовая модель для изучения антидепрессантной активности новых соединений
РЕЗЮМЕ Рассмотрение в качестве подкрепления какого-либо из элементарных актов по отдельности (включения тока или его отмена) связано с нежелательными последствиями. В то же время каждый из них необходим для выработки РИ. Это предполагает необходимость поиска какого-то более общего контекста. Подкрепление, по-видимому, определяется не самими элементарными актами (включение или невключение тока). Оно определяется каким-то общим контекстом, системой отношений, которая увязывает эти элементы в единое целое. Какова эта система?
УC БС R БС БС R R R БС
Уточнение • УС – Р – Т (УС) • УС – Р - Т УС
Выводы • 1. Ни ток, ни его выключение по отдельности • • • не могут рассматриваться как подкрепление для реакции избегания. 2. Подкрепление обеспечивается их совместным действием как элементов системы однозначных причинно-следственных. 3. Безусловный раздражитель выступает как переменная, принимающая одно из двух значений (0 или 1), определяемых системой однозначных причинно-следственных отношений. 4. Одновременно с безусловным раздражителем играет роль синхронное действие условного раздражителя, определяемое указанными выше отношениями.
Скачать презентацию Специфические особенности подкрепления инструментальной условной оборонительной реакции
Особенности подкрепления_ст.ppt