СИНАПТИЧЕСКАЯ ФАСИЛИТАЦИЯ

Истоки правил обучения для сетей кроются в идее, сформулированной впервые в общих чертах Хеббом. Коротко говоря, он применил старый закон смежности к уровню нейронной активности и утверждал, что синаптическая передача будет получать выигрыш в эффективности всякий раз, когда пресинаптическая активность оказывается смежной по времени с постсинаптической активностью. На рис. 2 приведен пример хеббовского элемента. Этот хеббовский элемент имеет две входные связи. Один вход (X), наз. здесь «сигнальным» входом («cue» input), не обладает изначально весом связи и, следовательно, не способен активизировать элемент. Др. вход (Х0), обычно наз. «обучающим» входом («teacher» input), имеет фиксированный большой вес (V0 = 1), позволяющий активизировать элемент и вызвать «ответный» выход («response» output). При совмещении во времени обоих входов, сигнальный вход будет обеспечивать пресинаптическую активность (X), а обучающий вход будет вызывать постсинаптическую активность (Y). В мат. терминах, изменение веса связи (AV) выражается в виде произведения двух уровней активности. Это правило обучения может быть записано как AV = сХiY, где с — коэффициент пропорциональности (0 < с < 1).

Если по хеббовскому правилу научение находится в строгой зависимости от смежности уровней активации, согласно др. правилам научение зависит от ошибки в способности веса сигнального входа соответствовать обучающему входу. Одно из наиболее часто используемых правил этого рода известно под разными наименованиями: правило допустимой ошибки (дельта), правило Ресколы — Вагнера (the Rescorla — Wagner rule), правило Видроу — Хоффа (the Widrow — Hoff rule) и правило наименьших средних квадратов (least-mean squares rule). При наличии множества одновременных сигнальных входов это правило может быть записано как AV = с (V0X0 — 2 [V X]) Xi. Анализ этого правила показывает, что когда суммарный вход (2 [Vi X]) существенно отличается от активации, вызываемой обучающим входом (V0 X0), это приводит к резкому изменению веса связи каждого подходящего входа (A V). И наоборот, когда это различие мало, изменение также будет малым.

Правило исправления ошибок (error-correction rule) оказывается более сложным, чем хеббовское правило смежности, однако имеет 3 осн. преимущества при моделировании ассоциативного обучения.

1. Самоограничивающиеся приращения. Тогда как правило смежности порождает веса связи, к- рые растут линейно, правило исправления ошибок является самоограничивающимся. Эта его особенность производит отрицательное ускорение, к-рое можно наблюдать в большинстве кривых научения.

2. Обратимость. Правило смежности продуцирует только положительные приращения в научении, тогда как правило исправления ошибок порождает не только положительные, но и отрицательные приращения (или затухание). В частности, в правиле смежности, отсутствие обучающего входа (Х0) исключает любые приращения, но при этом не влечет эффекта затухания. В свою очередь, в правиле исправления ошибок, отсутствие обучающего входа означает, что вычитаемый член уравнения принимает отрицательные значения (-2 [V Xi]), тем самым производя понижение веса связи (Vi). Т. о., правило исправления ошибок может отслеживать изменения прогнозируемого значения «сигнального» входа для определенного «обучающего» входа.

3. Избирательность. Когда имеется множество сигналов, хеббовское правило смежности применяется независимо к каждому входу. В отличие от него, правило исправления ошибок предполагает, что изменение ассоциативной силы для каждого входа зависит от результирующей ошибки по всем активным входам. Напр., если определенный набор сигнальных входов уже приобрел высокие веса, то тогда разность членов (VoXo — 2 [Vi Xi]) будет приближаться к нулю и тем самым препятствовать приобретению веса дополнительными, одновременно действующими сигналами. Т. о., избыточные сигналы будут эффективно подавляться. Кроме того, если ни одни из сигнальных входов не обладает предварительным преимуществом, общий вес связи будет распространяться на все одновременно действующие сигнальные входы. В результате, элемент может «настраиваться» так, что он будет активизироваться только определенной конфигурацией входов, а не к.-л.

одним из этих входов.

Хеббовский адаптивный элемент

Хеббовский адаптивный элемент, в котором Xi — уровень сигнального входа, Vi — адаптивный вес связи, Х0 — уровень обучающего

 Хеббовский адаптивный элемент, в котором Xi — уровень сигнального входа, Vi — адаптивный вес связи, Х0 — уровень обучающего

входа, a Y — уровень выходной реакции

Основные архитектуры

Несмотря на то что материалом для строительных блоков нейронных сетей являются отдельные элементы, мн. из эмерджентных свойств сети определяются архитектурой их взаимосвязей. Существуют 2 осн. архитектуры, встречающиеся в большинстве моделей, а именно, сети, содержащие множество слоев элементов, и сети, в к-рых выходы возвращаются в качестве входов в сеть.

Многослойные сети

Пример простой многослойной сети приведен на рис. 3. Эта сеть имеет два входа (A, В), каждый из к-рых проецируется на два элемента (X, R). Элемент X, находящийся между событиями на входе и выходным элементом наз. скрытым элементом. Эта небольшая сеть содержит пять модифицируемых связей, а именно A-X, A-R В-Х, B-R и X-R.

Конфигурация многослойной сети, подчиняющейся правилу исключающего ИЛИ

Конфигурация многослойной сети, подчиняющейся правилу исключающего ИЛИ

 Конфигурация многослойной сети, подчиняющейся правилу исключающего ИЛИ

Многослойные сети сыграли решающую роль в разрешении вопросов репрезентации стимула и формирования понятий, вызывавших трудности у традиционных психол. теорий и однослойных сетевых моделей. В частности, многослойные сети обеспечивают базис для обучения произвольному отображению (arbitrary mapping) входных паттернов стимулов в выходные паттерны реакций. Ключевая проблема оказалась связанной с нелинейными отображениями. При таком отображении, желаемая реакция на определенное сочетание входов не является аддитивной функцией реакций на отдельные входы. Примером простейшего нелинейного отображения является правило исключающего ИЛИ. Правило исключающего ИЛИ требует реакции на каждый из двух входов, предъявляемых по отдельности, но не на их совместное появление. Напр., мн. люди обнаруживают следование правилу исключающего ИЛИ в своих вкусовых предпочтениях. Человек может с удовольствием есть лакрицу, но отказываться есть картофель с лакричной приправой. Если бы отдельные отображения стимул — реакция являлись строго аддитивными, картофель с лакричной приправой съедался бы с большим удовольствием.

Вообще говоря, можно преобразовать нелинейную задачу в линейную, постулируя особый вход для совместного появления осн. стимульных входов. Однако, когда число осн. входов увеличивается, эта тактика приводит к бурному росту числа особых входов. Более общее решение заключается во введении механизма обучения, к-рый формирует специализированные кодировки совместных входов по мере возникновения такой необходимости. Многослойные сети обладают этой способностью. Коротко говоря, установление подходящих весов связей от стимульных входов к скрытым элементам создает блоки, специализированные для конкретной комбинации входов. Связи между скрытыми элементами и выходными элементами обеспечивают отображение этих специализированных блоков в соотв.

выходные реакции.

Небольшая сеть, показанная на рис. 3, имеет конфигурацию, позволяющую проиллюстрировать поведение согласно правилу исключающего ИЛИ. В этой конфигурации вход A сам по себе не может активизировать элемент X, т. к. вес связи А — X не превышает величины порога X, однако вход A может активизировать элемент R, т. к. его порог оказывается достаточно низким для того чтобы связь A — R оказалась эффективной. Точно так же, вход В может активизировать лишь узел R. Т. о., входы A и В могут каждый по отдельности активизировать выход этой сети. Однако, согласно правилу исключающего ИЛИ, взятые вместе входы А и В будут подавлять выход. Это происходит потому, что суммарный вес связей входов А и В будет активизировать элемент X, а этот элемент X имеет большую отрицательную связь с элементом R. Следовательно, совместное появление входов А и В аннулирует их индивидуальные положительные связи с элементом R.

Январь 24, 2019 Общая психология, психология личности, история психологии
Еще по теме
НАУЧЕНИЕ И НЕЙРОННАЯ ПЛАСТИЧНОСТЬ У БЕСПОЗВОНОЧНЫХ
ДОЛГОВРЕМЕННАЯ ПОТЕНЦИАЦИЯ: ИЗМЕНЕНИЕ СИЛЫ МЕЖНЕЙРОННЫХ СВЯЗЕЙ
НЕЙРОХИМИЯ (NEUROCHEMISTRY)
УПРАЖНЕНИЕ «ПОЗВОЛЬТЕ ПРЕДСТАВИТЬ».
КЛЮЧЕВЫЕ СЛОВА
АНТИДЕПРЕССАНТЫ (ANTIDEPRESSIVE DRUGS)
СЕНСОРНО-НЕЙРОННАЯ ПЕРЕДАЧА И ИНТЕГРАЦИЯ
АДАПТАЦИЯ.
Проблема психики и тела Нервная система
ЛАТЕРАЛЬНОЕ КОЛЕНЧАТОЕ ТЕЛО.
Кась ГРАНИЦЫ МЕДИАЦИИ
ПАРАСИМПАТИЧЕСКАЯ НЕРВНАЯ СИСТЕМА (PARASYMPATHETIC NERVOUS SYSTEM)
3.3. ЛИЧНОСТЬ В СОЦИАЛЬНЫХ ПРОЦЕССАХ
ГЕТЕРОСИНАПТИЧЕСКОЕ ОБЛЕГЧЕНИЕ (HETEROSYNAPTIC FACILITATION)
РЕЦЕПТОРЫ ОБОНЯТЕЛЬНЫХ ОЩУЩЕНИЙ
НЕЙРОТРАНСМИТТЕРЫ.
ТЕОРИЯ НЕЙРОМЕДИАТОРОВ.
МОЗГОВЫЕ ВОЛНЫ (BRAIN WAVES)
Добавить комментарий