Нейронные сети прямого распространеня. Алгоритм обучения.
скусственные нейронные сети, подобно биологическим, являются вычислительной системой
огромным числом параллельно функционирующих простых процессоров с множеством связей. Несмотря на то что
при построении таких сетей обычно делается ряд допущений и значительных упрощений, отличающих их от
биологических аналогов, искусственные нейронные сети демонстрируют удивительное число свойств, присущих
мозгу, — это обучение на основе опыта, обобщение, извлечение существенных данных из избыточной информации.
Нейронные сети могут менять свое поведение в зависимости от состояния окружающей их среды. После анализа входных сигналов
(возможно, вместе с требуемыми выходными сигналами) они самонастраиваются и обучаются, чтобы обеспечить правильную реакцию.
Обученная сеть может быть устойчивой к некоторым отклонениям входных данных, что позволяет ей правильно «видеть» образ,
содержащий различные помехи и искажения.
Архитектура нейронной сети
ИНС может рассматриваться как направленный граф со взвешенными связями, в котором искусственные нейроны являются узлами.
По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 1): сети прямого распространения, в которых графы не
имеют петель, и рекуррентные сети, или сети с обратными связями.

Рисунок 1.Систематизация архитектур сетей прямого распространения и рекуррентных (с обратной связью).
В наиболее распространенном семействе сетей первого класса, называемых многослойным перцептроном, нейроны расположены
слоями и имеют однонаправленные связи между слоями.. Сети прямого распространения являются статическими в том смысле,
что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети.
Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит
к изменению состояния сети.
Существуют три парадигмы обучения: "с учителем", "без учителя" (самообучение) и смешанная. В первом случае нейронная
сеть располагает правильными ответами (выходами сети) на каждый входной пример. Веса настраиваются так, чтобы сеть
производила ответы как можно более близкие к известным правильным ответам. Усиленный вариант обучения с учителем
предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения
выхода. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае
раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить
образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как
остальная получается с помощью самообучения.
Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов
и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы
принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых
для достижения способности сети к обобщению.. Известны 4 основных типа правил обучения: коррекция по ошибке, машина
Больцмана, правило Хебба и обучение методом соревнования.
Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный
выход
сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для
модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда перцептрон
ошибается. Известны различные модификации этого алгоритма обучения.
Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических
и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой
состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться
как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.
Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие
нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то
сила синаптической связи возрастает.
Синапс является элементарной структурой и функциональным узлом между двумя нейронами
Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов,
которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.
Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться
одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно
как правило "победитель берет все". Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством
соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями
и представляются одним элементом.
|