модель нейрона, реализующая логическую функцию неравнозначности

Формула изобретения

Модель нейрона, реализующая логическую функцию неравнозначности, содержащая два входа, сигналы х₁ и х₂, принимающие значения 0 или 1, с которых перемножаются с соответствующими весовыми коэффициентами ₁ и ₂, где ₁=1, а ₂=-1,и поступают на сумматор, причем s(-1, 0, 1), где s - сумма с выхода сумматора, s=х_{1 1}+х_{2 2}, отличающаяся тем, что сумма s преобразуется в активационном блоке модульной функцией активации вида a затем пороговой функцией

где Р - величина порога, Р=0,5, f(x) - функция на выходе нейрона.

Описание изобретения к патенту

Изобретение относится к нейрокибернетике и может использоваться в качестве функциональной единицы различных искусственных нейронных сетей.

Известна техническая и математическая модель искусственного нейрона [1-4]. Первая модель предложена в работе [1]. Позже [2], на основе таких моделей нейронов, реализованы первые искусственные нейронные сети (персептроны) для решения задач распознавания изображений букв. Подобные искусственные нейроны используются в качестве функциональной единицы всех современных искусственных нейронных сетей [3, 4] и представляют собой устройства с несколькими входами и одним выходом. Входные сигналы, поступая на входы, перемножаются с соответствующими весовыми коэффициентами, суммируются и преобразуются функцией передачи, в качестве которой может использоваться пороговая, линейная, сигмоидальная, гиперболическая и др. [3, 4]. Такая модель нейрона позволяет, хотя и достаточно грубо, воспроизводить некоторые из функций естественного нейрона. Объединяя искусственные нейроны в слои и сети, в совокупности с алгоритмами обучения, можно добиться приемлемого решения нейронной сетью сложных задач, не поддающихся адекватной формализации [3, 4].

Наиболее близкой по техническому исполнению к предлагаемой модели нейрона является модель простейшего персептронного нейрона с двумя входами, парой весовых коэффициентов, сумматором и активационным блоком [3, 4]. Достоинством такой модели является возможность реализации ею большинства логических булевых функций. Так, для двух переменных, согласно [5], существует набор из 16 функций алгебры логики. Известная модель нейрона с двумя входами реализует 14 из них [4], т.е. все, за исключением логических булевых функций неравнозначности (или "суммы по модулю 2") и эквивалентности (равнозначности), которые рассмотрены, например, в [6]. Невозможность реализации двух данных логических функций является существенным недостатком такой модели нейрона и носит название проблемы ИСКЛЮЧАЮЩЕГО ИЛИ, которая впервые обнаружена в работе [7]. Данная проблема является фундаментальной в теории искусственных нейронных сетей и наглядно изложена в ряде современных научных изданий [4, 8, 9].

Предлагаемая модель направлена на устранение рассмотренного недостатка (проблемы нереализуемости логической функции неравнозначности) известной модели нейрона.

Проблема нереализуемости нейроном логической функции неравнозначности заключается в следующем [4, 8, 9].

Рассмотрим известную модель нейрона, функциональная схема которой приведена на фиг.1. Входные сигналы х₁ и х₂ при поступлении в блоки 1 и 2 перемножаются с соответствующими весовыми коэффициентами w₁ и w ₂. Блоки 1 и 2 осуществляют перемножение с учетом знаковых разрядов сигналов [10]. Затем перемноженные сигналы х₁ w₁ и х₂w₂ поступают на вход сумматора со знаковыми входами/выходом [10], который обозначен блоком 3 на фиг.1. С выхода сумматора сигнал s=(х₁ w₁+х₂w₂) поступает на активационный блок 4 [10], в котором преобразуется пороговой функцией передачи [4, 8, 9]:

где Р - величина порога. Выход блока 4 является выходом модели нейрона. Требуемые выходные значения модели нейрона для реализации функции неравнозначности, в зависимости от х₁ и х₂, приведены в таблице 1.

Таблица 1
Вход x1	Вход х 2	Выход у(х1 , х2)
0	0	0
0	1	1
1	0	1
1	1	0

Рассмотрим сумму s как функцию двух переменных (поверхность) от х₁ и х₂ над плоскостью входных значений Ох₁x₂, как показано на фиг.2 [4]. Каждая точка этой поверхности находится над соответствующей точкой плоскости Ох₁x₂ на расстоянии, равном значению s в этой точке. Точки, в которых значение s равно величине порога Р, устанавливаемого в блоке 4, образуют прямую на плоскости Px ₁х₂, параллельную Ох₁х₂ (на фиг.2 Рх₁х₂ - полупрозрачным тоном; Р равно 0.5) и проектируются в некоторую разделяющую одномерную гиперплоскость (прямую) на плоскости входных значений Ох ₁х₂. Данная разделяющая прямая на плоскости Ох₁х₂ приведена на фиг.3, где стрелками к углам (возможным значениям х₁ и х₂) указаны требуемые значения выхода нейрона для реализации логической функции неравнозначности.

Все точки по одну сторону разделяющей прямой проецируются в значения s, большие порога, а точки по другую сторону дают меньшие значения s, т.е. пороговая прямая разбивает плоскость Ох₁x₂ на две области. В одной из них активность нейрона равна единице, в другой - нулю. Таким образом, невозможно провести прямую так, чтобы двухвходовым нейроном в соответствии с табл. 1 разделить нули и единицы на плоскости Ох₁х₂, т.е. реализовать логическую функцию неравнозначности.

Рассмотрим сущность предлагаемой модели нейрона, реализующей логическую функцию неравнозначности.

Функциональная схема устройства приведена на фиг.4.

Предлагаемая модель нейрона, как и известная, содержит два перемножителя (блоки 1 и 2), осуществляющих перемножение входных сигналов с весовыми коэффициентами с учетом их знаков. В модели могут использоваться любые из известных, описанных в [10] перемножителей подобного типа. Как и в известной модели, перемноженные сигналы x₁w₁ и x₂w₂ поступают на вход сумматора (блок 3) со знаковыми входами/выходом [10]. В качестве знакового сумматора могут использоваться любые устройства подобного типа, например приведенные в [10]. Предлагаемая модель отличается от модели прототипа тем, что активационный блок состоит из двух последовательно соединенных блоков, как показано на фиг.4. При этом сумма s с выхода сумматора поступает сначала на вход блока 4 (фиг.4), в котором преобразуется модульной функцией активации вида , а затем с выхода блока 4 поступает на вход блока 5, где преобразуется пороговой функцией (1). В качестве блоков 4 и 5 могут быть использованы описанные в [10] технические устройства, реализующие соответствующие математические функции. Выход блока 5 предлагаемой модели является ее выходом. Таким образом, выход модели нейрона у(х₁ ,х₂) является результатом подстановки модуля суммы s в пороговую функцию (1). Полная функция передачи модели будет выглядеть

Математическая модель нейрона в этом случае будет описываться

следующим выражением:

Сумма s=(x₁w₁+х₂w ₂) должна быть нулевой при равенстве значений х₁ и х₂, что достижимо при w₁=1, w₂ =-1, как показано на фиг.2. В этом случае, модуль суммы (сигнал на выходе блока 4 фиг.4) как функция от двух переменных х ₁ и х₂ будет иметь вид, в отличие от прототипа, не одной поверхности, а двух подповерхностей под некоторым углом между собой, как показано на фиг.5. Если в этом случае модуль суммы преобразовать пороговой функцией (2) в блоке 5 фиг.4, т.е. ограничить плоскостью Рх₁х₂, которая на фиг.5 показана полупрозрачным тоном, то пересечение поверхности модуля с плоскостью Рх₁x₂ образует не одну, как у прототипа, а две разделяющие прямые.

Математически уравнение разделяющей прямой из выражения (3) будет выглядеть , откуда, в соответствии со свойством модуля, образуются два уравнения разделяющих прямых

где х₁ ⁽¹⁾ - первая прямая; х ₁ ⁽²⁾ - вторая прямая, т.е. две проекции пересечения поверхности s с плоскостью Рх₁х₂, полученные на плоскости Ох₁x₂, которые и разделяют ее на три области так, как показано на фиг.6.

Полный вид зависимости выхода нейрона у(х₁,х₂) как функции двух переменных от х₁ и х₂ в рассматриваемом случае, показан на фиг.7.

На фиг.2, 3, 5-7 размерности всех координатных осей приведены в сотых.

Из фиг.5-7 видно, что при x₁=х₂ (или х₁x ₂) нейрон на выходе будет давать нуль, а при х ₁х ₂ - единицу. Таким образом, отделяя нулевые входные значения от единичных на плоскости Ox₁x₂ в отличие от прототипа не одной, а двумя прямыми, нейроном реализуется логическая функция неравнозначности.

Для подтверждения возможности осуществления заявленного изобретения рассмотрим работу предлагаемой модели нейрона.

Весовые коэффициенты имеют постоянные значения во всех случаях: w₁=1, w ₂=-1. Величину порога примем равной, например, 0,5. Результат подстановки модульной функции в пороговую будет выглядеть аналогично (2):

Так как математическая модель нейрона имеет вид

то при подаче на его входы х₁ и х₂ сигналов, равных нулю, сумма (выход блока 3 фиг.4) будет равна нулю. Преобразуясь модульной функцией активации в блоке 4, сигнал на его выходе будет также нулевым, как и после блока 5 на выходе у(х₁, х₂) нейрона. При поступлении на входы x₁=1, х₂=0 сумма будет равна единице; модуль (выход блока 4) - также единице, что превысит порог Р=0.5 в блоке 5 и на выходе нейрона будет единица. При входной комбинации х ₁=0, х₂=1 сумма будет равна минус единице; модуль - единице, что также превысит порог Р=0.5 в блоке 5 и даст единицу на выходе нейрона. В случае х₁=1, x ₂=1, сумма станет нулевой; модуль суммы будет также равен нулю, что даст на выходе нейрона нуль.

Таким образом, предлагаемой моделью нейрона, в соответствии с таблицей 1, реализуется логическая функция неравнозначности.

Входные сигналы нейрона х ₁ и х₂ могут быть не только дискретными, но и непрерывными (от нуля до единицы), так как поверхность модуля суммы s, показанная на фиг.5, существует для всех непрерывных х₁ и х₂.

Таким образом, предлагаемая модель нейрона, реализуя логическую функцию неравнозначности, преодолевает проблему ИСКЛЮЧАЮЩЕЕ ИЛИ.

Источники информации

1. McCulloch W.S., Pitts W. A logical calculus of the ideas imminent in nervous activity. // Bulletin of Mathematical Biophysics, vol.5, 1943, pp.115-133. (Рус. перевод: Маккаллок У.С., Питтс У. Логическое исчисление идей, относящихся к нервной деятельности. Автоматы. / Под ред. К.Э.Шеннона, Дж.Маккарти. - М.: ИЛ, 1956).

2. Rosenblatt F. Principles of neurodinamics. Perceptrons and the theory of brain mechanisms. Spartan Books, Washington, 1962. (Рус. перевод: Розенблатт Ф. Принципы нейродинамики. Перцептроны и теория механизмов мозга. / Под ред. С.М.Осовца. - М: Мир, 1965 - 480 с.).

3. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 416 с.

4. Wasserman P. Neurocomputing. Theory and practice, Nostram Reinhold, 1990. (Рус. перевод: Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. / Пер. с англ. Ю.А. уев, В.А.Точенов. - М.: Мир, 1992. - 240 с.).

5. Куринной Г.Ч. Математика: Справочник. - Харьков: Фолио; Ростов н/Д: Феникс, 1997. - 463 с.

6. Залманзон Л.А. Беседы об автоматике и кибернетике. -М.: Наука. Гл. ред. физ.-мат. лит., 1981. - 416 с.

7. Minsky М., Papert S. Perceptrons. An introduction to computational geometry, MIT Press, 1969. (Рус.перевод: Минский М., Пейперт С. Персептроны. / Под ред. В.А.Ковалевского. - М.: Мир, 1971. - 261 с.).

8. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. - М.: Горячая линия - Телеком, 2001. - 382 с.

9. Дьяконов В., Круглов В. Математические пакеты расширения MATLAB. Специальный справочник. - СПб.: Питер, 2001. - 480 с.

10. Галушкин А.И. Нейрокомпьютеры. Кн.3: Учеб. пособие для вузов / Общая ред. А.И.Галушкина. - М.: ИПРЖР, 2000. - 528 с.