Отдел Имитационных систем: Адаптивные системы управления ИТМ и ВТ
  • Main page
  • Главная

  • Main / Главная / Публикации / 2004 /

    А.Л.Микаэлян, Б.В.Крыжановский Биологический алгоритм распознавания сильно скоррелированных образов

    Вышла статья "Биологический алгоритм распознавания сильно скоррелированных образов"
    УДК 681.3 Биологический алгоритм распознавания сильно скоррелированных образов академик А.Л.Микаэлян, Б.В.Крыжановский Работа выполнена при поддержке РФФИ (проекты №02-01-00457, №01-07-90134) и программы "Интеллектуальные компьютерные сис- темы" (проект 2.45). Аннотация Проведен анализ распознающей способности нейросети, способной хранить и об- рабатывать информацию, закодированную в виде частотно-фазовой модуляции. Информативные сигналы в рассматриваемой сети передаются по межнейронным связям в виде квазимонохроматических импульсов на n разных частотах. За ос- нову такой сети принят "параметрический" нейрон – обладающий кубической не- линейностью элемент, способный к преобразованию и генерации частот в процес- сах параметрического 4-волнового смешения. Показано, что с ростом числа несу- щих частот помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, кото- рая в раз больше аналогичной величины в стандартной сети Хопфилда. Число образов, которые способна сохранять такая нейросеть, может во много раз пре- вышать число нейронов. 2 n Стандартные нейронные сети не приспособлены для распознавания сильно скоррели- рованных образов и так называемых biased patterns. Помимо этого они обладают малым объ- емом памяти. Так например, сеть Хопфилда [1] может хранить всего лишь N N M ln 2 / ≈ рандомизированных N-мерных образов. При наличии корреляции между образами объем па- мяти (M) резко уменьшается. Имеющиеся отдельные алгоритмы для распознавания похожих образов, например метод проекционной матрицы [2], достаточно сложны, и не позволяют ввести простое обучающее правило, обладающее биологическим принципом локальности [3]. В то же время, человек достаточно легко выделяет образ среди множества похожих да- же при наличии больших искажений. Такую способность можно объяснить, положив в осно- ву модели распознавания принципы функционирования описанного Розенблатом [4] биоло- гического фото-перцептрона: а). Воздействия попадают на ретину (рис.1), которая в одних моделях работает по принципу "все или ничего" (т.е. выдает одиночные импульсы при над- пороговых воздействиях), а в других моделях - по принципу частотной или амплитудной мо- дуляции. б). Импульсы передаются в область ассоциации, представляющую собой набор свя- занных между собой блоков. Если алгебраическая сумма поступающих на блок подавляю- щих и возбуждающих сигналов больше некоторого порога, то блок работает по принципу 2 "все или ничего" или выдает частоту, соответствующую количеству и временному порядку принятых сигналов. R2 R1 Rn случайные связи случайные связи отклики Рис. 1. Биологический фото-перцептрон. Пунктиром выделена часть, моделируемая векторной нейросетью. область ассоциации ретина Из возможных вариантов формального описания биологического модели мы выберем один, наиболее оптимальный с нашей точки зрения. Во-первых, мы постулируем бинарность сигналов, формируемых в ретине, и случайный характер их передачи в ассоциативную об- ласть. Во-вторых, мы примем, что в блоках ассоциативной области формируются частотно- модулированные сигналы, которыми эти блоки и обмениваются. В принятых допущениях распознавание образа можно, условно, разбить на два этапа. На первом, набор бинарных сигналов по случайным связям попадает на блоки ассоциативной области, где преобразуется в набор частотно-модулированных сигналов, т.е. набор векторов. На втором этапе, происхо- дит распознавание образа ассоциативной памятью: блоки ассоциативной памяти обменива- ются частотно-модулированными (векторными) сигналами до тех пор, пока система не при- дет в стабильное состояние, соответствующее распознанному образу. Как будет видно далее, преобразование набора бинарных сигналов в набор векторных сигналов - это достаточное условие подавления негативного влияния корреляции на распо- знавание образов. Формальное описание этого процесса приведено в следующем пункте. Для описания работы ассоциативной области мы используем параметрическую модель нейрон- ной сети, способной обрабатывать информацию, закодированную в виде частотно-фазовой модуляции [5]. За основу такой сети принят "параметрический" нейрон [6] – обладающий кубической нелинейностью элемент, способный к преобразованию и генерации Q частот в процессах параметрического четырехволнового смешения. Параметрическим нейроном мы будем моделировать работу целого блока ассоциативной памяти. Такой подход обоснован практически установленным фактом, что базовыми функциональными элементами, отве- чающими за высокоуровневую деятельность коры головного мозга, являются так называе- мые корковые колонки (блоки): сильно связанные группы нейронов, обладающие коллек- тивными свойствами и способные к смешению частот и обработке частотно- модулированных сигналов (см. [7-10]). В [11] показано, что набору из Q частот можно поста- вить в соответствие набор Q ортогональных векторов и описание параметрической нейросе- ти, оперирующей частотно-модулированными сигналами, свести к описанию системы взаи- модействующих спинов. Поэтому, дальнейшее описание мы проведем на языке векторной (спиновой) модели, более привычном для нейронных сетей. Формализм предлагаемой моде- ли описан в п.3. Мы покажем, что параметрическая нейросетевая модель, соответствующая описанной выше биологической модели, обладает огромным объемом памяти и способностью распо- знавать образы даже при исключительно больших искажениях и наличии корреляции. Суть предлагаемого здесь формального описания состоит в следующем. Пусть имеется семейство 2 3 N-мерных бинарных векторов {Ym}, (m=1,2,…,M), искаженные образы которых предстоит распознавать. Необходимая для этого ассоциативная память организуется следующим обра- зом: каждому образу Ym из пространства RN ставится в однозначное соответствие образ Xm в неком пространстве ℜ большей размерности; на семействе {Xm} строится ассоциативная память в виде описываемой ниже векторной нейросети. Процесс распознавания производит- ся в следующем порядке: распознаваемый бинарный вектор Y∈RN отображается в образ X∈ℜ и отображение предъявляется для распознавания векторной нейросети; при необходимости производится обратное отображение распознанного образа из ℜ в изначальное N-мерное пространство. Таким образом, задача распознавания большого числа бинарных коррелиро- ванных векторов сводится к задаче распознавания их отображений. Алгоритм отображения, позволяющий использовать векторную модель для распозна- вания сильно скоррелированных бинарных векторов, состоит в следующем. Пусть имеется некий N-мерный бинарный вектор ) ..., , , ( 2 1 N y y y Y = . Мысленно разделим его на n фраг- ментов, содержащих по k+1 элементов каждый. Отдельный фрагмент можно рассматривать как целое число q ± , записанное в двоичном коде: первый элемент фрагмента определяет знак (0 - знак "минус", 1 - "плюс"), а остальные k элементов - величину q (параметр k будем называть параметром отображения). Теперь фрагменту поставим в соответствие вектор , где q e x ± = q e - это q-й орт некоторого Q-мерного пространства (Q=2k). Тем самым, всему образу Y∈RN в целом ставится в однозначное соответствие набор Q-мерных векторов, т.е. образ ). Например, вектор Y=(01001001) можно разбить на два фрагмента по четыре элемента (0100) и (1001). Первому фрагменту (это "−4" в двоичном коде) ставим в соответствие вектор в пространстве размерностью Q=8, а второму (это "+1" в двоичном коде) - вектор ..., , , ( 2 1 n X x x x = 4 1 e x − = 1 2 e x + = . Соответствующее отображение примет вид . Существенно, что описываемое отображение взаимно однозначно, т.е. распознав отображение X можно однозначно восстановить его бинарный прообраз Y. Еще более существенно то, что процедура отображения практически сводит на нет имеющиеся корреляции. Например, рассмотрим два бинарных фрагмента (0000000001) и (0000000011), скоррелированных на 90%. Отличие фрагментов в одном только элементе приводит полно- му исчезновению корреляции между их отображениями в пространстве ℜ , каковыми явля- ются различные орты и соответственно. ) , ( 2 1 x x = → X Y 1 e 2 e Рассмотрим полносвязную нейронную сеть из нейронов, описываемых единичными векторами , где 1, - орт Q-мерного пространства, . Состояние сети как целого определяется набором таких векторов n ) (i q i i x e x = ± = i x ) (i q e n i ,..., 2 , 1 = ) ..., , , ( 2 1 n X x x x = . Гамильтониан сети зададим в виде [11], аналогичном модели Хопфилда j n j i ij i H x x ∑ = + − = 1 , 2 1 Tˆ , (1) ∑ = + − = M m mj mi ij ij 1 ) δ 1 ( Tˆ x x где - вектор-столбец, - вектор-строка, а величина межсвязи между i-м и j-м нейронами - матрица, построенная по аналогии с обучающим правилом Хэбба [3] на эталонных образах ), i x + i x ij Tˆ q q × ,..., , ( 2 1 mn m m m X x x x = M m ..., , 2 , 1 = . Сеть (1) удобно интерпретировать как систему взаимодействующих Q-мерных спинов и использовать соответствующую тер- минологию. С учетом (1) входной сигнал на i-й нейрон, т.е. локальное поле действующее на i-й спин со стороны сети, запишется в виде: 3 4 ∑ ∑ = = = = Q q q i q N j j ij i A 1 ) ( 1 Tˆ e x h , (2) ∑ ∑ ≠ = + + = N i j M m j mj mi q i q A 1 ) ( ) )( ( x x x e Динамика физической системы определяется естественным образом: i-й спин под воз- действием магнитного поля принимает положение, наиболее близкое к направлению это- го поля, т.е. состояние i -го нейрона в момент времени i h 1 + t описывается выражением: max ) 1 ( e x s t i = + , (3) )] ( [ ) ( max t A sign s i = где индексом max обозначена максимальная по модулю амплитуда в раз- ложении (2). Динамика системы в целом состоит в последовательном измении состояний нейронов по правилу (3) и соответствует понижению энергии системы в процессе ее функ- ционирования, т.е. алгоритм (3) сходится. ) ( ) ( t A i q = ) ( A i q Определим, насколько эффективно такая нейросеть распознает искаженные образы. Пусть на вход системы подан искаженный m-й образ, т.е. начальные состояния нейронов се- ти заданы в виде , где - оператор мультипликативного шума, который с веро- ятностью a изменяет знак амплитуды вектора mi i i i b a x x ˆ ˆ = i aˆ mi x mi mi mi x e x = и с вероятностью a − 1 остав- ляет его неизменным, оператор - с вероятностью b заменяет орт } e на любой иной из набора } { и с вероятностью i bˆ { q mi e ∈ q e b − 1 оставляет его неизменным. Сеть правильно распознает эталонный образ , если выход i-го нейрона, определяемый выражением (3), будет . В противном случае произойдет ошибка распознавания, т.е. сеть вместо распо- знает иной образ. Для вероятности P этой ошибки, используя метод Чебышева-Чернова [13], детально описанный для данного рода задач в работах [5,6], получим: m X mi i x x = m X ⎥⎦ ⎤ ⎢ ⎣ ⎡ − − − ≤ 2 2 2 ) 1 ( ) 2 1 ( 2 exp b a M nQ n P (4) Полученное неравенство устанавливает верхнюю границу для средней вероятности ошибки в рассматриваемой нами нейронной сети с параметрами . С ростом n эта граница сходится к нулю всякий раз, когда величина M как функция n растет медленнее, чем ); ; ; ; ( b a Q M n n b a nQ M ln 2 ) 1 ( ) 2 1 ( 2 2 2 − − = (5) Это дает основание рассматривать величину (5) как асимптотически достижимую мощ- ность ассоциативной памяти анализируемой нейронной сети. Сравнение (5) с аналогичными выражениями для параметрической оптической модели [5] и модели Поттса [12] показывает, что предложенная модель имеет в два раза больший объем памяти и, при прочих равных па- раметрах, может распознавать образы, искаженные на 20-30% сильнее. t=180 t=0 t=90 Рис.2 Распознавание буквы "А" , у которой искаже- ны 90% пикселов (выделены серым цветом). 4 5 Из (5) видно, что с ростом Q помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, в раз больший чем в сети Хопфилда. Рис.2 демонстрирует большой объем памяти и высо- кую помехоустойчивость на примере сети из 180 нейронов с Q=32, в памяти которой записа- но 360 образов (32-цветных изображений), один из них - стилизованная буква "А". Сеть на- дежно распознает образ "А", у которого искажено 90% компонент за один цикл. При мень- ших искажениях (b≤70%) эта же сеть распознает до 1800 образов. 2 Q Обратимся теперь к проблеме распознавания бинарных образов. Задав некоторое зна- чение параметра деления k и применив описаное выше отображение к набору бинарных век- торов { } M m R Y N m , 1 , ∈ ∈ , получим соответствующий набор образов { } ℜ ∈ m X , на основе которых построим векторную ассоциативную память с параметрами: число нейронов век- торной сети - , число состояний векторного нейрона - . Анализ проведем на примере "тенденциозных" образов (biased patterns), компоненты которых - случайные величины, принимающие значения 1 и 0 с вероятностями ) 1 /( + = k N n k Q 2 = mi y 2/ ) α 1 ( + и 2 ( соответст- венно, ( ). Пусть нам предстоит распознать искаженный m-й образ / ) α 1− 1 α 1 ≤ ≤ − ) ,..., , ( ~ 2 2 1 1 mN N m m m y s y s y s Y = , где случайная величина с вероятностью p изменяет значение бинарной переменной и с вероятностью i s mi y p − 1 оставляет ее неизменной. Отображением этого вектора в пространстве ℜ является искаженный m-й образ m X~ , который и предъявля- ется для распознавания векторной нейросети. Выражая мультипликативные шумы a и b, покрывающие отображение, как функции параметра p и подставляя соответствующие выра- жения в (4) для вероятности ошибки распознавания искаженного отображения m X~ получим: ⎥⎦ ⎤ ⎢ ⎣ ⎡ − − = 2 3 ) µ α 1 ( µ 2 ν exp n P (6) где k p p n ) 1 ( ) 2 1 ( ν 2 − − = , , . k k p MA ) 1 /( µ − = 4 / )] 2 1 ( α 1 )[ α 1 ( 2 2 p A − + + = При k=0 выражение (6) описывает функционирование модели Хопфилда. Анализ (6) для данного случая показывает, что даже в отсутствие корреляций ( ) объем памяти не превышает относительно малого значения 0 α = N N M ln 2 / 0 ≈ . А наличие даже небольшой корреляции ( ) уменьшает число распознаваемых образов до величины порядка , т.е. сеть практически перестает выполнять функции ассоциативной памяти. 3 / 1 − 3 α− α > N С ростом параметра отображения k картина резко меняется. Сеть начинает функциони- ровать как векторная модель, т.е. резко повышается объем памяти и снижается влияние кор- реляции. В частности, при небольших корреляциях, когда , для объема памяти из (6) получаем оценочное выражение: ν α3 < k A p M M ] / ) 1 [( 2 0 − = При большей корреляции, когда , объем памяти несколько ниже: ν α3 > k A p M ] / ) 1 [( α 3 − = − 5 6 Однако и в том, и в другом случаях с ростом k имеет место экспоненциальный рост числа распознаваемых образов (рис.3) и рост надежности распознавания. На рис.4 показано, как с ростом параметра отображения спадает до нуля вероятность ошибки распознавания (кривые построены для корреляций α=0.1, 02, 0.5, 0.6 при M/N=2 и искажениях p=20% ). Как видим, при достижении некоторого критического значения параметра отображения k веро- ятность ошибки резко спадает, т.е. негативное влияние корреляции резко уменьшается. 0.0 0.2 0.4 0.6 0.8 1.0 1.2 0 2 4 6 8 10 Параметр отображения k Ошибка P = P(k ) 0.0 0.2 0.5 0.6 Р ростом параметра отображения k α = ис.4 Уменьшение ошибки распознавания с 0 20 40 60 80 100 120 0 1 2 3 4 5 6 Параметр отображения k Объем памяти M / M0 0.2 0.3 0.4 0.5 1 0. p = Рис.3 Рост объема памяти с ростом параметра отображения k (p=0.1 ÷ 05). Как видим, соответствующая биологическому прототипу параметрическая модель де- монстрирует большой объем памяти и способность распознавать похожие образы. Основное допущение при моделировании состояло в том, что бинарные сигналы от фоторецепторов преобразуются в частотно-модулированные сигналы, которыми оперирует ассоциативная память. В проведенном выше анализе мы никак не использовали случайность связей между ретиной и ассоциативной областью, хотя она может играть большую роль в декорреляции распознаваемых образов. Действительно, в большинстве случаев образы заполняют сплошь целые фрагменты рецептивного поля и топологическое отображение в векторное простран- ство при небольшом значении параметра k не приводит к декорреляции. Однако, случай- ность передачи сигналов от рецепторов в ассоциативную область сводит на нет такую корре- ляцию. На алгоритмическом языке сказанное означает, что нумерацию компонент бинарных векторов полезно производить случайным образом, чтобы избежать фрагментарной корреля- ции. Очевидно, что процесс распознавания образов мозгом значительно сложнее рассмот- ренной выше модели. Однако, если эта модель хоть как-то соответствует реальности, то можно утверждать, что размер биологической ассоциативной памяти и ее распознающая способность на порядки выше оценок, предлагаемых бинарными моделями, не учитываю- щими частотно-модулированный характер кодировки информации. Действительно, нейрон- ная колонка коры головного мозга (в нашей модели - это Q-мерный нейрон) содержит около 100 нейронов, соединенных возбуждающими и тормозящими связями, и может генерировать сигналы на различных частотах, число которых можно оценить как Q∼20÷40. Как следует из (5), при таком количестве частот ассоциативная память из таких колонок имеет огромный объем. Даже при весьма умеренном числе частот Q∼10 объем ассоциативной памяти почти на два порядка превышает значения, характерные для сетей Хопфилда (см. рис.3). Проведем некоторые оценки. Характерный линейный размер нейронной колонки порядка 400мкм. При скорости распространения сигналов по межсвязям ~0.1м/с возбуждение за время ~1.5мс (длительность нервных импульсов) охватывает пространство с линейными размерами ~1мм, 6 7 на котором размещается порядка n~30÷50 колонок, вовлекая их в процесс одновременного возбуждения и анализа информации. Это означает, что участок коры головного мозга пло- щадью ~1мм2 способен запомнить M~103÷104 бинарных 150-мерных образов и в течение не- скольких милисекунд распознавать один из них. Литература 1. Hopfield J.J. //Proc.Nat.Acad.Sci.USA. 1982. V.79. P.2554-2558. 2. Personnaz L., Guyon H., Dreyfus G.// Phys.Rev.A. 1987. V.34. P.4217-4227. 3. Hebb D.O. The Organization of Behavior. N.Y.: Wiley, 1949. 4. Rozenblatt F. //Psychological Review. 1958. V.65. P.368-408. 5. Крыжановский Б.В., Микаэлян А.Л.// ДАН. 2002. Т. 383, №3, с.318-321. 6. Kryzhanovsky B.V., Mikaelian A.L. et al.// Opt.Mem.&Neural Nets. 2001. V.10. P.211-218. 7. Annios P.A., Beek B., Csermely T.J. and Harth E.M..// J.Theor.Biol.. 1970. V. 26. P.121-148. 8. Usher M., Schuster H.G.and Neibur E.//Neural Computation. 1993.V.5, P.370-386. 9. Farhat N.// SPIE’2000, San-Diego, 2000. P. 158-170,. 10. Hoppensteadt F.C., Izhikevich E.M.//IEEE Trans.Neural Nets. 2000. V.11. P.734-738. 11. Крыжановский Б.В., Литинский Л.Б.// Искусственный интеллект. 2002. Т.4. C.710-718. 12. Kanter I. // Phys.Rev.A. 1988. V.37(7). P. 2739-2742. 13. Chernov N. //Ann. Math. Stat. 1952. V.23. P.493-507. 7 8 B.V.Kryzhanovsky, academician A.L.Mikaelian BIOLOGICAL ALGORITHM OF STRONGLY CORRELATED PATTERNS RECOGNITION Б.В.Крыжановский, академик А.Л.Микаэлян БИОЛОГИЧЕСКИЙ АЛГОРИТМ РАСПОЗНАВАНИЯ СИЛЬНО СКОРРЕЛИРОВАННЫХ ОБРАЗОВ Реферат Проведен анализ распознающей способности нейросети, способной хранить и обраба- тывать информацию, закодированную в виде частотно-фазовой модуляции. Информативные сигналы в рассматриваемой сети передаются по межсвязям в виде квазимонохроматических импульсов на n разных частотах. За основу такой сети принят "параметрический" нейрон – обладающий кубической нелинейностью элемент, способный к преобразованию и генерации частот в процессах параметрического четырехволнового смешения. Показано, что с ростом числа несущих частот помехозащищенность рассматриваемой ассоциативной памяти резко возрастает. Одновременно резко возрастает и объем нейросетевой памяти, которая в раз больше аналогичной величины в стандартной сети Хопфилда. Число образов, которые спо- собна сохранять такая нейросеть, может во много раз превышать число нейронов. 2 n 8
    Загрузить

    17.12.2014: предзащита дипломной работы Жданова М.А. на тему «Оптомеханическая биоинспирированная система машинного зрения с нейроподобной системой распознавания».
    Целью дипломной работы являлась разработка биологически инспирированной модели системы зрения и распознавания на основе подвижной оптической системы, рецептивных полей, нейроподобной системы распознавания и обратных связей.


    20.11.2014: Ковалёв С.П., д.ф.-м.н., с.н.с. ИПУ РАН. «Концептуальные и математические основы модельно-ориентированной системной инженерии».
    Модельно-ориентированная системная инженерия (Model-Based Systems Engineering) - это новый подход к разработке и эксплуатации сложных технических изделий.


    13.11.2014: Цыганков В.Д., к.т.н., заместитель директора НИЦ «Кристалл» РАСУ. Тема выступления: «Первое знакомство с виртуальным нейрокомпьютером «Эмбрион»».


    30.10.2014: Бойченко А.В., к.т.н., МЭСИ. Доклад "Причины и особенности информационного общества".


    Copyright © 1995 - 2014 ИТМиВТ РАН