|
Эта публикация цитируется в 1 научной статье (всего в 1 статье)
АНАЛИЗ И МОДЕЛИРОВАНИЕ СЛОЖНЫХ ЖИВЫХ СИСТЕМ
Модель формирования первичных поведенческих паттернов с адаптивным поведением на основе использования комбинации случайного поиска и опыта
А. Г. Туманянa, С. И. Барцевb a Институт фундаментальной биологии и биотехнологий Сибирского федерального университета,
Россия, 660041, г. Красноярск, просп. Свободный, д. 79
b Институт биофизики СО РАН,
Россия, 660036, г. Красноярск, Академгородок, 50/50
Аннотация:
В работе предложен адаптивный алгоритм, моделирующий процесс формирования начальных поведенческих навыков на примере системы «глаза-манипулятор» анимата. Ситуация формирования начальных поведенческих навыков возникает, например, когда ребенок осваивает управление своими руками на основе понимания связи между исходно неидентифицированными пятнами на сетчатке своих глаз и положением реального предмета. Поскольку навыки управления телом не «вшиты» исходно в головной и спинной мозг на уровне инстинктов, то человеческому ребенку, как и большинству детенышей других млекопитающих, приходится осваивать эти навыки в режиме поискового поведения. Поисковое поведение начинается с метода проб и ошибок в чистом виде, затем его вклад постепенно уменьшается по мере освоения своего тела и окружающей среды. Поскольку образцов правильного поведения на этом этапе развития организм не имеет, то единственным способом выделения правильных навыков является положительное подкрепление при достижении цели. Ключевой особенностью предлагаемого алгоритма является фиксация в режиме импринтинга только завершающих действий, которые привели к успеху, или, что очень важно, привели к уже знакомой запечатленной ситуации, однозначно приводящей к успеху. Со временем непрерывная цепочка правильных действий удлиняется - максимально используется предыдущий позитивный опыт, а негативный «забывается» и не используется.
Тем самым наблюдается постепенная замена случайного поиска целенаправленными действиями, что наблюдается и у реальных детенышей. Тем самым алгоритм способен устанавливать соответствие между закономерностями окружающего мира и «внутренними ощущениями», внутренним состоянием самого анимата. В предлагаемой модели анимата использовалось 2 типа нейросетей: 1) нейросеть NET1, на вход которой подавались текущие положения кисти руки и целевой точки, а на выходе - двигательные команды, направляющие «кисть» манипулятора анимата к целевой точке; 2) нейросеть NET2, которая на входе получала координаты цели и текущей координаты «кисти», а на выходе формировала значение вероятности того, что анимату уже «знакома» эта ситуация и он «знает», как на нее реагировать. Благодаря такой архитектуре у анимата есть возможность опираться на «опыт» нейросети в распознанных ситуациях, когда отклик от сети NET2 близок к 1, и, с другой стороны, запускать случайный поиск, когда опыта функционирования в этой области зрительного поля у анимата нет (отклик NET2 близок к 0).
Ключевые слова:
адаптивное поведение, поведенческая модель, анимат, нейронная сеть, самообучение.
Поступила в редакцию: 21.10.2016 Исправленный вариант: 07.11.2016 Принята в печать: 09.11.2016
Образец цитирования:
А. Г. Туманян, С. И. Барцев, “Модель формирования первичных поведенческих паттернов с адаптивным поведением на основе использования комбинации случайного поиска и опыта”, Компьютерные исследования и моделирование, 8:6 (2016), 941–950
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/crm38 https://www.mathnet.ru/rus/crm/v8/i6/p941
|
Статистика просмотров: |
Страница аннотации: | 175 | PDF полного текста: | 83 | Список литературы: | 20 |
|