Когнитивные исследования ассистивного многомодального интерфейса для бесконтактного человеко-машинного взаимодействия

Представлены результаты исследований многомодального пользовательского интерфейса, предназначенного для бесконтактного управления персональным компьютером при помощи речевого ввода и указательных жестов/движений головой. Данный многомодальный интерфейс использует низкобюджетное аудио- и видеооборудование для одновременного захвата многоканальных сигналов и обеспечивает универсальный доступ к компьютерным системам как обычных операторов для бесконтактной (без использования рук) работы с компьютером, так и пользователей с ограниченными физическими возможностями (с проблемами двигательныхфункций рук или даже не имеющих рук/пальцев). Описаны методики и результаты количественной оценки производительности бесконтактного человеко-машинного взаимодействия с применением элементов когнитивных экспериментов и сравнение с результатами для стандартных контактных способов указательного ввода информации.