Teleoperated service robot with an immersive mixed reality interface

Сервисные роботы с дистанционным управлением могут выполнять более сложные и точные задачи, поскольку они сочетают в себе навыки робота и человеческий опыт. Связь между оператором и роботом важна для удаленной работы и сильно влияет на эффективность системы. Существует мнение, что улучшение ощущения присутствия оператора также улучшает выполнение задачи. Иммерсивные интерфейсы используются для улучшения опыта удаленной работы, поскольку ощущение присутствия является результатом погружения. Однако задержка или временная задержка могут снизить производительность робота. Временная задержка между входом и визуальной обратной связью сильно влияет на обмен данными между распределенными ведущими и ведомыми системами по сети. Поскольку удаленная визуализация включает в себя передачу большого количества видеоданных, проблема заключается в снижении нестабильности связи. Затем эффективная система дистанционного управления должна иметь подходящий рабочий интерфейс, способный визуализировать удаленную среду, управлять роботом и иметь быстрое время отклика. Эта работа представляет собой разработку системы дистанционного управления сервисным роботом с иммерсивным операционным интерфейсом смешанной реальности, где оператор может визуализировать реальную удаленную среду или виртуальную трехмерную среду, представляющую ее. Виртуальная среда направлена на сокращение задержки при обмене данными за счет уменьшения объема информации, отправляемой по сети, и улучшения взаимодействия с пользователем. Робот может выполнять навигацию и простые задачи автономно или переключаться в дистанционно управляемый режим для более сложных задач. Система была разработана с использованием ROS, UNITY 3D и сокетов для легкого экспорта на различные платформы. Эксперименты показывают, что наличие иммерсивного рабочего интерфейса повышает удобство использования для оператора. Задержка при использовании виртуальной среды увеличивается. Пользовательский опыт улучшается за счет использования техник смешанной реальности; это может привести к более широкому использованию дистанционно управляемых систем сервисных роботов.