Восстановление положения источников освещения сцены в системах смешанной реальности с использованием сверточных нейронных сетей и трассировки теневых лучей

В работе рассматриваются причины возникновения дискомфорта зрительного восприятия в системах смешанной реальности и алгоритмические решения, позволяющие устранить одну из основных причин дискомфорта, а именно, рассогласованность условий освещения объектов реального и виртуального миров. Для устранения данной причины дискомфорта предложен алгоритм, заключающийся в построении групп теневых лучей от точек на границах теней на точки границ объектов. Часть лучей, соответствующая условиям реального освещения, образует каустику в области реального источника света, что позволяет определить источник освещения виртуальных объектов для их корректного встраивания в систему смешанной реальности. Для классификации теней на изображении использовались сверточные нейронные сети и алгоритмы компьютерного зрения. Представлены примеры восстановления координат источника света по RGBD данным.