Вариационный метод релевантных векторов для задач классификации и регрессии с многомерными массивами признаков

Рассматриваются задачи классификации и восстановления регрессии, в которых объекты представлены многомерными массивами признаков. К задачам такого вида сводятся многие практические постановки, например часто используемый в анализе изображений подход к описанию изображений в виде набора блоков и набора дескрипторов в каждом блоке или описание объекта как набор расстояний от этого объекта до некоторого количества опорных объектов, взятых по некоторому набору исходных признаков. Для решения задач с такими объектами предложено обобщение модели релевантных векторов. Здесь свои коэффициенты регуляризации вводятся для каждой размерности многомерного массива описаний объектов, а итоговый коэффициент регуляризации для заданного элемента в многомерном массиве определяется как комбинация коэффициентов регуляризации для всех размерностей. В качестве комбинаций рассмотрены модели с суммой и произведением. Для обучения в этих моделях предложены алгоритмы на основе вариационного подхода. Эти алгоритмы позволяют находить так называемые “разреженные” решения, т.е. исключать из рассмотрения нерелевантные размерности в многомерном массиве описаний объектов. По сравнению с классической моделью релевантных векторов, в предлагаемом подходе происходит сокращение количества настраиваемых параметров: вместо произведения всех размерностей рассматривается сумма. В результате метод становится более устойчивым к переобучению на выборках с небольшим числом объектов. Последнее свойство, а также разреженность получаемых решений в предлагаемых моделях продемонстрированы в экспериментах, в том числе для известной базы данных по идентификации лиц в произвольных условиях Labeled Faces in the Wild. Библ. 29. Фиг. 7. Табл. 2.