Линейные методы восстановления зависимостей по эмпирическим данным

Общепринятый подход к решению задачи восстановления зависимости скрытой характеристики объектов от наблюдаемой характеристики по эмпирическим данным опирается на гипотезу компактности, предполагающую, что объекты, «похожие» друг на друга в смысле некоторого количественного суждения о сходстве и несходстве, предполагаемого наблюдателем, должны обладать близкими значениями скрытой характеристики. В свою очередь, наиболее развитые методы алгоритмической реализации гипотезы компактности основаны на предположении, что объекты являются элементами некоторого линейного пространства, в котором несходство объектов формализовано как естественная метрика. Такие методы, предполагающие погружение множества объектов реального мира в некоторое, вообще говоря, гипотетическое линейное пространство, мы будем называть линейными. В докладе рассмотрена единая метрическая идея, лежащая в основе всех известных линейных методов восстановления зависимостей по эмпирическим данным, т.е. по конечной обучающей совокупности. В частности, рассматривается единство и различие таких общепринятых принципов обучения распознаванию объектов двух классов как метод опорных векторов (SupportVectorMachine – SVM) и метод логистической регрессии.