Асимптотические свойства одношаговых $M$-оценок с приложениями к задачам регрессии

Пусть $X_1,\ldots, X_n$ — независимые не обязательно одинаково распределенные наблюдения произвольной природы, распределения которых зависят от неизвестного параметра $\theta\in \Theta$ (для простоты $\Theta\subset \mathbb{R}$). Важную роль в решении задачи оценивания этого параметра играют $M$-оценки, т.е. статистики $\widetilde\theta_n$, которые являются решениями по $t$ уравнений вида $\displaystyle\sum\nolimits_{i=1}^n M_i(t,X_i)=0$ для некоторого набора функций $ \{ M_i(t,x)\}$ с условием $\mathbf E M_i(\theta,X_i)=0$ при всех $i$. Обычно функции $\{ M_i(t,x)\}$ в той или иной статистической постановке выбираются таким образом, чтобы обеспечить желаемые свойства (в том или ином смысле оптимальность) соответствующей $M$-оценки. Этот подход включает в себя, например, метод наименьших квадратов и его модификации, метод максимального правдоподобия, метод квази-правдоподобия и др. Но вычисление $M$-оценок нередко связано с серьезными техническими трудностями, особенно в случае существования большого числа корней вышеприведенного уравнения. Ситуация существенно упрощается, если известна некоторая предварительная состоятельная оценка $\theta_n^*$ параметра $\theta$, приближающая параметр с нужной нам скоростью сходимости. В этом случае возможно в явном виде построить оценки, обладающие теми же асимптотическими свойствами, что и $M$-оценки. Одношаговую $M$-оценку определим соотношением
$$ \theta_{n}^{**}=\theta_n^*- \sum\limits_{i=1}^n M_{i}(\theta_n^*,X_i)\Big/\sum\limits_{i=1}^n M_{i}'(\theta_n^*,X_i). $$
Оценка $\theta_{n}^{**}$ представляет собой одношаговое приближение корня вышеприведенного уравнения методом Ньютона с начальной точкой $t=\theta_n^*$ и обобщает одно из предложенных Р. Фишером приближений для состоятельных оценок максимального правдоподобия.
В докладе излагаются асимптотические свойства одношаговых $M$-оценок. В частности, предложены новые достаточно общие условия асимптотической нормальности одношаговых $M$-оценок, которые содержат широкий спектр ограничений на точность предварительной оценки, а также не гарантируют существование состоятельной $M$-оценки. Отмеченный эффект восходит к работам Л. Ле Кама, который, по-видимому, впервые построил примеры, в которых оценка максимального правдоподобия в случае однородной выборки не существует или не состоятельна, в то время как одношаговые оценки Фишера в известном смысле асимптотически эффективны.
В качестве приложений в докладе рассматриваются задачи нелинейной регрессии. К важному базовому предположению методологии одношагового поиска в известном смысле оптимальных оценок можно отнести наличие некоторых достаточно хороших предварительных оценок. В этой связи основное внимание в докладе уделено способам построения таких оценок. В частности, речь идет о поиске явных $\alpha_n$-состоятельных или асимптотически нормальных (но не оптимальных) оценок параметра $\bar\theta\in \mathbb{R}^m$ в классических моделях нелинейной регрессии вида
$$ X_i=f(\bar\theta,\bar z_i)+\varepsilon_i,\quad \mathbf E\varepsilon_i=0,\quad i=1,\dots,n, $$
где $f(\cdot,\cdot)$ — некоторая известная функция, значения $k$-мерных векторов $\bar z_i$ также известны. Результаты, связанные с методикой построения предварительных оценок в задачах нелинейной регрессии, получены совместно с И.С. Борисовым. Предлагаемая методика допускает обобщение и на достаточно широкий класс задач непараметрической регрессии.
В заключение обсуждается проблема уточнения одношаговых оценок Фишера в случае медленно сходящихся к параметру предварительных оценок. Оценки Фишера асимптотически эквивалентны состоятельным оценкам максимального правдоподобия лишь в случае, когда предварительная оценка является $n^{\beta}$-состоятельной при $\beta\geq 1/4$. Новые оценки, отличающиеся от оценок Фишера наличием некоторых добавочных слагаемых, обладают отмеченным свойством при $\beta< 1/4$.