|
Эта публикация цитируется в 1 научной статье (всего в 1 статье)
О достаточных условиях состоятельности локально-линейных ядерных оценок
Ю. Ю. Линке Институт математики им. С. Л. Соболева Сибирского отделения Российской академии наук, г. Новосибирск
Аннотация:
Доказана состоятельность классических локально-линейных ядерных оценок в непараметрической регрессии
при более слабых ограничениях на элементы дизайна (регрессоры), чем были известны ранее. Полученные в работе условия
универсальны относительно стохастической природы дизайна, который может быть как фиксированным регулярным, так и случайным, при этом не обязательно состоящим из независимых или слабо зависимых случайных величин. Достаточные условия как
поточечной, так и равномерной состоятельности классических локально-линейных оценок формулируются в терминах асимптотического поведения числа элементов дизайна, попавших в ту или иную окрестность точек из области задания регрессионной функции.
Библиография: 57 названий.
Ключевые слова:
непараметрическая регрессия, локально-линейные оценки, равномерная состоятельность, фиксированный дизайн, случайный дизайн, сильно зависимые элементы дизайна.
Поступило: 29.01.2023 Исправленный вариант: 21.02.2023
1. Введение Рассматривается следующая модель непараметрической регрессии: даны наблюдения $X_1,\dots, X_n$, которые представимы в виде
$$
\begin{equation*}
X_i=f({z}_i)+\varepsilon_i, \qquad i=1,\dots,n,
\end{equation*}
\notag
$$
где $f(t)$ – неизвестная скалярная непрерывная функция; ненаблюдаемые погрешности $\{\varepsilon_i\}$ представляют собой последовательность центрированных случайных величин, не обязательно независимых или одинаково распределенных; элементы $\{z_i\}$ (так называемые регрессоры или элементы дизайна) нам известны и могут быть как случайными, так и детерминированными. Задача состоит в том, чтобы восстановить (оценить) регрессионную функцию $f$, когда мы наблюдаем лишь зашумленные ее значения $\{X_i,\, i=1,\dots,n\}$ в некотором известном наборе точек $\{z_i,\, i=1,\dots,n\}$. Наиболее популярные процедуры оценивания в непараметрической регрессии связаны, по-видимому, с методами ядерного сглаживания, к которым относятся такие известные оценки, как Надарая–Ватсона, Пристли–Чжао, Гассера–Мюллера, локально-полиномиальные оценки и др. (см., например, монографии [1]–[7]). Нас в методах ядерного сглаживания в непараметрической регрессии интересуют прежде всего условия на элементы дизайна, которые обеспечивают, например, равномерную состоятельность оценок ядерного типа, поэтому подробнее остановимся на основных ограничениях на структуру дизайна, используемых в литературе. Как правило, ситуации детерминированного или случайного дизайна принято рассматривать отдельно.1[x]1В англоязычной литературе нередко используются термины random design model и fixed design model (см., например, [7]). Отчасти подобное деление связано, по-видимому, с различными подходами к исследованию оценок в зависимости от стохастической природы дизайна. В качестве исключений можно отметить работы [8]–[11], в которых оба случая рассматриваются одновременно. В случае детерминированного дизайна предполагаются, как правило, те или иные условия регулярности (см., например, [12]–[20], а также монографии, приведенные выше). Так, в скалярном случае неслучайные точки $z_i$ часто задаются формулой $z_i=g(i/n)+o(1/n)$ с некоторой функцией $g$ ограниченной вариации, где погрешность $o(1/n)$ равномерна по всем $i=1,\dots,n$. Весьма популярный частный случай подобного условия состоит в равномерном заполнении элементами дизайна области задания регрессионной функции (так называемый эквидистантный дизайн или план). Другой вариант условия регулярности – соотношение $\max_{i\leqslant n}(z_i-z_{i-1})=O(1/n)$, в котором предполагается, что элементы дизайна упорядочены по возрастанию. В работах, имеющих дело со случайным дизайном, часто рассматриваются независимые одинаково распределенные величины (см., например, приведенные выше монографии, а также работы [20]–[30]). Стоит отметить, что за несколько последних десятилетий в стохастике было предложено множество форм зависимости случайных величин и доказаны разнообразные вероятностные неравенства и предельные теоремы для последовательностей с такими свойствами. Данные обстоятельства в полной мере отразились и на задачах непараметрической регрессии, в которых все чаще рассматриваются величины (как правило, стационарно связанные), удовлетворяющие тем или иным известным формам зависимости. В частности, используются различные варианты условий перемешивания, схемы скользящих средних, ассоциированных случайных величин, марковские или мартингальные свойства и др. (см., например, [1], [31]–[41]). В недавних публикациях [42]–[48] рассматриваются нестационарные последовательности с теми или иными специальными формами зависимости (марковские цепи, авторегрессия, частичные суммы скользящих средних и др.). Равномерную состоятельность ядерных оценок в непараметрической регрессии изучали многие авторы (см., например, [15], [20]–[25], [32]–[34], [41]–[44] и ссылки там же). Цель данной статьи – ослабить известные ограничения на элементы дизайна, гарантирующие состоятельность классических локально-линейных оценок в непараметрической регрессии и установить, что эти оценки могут быть состоятельными не только в вышеуказанных в обзоре случаях зависимости, но и для существенно иной корреляции наблюдений, когда не выполняются условия эргодичности или стационарности, а также классические условия перемешивания и другие известные условия зависимости. Наши условия универсальны относительно характера дизайна, который может быть как фиксированным регулярным, так и случайным, при этом не обязательно состоящим из независимых или слабо зависимых случайных величин. Условия на элементы дизайна мы сформулируем в терминах асимптотического поведения числа элементов дизайна, попавших в ту или иную окрестность точек из области задания регрессионной функции. Ранее близкие условия были получены в [10] и [11] для оценок Надарая–Ватсона. Данное исследование, как и работы [10] и [11], тесно связано также с недавними публикациями [8] и [9], в которых построены новые классы оценок ядерного типа и реализована следующая идея: для того, чтобы восстановить регрессионную функцию, достаточно знать зашумленные значения этой функции на некотором множестве точек, в том или ином смысле плотно заполняющем область определения этой функции. Такое требование по сути является необходимым, поскольку лишь при плотном заполнении дизайном области определения регрессионной функции возможно ее восстановить с той или иной точностью. В [8] и [9] доказана равномерная состоятельность новых ядерных оценок лишь при указанном минимальном ограничении во многом благодаря специальной структуре оценок, содержащей конструкции сумм взвешенных наблюдений со структурой интегральных сумм Римана (это обстоятельство позволяет асимптотические свойства оценок исследовать за счет близости интегральных сумм и соответствующих интегралов). В данной работе, как и в [10]–[11], мы попытались реализовать идеи об общих и универсальных относительно стохастической природы условиях плотного заполнения элементами дизайна области задания регрессионной функции для одного из вариантов классических ядерных оценок. Отметим еще, что полученные в настоящей работе достаточные условия по сути предполагают, в отличие от весьма простых условий в [8] и [9], более равномерное плотное заполнение точками дизайна области задания регрессионной функции (см. замечание 8). Предлагаемые условия ослабляют ранее известные ограничения на корреляцию элементов дизайна, гарантирующих состоятельность изучаемых оценок, что расширяет возможную область их практического применения. В данном работе, как и в [8]–[11], в основе доказательства лежит метод диадических цепочек (см., например, [49]), предложенный А. Н. Колмогоровым для оценки хвоста распределения супремальной нормы стохастического процесса с почти наверное непрерывными траекториями. Близкие условия на элементы дизайна использовались также в [50]–[52] в нелинейной регрессии. Наш интерес в данной работе к классическим локально-линейным оценкам обусловлен, в первую очередь, их популярностью, поскольку эти оценки, наряду с оценками Надарая–Ватсона (т.е. классическими локально-постоянными оценками) принято считать (см., например, монографии, приведенные выше, а также [53], [54]) наиболее востребованными ядерными оценками в непараметрической регрессии как с точки зрения практического использования, так и исследования в тех или иных условиях. На основе этих двух классов оценок часто происходит оценивание и в специальных задачах непараметрической регрессии (например, в задаче оценивания функций среднего и ковариации случайного процесса, см. подробные библиографические ссылки в [55]; см. также [56]). Отметим, что оценки Надарая–Ватсона и локально-линейные являются представителями класса локально-полиномиальных оценок соответственно порядка $p=0$ и $p=1$. При использовании локально-полиномиальных оценок в случае оценивания лишь самой регрессионной функции, а не ее производных, специалисты зачастую рекомендуют ограничиваться именно этими значениями $p$ (см., например, [2], [54]). Дело в том, что при больших значениях $p$ у локально-полиномимальных оценок могут проявиться некоторые недостатки. Например, такие оценки могут вообще не существовать при малых значениях размера окна $h$ из-за недостаточного количества выборочных точек. Стоит также отметить, что характер зависимости реальных выборочных данных в статистике, если зависимость наблюдений имеет место по природе стохастического эксперимента, определить бывает достаточно трудно. В этой связи получение некоторых более общих и, по-возможности, наглядных условий представляет интерес не только с теоретической точки зрения, но и является актуальным и особенно важным для приложений.
2. Основные результаты Нам потребуется ряд условий. $(\mathrm A_1)$. Даны двумерные наблюдения $\{(z_i,X_i);\, i\leqslant n\}$, представимые в виде
$$
\begin{equation}
X_i=f(z_i)+\varepsilon_i, \qquad i=1,\dots,n,
\end{equation}
\tag{2.1}
$$
где $f(t)$ – неизвестная непрерывная на $[0,1]$ функция, дизайн $\{z_i;\,i=1,\dots,n\}$ состоит из случайных величин, вообще говоря, с неизвестными распределениями со значениями на $[0,1]$, не обязательно независимых или одинаково распределенных. Предполагается, что случайные величины $\{z_i;\,i=1,\dots,n\}$ могут зависеть от $n$. Замечание 1. Отметим, что условие $(\mathrm A_1)$ включает в себя и ситуацию фиксированного дизайна. Отрезок $[0,1]$ в качестве области изменения дизайна мы рассматриваем исключительно с целью простоты изложения подхода. В общем случае вместо интервала $[0,1]$ можно рассматривать произвольное измеримое по Жордану подмножество числовой прямой. Мы полагаем, что результаты работы можно перенести и на случай, когда областью изменения дизайна является произвольное измеримое по Жордану подмножество $\mathbb{R}^k$. $(\mathrm A_2)$. При всех $n\geqslant 1$ ненаблюдаемые случайные погрешности $\{\varepsilon_i;\,i=1,\dots,n\}$ при всех $i,j\leqslant n$, $i\neq j$, с вероятностью $1$ удовлетворяют следующим условиям:
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}\varepsilon_i=0, \qquad \sup_{i\leqslant n}{\mathbb E}_{\mathcal F_n}\varepsilon^2_i\leqslant \sigma^2, \qquad {\mathbb E}_{\mathcal F_n}\varepsilon_i\varepsilon_j= 0,
\end{equation*}
\notag
$$
где константа $\sigma^2>0$ не зависит от $n$ и может быть неизвестной, а символ ${\mathbb E}_{\mathcal F_n}$ обозначает условное математическое ожидание при фиксации $\sigma$-алгебры $\mathcal F_n$, порожденной случайными величинами $\{z_i;\,i=1,\dots,n\}$. $(\mathrm A_3)$. Ядерная функция $K( t)$, ${t}\in \mathbb R$, является плотностью симметричного распределения с носителем $[-1,1]$, т.е. $K(t)\geqslant 0 $, $K(t)=K(-t)$ при всех $t\in [-1,1]$ и $\int_{[-1,1]} K(t) \, d{t} =1$. Кроме того, $\sup_{t\in [0,1]}K(t)\leqslant L<\infty$ и существует положительное $\delta\leqslant 1$ такое, что
$$
\begin{equation*}
\inf_{|t|\leqslant\delta}K(t)\geqslant l>0.
\end{equation*}
\notag
$$
Введем еще ряд обозначений и соглашений. В дальнейшем нам понадобится обозначение $K_{h}(t)=h^{-1} K(h^{-1}t)$. Понятно, что $K_{h}(t)$ – плотность распределения на $[-h,h]$. Для любых $ z_1,\dots, z_n$, $h\in(0,1)$ и $t\in [0,1]$ положим
$$
\begin{equation*}
N_{n,h}( t)=\bigl\{i\colon | t- z_{i}|\leqslant h,\, 1\leqslant i\leqslant n\bigr\}.
\end{equation*}
\notag
$$
Символом $\#(\cdot)$ обозначим стандартную считающую меру. Нам также потребуется модуль непрерывности
$$
\begin{equation*}
\omega_f(h)=\sup_{ t, s\in [0,1]\colon | t-s|\leqslant h}|f(t)-f(s)|.
\end{equation*}
\notag
$$
Условимся, что всюду в дальнейшем все пределы, если не оговорено иное, берутся при $n\to\infty$. Через $O_p(\eta_n)$ будем обозначать некоторую случайную величину $\zeta_n$ такую, что для всех чисел $M>0$ выполнено
$$
\begin{equation*}
\limsup{\mathbb P}\biggl(\frac{|\zeta_n|}{\eta_n}>M\biggr)\leqslant \beta(M),
\end{equation*}
\notag
$$
где $\{\eta_n\}$ – положительные (возможно, случайные) величины, а функция $\beta(M)$ не зависит от параметров рассматриваемой модели и $\lim_{M\to\infty}\beta(M)=0$. Иными словами, последовательность $\zeta_n/\eta_n$ ограничена по вероятности. Напомним (см., например, [1]), что классическая локально-линейная ядерная оценка $f_{n,h}^*(t)$ определяется как первая координата двумерной точки, на которой достигается следующий минимум:
$$
\begin{equation*}
\min_{a,b}\sum_{i=1}^n\bigl(X_{i}-(a+b(t-z_{i}))\bigr)^2K_{h}(t-z_{i}).
\end{equation*}
\notag
$$
Нетрудно видеть, что имеет место представление
$$
\begin{equation}
f_{n,h}^*(t)= \sum_{i=1}^n\frac{S_{n,2}(t)-(t-z_{i})S_{n,1}(t)}{S_{n,0}(t)S_{n,2}(t) -S_{n,1}^2(t)}X_{i}K_{h}(t-z_{i}),
\end{equation}
\tag{2.2}
$$
где
$$
\begin{equation}
S_{n,j}(t)=\sum_{i=1}^n(t-z_{i})^jK_{h}(t-z_{i}), \qquad j=0,1,2.
\end{equation}
\tag{2.3}
$$
Рассмотрим прежде всего вопрос о поточечной состоятельности оценок $f_{n,h}^*(t)$. Нам потребуется еще одно предположение, являющееся единственным условием на элементы дизайна, гарантирующим поточечную состоятельность классических локально-линейных оценок. $(\mathrm A_4)$. При всех фиксированных $t\in [0,1]$ и $h\in (0,1)$, начиная с некоторого $n$, выполнено $\#(N_{n,h}(t))\neq 0$ и имеет место предельное соотношение
$$
\begin{equation*}
\Lambda_{n,h}(t)=\frac{\#^3(N_{n,h}(t))}{\#^2(N_{n,\delta h}(t))\widetilde N^2_{n,h,\delta}(t)}\stackrel{p}{\to} 0,
\end{equation*}
\notag
$$
где величина $\widetilde N_{n,h,\delta}(t)$ определяется равенством
$$
\begin{equation*}
\widetilde N_{n,h,\delta}(t)= \min\biggl\{\#(N_{n,\delta h/2}(t)),\,\#\biggl(N_{n,\delta h/4}\biggl(t-\frac{3\delta h}4\biggr)\biggr),\,\#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}{4}\biggr)\biggr)\biggr\}.
\end{equation*}
\notag
$$
Справедлива Теорема 1. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_3)$. Тогда для любого $h\in (0,1)$ и любого $t\in [0,1]$ c вероятностью $1$ выполнено
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}(f_{n,h}^*(t)-f(t))^2\leqslant \omega^2_f(h)+ 64\sigma^2L^4{(l\delta)^{-4}}\Lambda_{n,h}(t).
\end{equation*}
\notag
$$
Следствие 1. В условиях теоремы 1 имеет место соотношение
$$
\begin{equation*}
f_{n,h}^*(t)-f(t)=O_p(\omega_f(h)+8\sigma L^2(l\delta)^{-2}\Lambda_{n,h}^{1/2}(t)).
\end{equation*}
\notag
$$
Следствие 2. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_4)$. Тогда существует последовательность $h=h_n\to 0$, для которой при всех $t\in [0,1]$ имеет место предельное соотношение
$$
\begin{equation*}
f_{n,h}^*(t)\stackrel{p}{\to}f( t).
\end{equation*}
\notag
$$
Замечание 2. Легко видеть, что в условиях теоремы 1 для любого $h\in (0,1)$ и любого $t\in [0,1]$ справедливо неравенство
$$
\begin{equation*}
{\mathbb E}(f_{n,h}^*(t)-f(t))^2\leqslant \omega^2_f(h)+ {64\sigma^2L^4}{(l\delta)^{-4}}{\mathbb E}\Lambda_{n,h}(t).
\end{equation*}
\notag
$$
Однако условие $(\mathrm A_4)$ без уточнения характера корреляции элементов дизайна еще не гарантирует выполнение предельного соотношения ${\mathbb E}\Lambda_{n,h}(t){\to}0$ при всех фиксированных $t$ и $h$. Но если это соотношение справедливо, то существует последовательность $h_n$, для которой поточечный среднеквадратичный риск оценки $f_{n,h}^*(t)$ сходится к нулю: ${\mathbb E}(f_{n,h}^*(t)-f(t))^2\to 0$ при всех $t\in [0,1]$. Замечание 3. В широких условиях для всех известных нам неслучайных регулярных дизайнов выполнено $\#(N_{n,h}(t))\sim nh$ равномерно по $ t$, что гарантирует выполнение $(\mathrm A_4)$. Если $\{z_i\}$ независимы и одинаково распределены и отрезок $[0,1]$ является носителем распределения $z_1$ (функция распределения $z_1$ является строго монотонной на $[0,1]$), то условие $(\mathrm A_4)$ также выполнено, поскольку по теореме Гливенко–Кантелли $\#(N_{n,h}(t))\sim nh$ равномерно по $t$ почти наверное2[x]2Данная запись означает, что с вероятностью $1$ выполнено $c_1h\leqslant \lim\sup_{ t\in[0,1]}\#(N_{n,h}(t))/n\leqslant c_2h$, где константы $c_1$ и $c_2$ не зависят от $t$ и $h$.. Если $\{z_i\}$ – стационарная последовательность с условием $\alpha$-перемешивания и маргинальным распределением с носителем $[0,1]$, то в широких условиях $\#(N_{n,h}(t))\sim nh$ по вероятности3[x]3Данная запись означает, что ${\mathbb P}\bigl(\#(N_{n,h}(t))/(nh)\in [c_1,c_2]\bigr)\to 1$, где $c_1>0 $ и $c_2>0$. для любой точки $t$ и условие $(\mathrm A_4)$ также выполнено. Подчеркнем, что выполнение условия $(\mathrm A_4)$ вполне возможно и для других типов зависимости случайных величин $\{ z_i\}$ (см. примеры 1 и 2). Отметим еще, что во всех указанных в данном замечании случаях величина $\Lambda_{n,h}(t)$ имеет порядок $(nh)^{-1}$. Если дополнительно функция $f$ удовлетворяет условию Липшица, то можно положить $h=n^{-1/3}$. Выбранный таким образом размер окна $h$ фактически уравнивает порядок малости по $h$ обоих слагаемых в правой части утверждения следствия 1, а соответствующее поточечное расстояние из следствия 1 имеет порядок $n^{-1/3}$. Пример 1. Пусть последовательность случайных величин $\{z_i;\,i\geqslant 1\}$ определяется соотношением
$$
\begin{equation}
z_{i}=\nu_{i}U_{1i}+(1-\nu_{i})U_{2i},
\end{equation}
\tag{2.4}
$$
где $\{U_{1i}\}$ и $\{U_{2i}\}$ независимы и равномерно распределены на $[0,1/2]$ и $[1/2,1]$ соответственно, последовательность $\{\nu_i\}$ не зависит от $\{U_{1i}\}$, $\{U_{2i}\}$ и состоит из бернуллиевских случайных величин с вероятностью успеха $1/2$, а зависимость между случайными величинами $\nu_i$ для любого натурального $i$ определяется равенствами $\nu_{2i-1}=\nu_1$, $\nu_{2i}=1-\nu_1$. Случайные величины $\{z_i;\,i\geqslant 1\}$ из (2.4) образуют стационарную последовательность равномерно распределенных на отрезке $[0,1]$ случайных величин, но наиболее популярные условия слабой зависимости в данном примере не выполнены. В частности, в рассматриваемом примере не выполнены те или иные условия перемешивания, так как при всех натуральных $m$ и $n$
$$
\begin{equation*}
{\mathbb P}\biggl(z_{2m}\leqslant \frac12,\,z_{2n-1}\leqslant \frac12\biggr)=0.
\end{equation*}
\notag
$$
С другой стороны, нетрудно показать, что для эмпирической функции распределения, построенной по выборке растущего объема из стационарной последовательности $\{z_i;\,i\geqslant 1\}$, справедлива теорема Гливенко–Кантелли. Это означает, что для любого фиксированного $h>0$ выполнено $N_{n,h}(t)\sim nh$ почти наверное равномерно по $t$, что влечет выполнение условия $(\mathrm A_4)$. Пример 2. По схеме примера 2, исходя из выбора различных последовательностей бернуллиевских переключателей с условиями $\nu_{j_k}=1$ и $\nu_{l_k}=0$ для неограниченного числа индексов $\{j_k\}$ и $\{l_k\}$, можно конструировать последовательности зависимых равномерно распределенных на $[0,1]$ случайных величин c теми или иными свойствами. Так, последовательность $\{z_i\}$ в (2.4) (не обязательно стационарная) может не удовлетворять закону больших чисел, при этом условие $(\mathrm A_4)$ будет выполнено. Например, пусть $\nu_j=1-\nu_1$ при $j=2^{2k-1},\dots,2^{2k}-1$ и $\nu_j=\nu_1$ при $j=2^{2k},\dots,2^{2k+1}-1$, где $k=1,2,\dots$ . Иными словами, на первом шаге стохастического эксперимента мы разыгрываем с равными шансами ту или иную половинку единичного отрезка, на которую наудачу бросаем первую точку. Затем мы бросаем наудачу две точки на другую половинку отрезка $[0,1]$ и вновь возвращаемся на исходную половинку, куда теперь бросаем наудачу четыре точки. Процесс чередования половинок единичного отрезка продолжается, и на $k$-м шаге процедуры мы бросаем наудачу на очередную половинку единичного отрезка $2^{k-1}$ точек. Положим теперь $n_k=2^{2k}-1$, $\widetilde n_k=2^{2k+1}-1$, $S_m=\sum_{i=1}^m z_i$ и заметим, что для почти всех элементарных исходов, составляющих событие $\{\nu_1=1\}$, выполнено
$$
\begin{equation}
\frac{S_{n_k}}{n_k}=\frac{1}{n_k}\sum_{i\in A_{1,k}}U_{1i}+\frac{1}{n_k}\sum_{i\in A_{2,k}}U_{2i},
\end{equation}
\tag{2.5}
$$
где $A_{1,k}$ и $A_{2,k}$ – наборы индексов, для которых наблюдения $\{{ z}_i, i\leqslant n_k\}$ расположены в отрезке $[0,1/2]$ или $[1/2,1]$ соответственно. Нетрудно видеть, что $\#(A_{2,k})=2\#(A_{1,k})$. Следовательно, ${S_{n_k}}/{n_k}\to{7}/{12}$ п.н. при $k\to\infty$ ввиду усиленного закона больших чисел для последовательностей $\{U_{1i}\}$ и $\{U_{2i}\}$. С другой стороны, для почти всех элементарных исходов, принадлежащих событию $\{\nu_1=1\}$, с вероятностью $1$ выполнено ${S_{\widetilde n_k}}/{\widetilde n_k}\to{5}/{12}$ при $k\to\infty$ (здесь для аналога (2.5) мы использовали соотношение $\#(\widetilde A_{1,k})=2\#(\widetilde A_{2,k})+1$, где $\widetilde A_{1,k}$ и $\widetilde A_{2,k}$ – наборы индексов, для которых наблюдения $\{{ z}_i, i\leqslant \widetilde n_k\}$ расположены в отрезке $[0,1/2]$ или $[1/2,1]$ соответственно). Схожие выводы справедливы и для почти всех элементарных исходов, составляющих событие $\{\nu_1=0\}$. Таким образом, построенная нестационарная последовательность равномерно распределенных на $[0,1]$ случайных величин $\{z_i\}$ не удовлетворяет усиленному закону больших чисел. Кроме того, эта последовательность не удовлетворяет и теореме Гливенко–Кантелли, но используя эту теорему отдельно для каждой из последовательностей $\{U_{1i}\}$ и $\{U_{2i}\}$, нетрудно получить следующие две оценки, справедливые с вероятностью $1$:
$$
\begin{equation*}
\limsup \frac{1}{n}\sup_{t\in [0,1]} \#(N_{n,h}(t))\leqslant 6h, \qquad \liminf \frac{1}{n}\inf_{t\in [0,1]}\#(N_{n,h}(t))\geqslant \frac{2h}3,
\end{equation*}
\notag
$$
где $h$ произвольное фиксированное число из интервала $(0,1)$. Таким образом, для рассматриваемой последовательности сильно зависимых случайных величин условие $(\mathrm A_4)$ выполнено. Рассмотрим теперь вопрос о равномерной состоятельности классических локально-линейных оценок. Нам потребуются еще два предположения. $(\mathrm A_3')$. Выполнено условие $(\mathrm A_3)$ и ядерная функция $K(t)$ непрерывно дифференцируема на открытом интервале $(0,1)$, при этом $\sup_{t\in [0,1]}|K'(t)|\leqslant L$. $(\mathrm A_5)$. Для любых $t\in [0,1]$ и $h\in(0,1)$ выполнено $\#(N_{n,h}(t))\neq 0$ при всех достаточно больших $n$ и
$$
\begin{equation*}
\Delta_{n,h}=\sup_{t\in [0,1]}\frac{ \sup_{|s|\leqslant h}\#^7(N_{n,h}(t+s))}{\#^4(N_{n,\delta h}(t))\widetilde N^4_{n,h,\delta}(t)}\stackrel{p}{\to} 0.
\end{equation*}
\notag
$$
По умолчанию в $(\mathrm A_5)$ под внутренним знаком супремума область изменения переменной $s$ при каждом фиксированном $t\in [0,1]$ определяется соотношениями $s\in [0,1]$ и $s+t\in [0,1]$. Теорема 2. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_2)$ и $(\mathrm A_3')$. Тогда для любого фиксированного $h\in (0,1)$ с вероятностью $1$
$$
\begin{equation*}
\sup_{t\in [0,1]}|f_{n,h}^*(t)-f(t)|\leqslant \omega_f(h)+\zeta_n(h),
\end{equation*}
\notag
$$
где $\zeta_n(h)$ есть последовательность положительных случайных величин, удовлетворяющих соотношению
$$
\begin{equation*}
\zeta_n(h)=O_p\Bigl(\sigma L^4(l\delta)^{-4}\sqrt{\Delta_{n,h}h^{-1}}\Bigr).
\end{equation*}
\notag
$$
Следствие 3. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_2)$, $(\mathrm A_3')$ и $(\mathrm A_5)$. Тогда существует последовательность $h=h_n\to 0$, для которой
$$
\begin{equation*}
\sup_{ t\in [0,1]}| f_{n,h}^*(t)-f(t)|\stackrel{p}{\to}0.
\end{equation*}
\notag
$$
Замечание 4. Нетрудно видеть, что условие $(\mathrm A_5)$ будет выполнено, если для всех достаточно малых $h>0$
$$
\begin{equation*}
\widetilde\Delta_{n,h}=\frac{\sup_{t\in [0,1]}\#^7(N_{n,h}(t))}{\inf_{t\in [0,1]}\#^4(N_{n,\delta h}(t))\widetilde N^4_{n,\delta,h}(t)}\stackrel{p}{\to} 0.
\end{equation*}
\notag
$$
Скажем, пусть $\#(N_{n,h}(t))\sim nh$ c вероятностью $1$ равномерно по $ t$ (см. замечание 3 и пример 1 сильно зависимых $\{z_i\}$). Тогда с вероятностью 1
$$
\begin{equation*}
\widetilde\Delta_{n,h}=O((nh)^{-1}).
\end{equation*}
\notag
$$
Замечание 5. Для функции $f$, удовлетворяющей условию Липшица, в случае, когда c вероятностью $1$ справедливо соотношение $\widetilde\Delta_{n,h}\sim(nh)^{-1}$, можно положить $h=n^{-1/4}$. Тогда
$$
\begin{equation*}
\sup_{ t\in [0,1]}| f_{n,h}^*(t)-f(t)|=O_p(Cn^{-1/4}),
\end{equation*}
\notag
$$
где константа $C$ зависит от $\sigma$ и ядра $K$. Замечание 6. В силу теоремы 2 имеем
$$
\begin{equation}
{\mathbb E} \sup_{t\in[0,1]}\bigl|f_{n,h}^*(t)-f(t)\bigr|^2\leqslant 2\omega_f(h)+4\int_0^\infty y{\mathbb P}(\zeta_n(h)>y)\,dy.
\end{equation}
\tag{2.6}
$$
В условиях теоремы 2 (см. доказательство теоремы и, в частности, утверждение леммы 3) величина ${\mathbb P}(\zeta_n(h)>y)$ имеет порядок $y^{-2}$. Если в условии $(\mathrm A_2)$ мы будем считать $\{\varepsilon_i\}$ условно относительно $\mathcal F_n$ независимыми и центрированными случайными величинами с более сильным моментным ограничением $\sup_{i\leqslant n}{\mathbb E}_{\mathcal F_n}|\varepsilon_i|^{2+\gamma}\leqslant \mu<\infty $ при некотором $\gamma>0$ и неслучайном $\mu>0$, то в доказательстве теоремы 2 можно использовать моментное (порядка $2+\gamma$) неравенство Розенталя. Как следствие, для величины ${\mathbb P}(\zeta_n(h)>y)$ можно получить оценку порядка $y^{-(2+\gamma)}$, которая ввиду соотношения (2.6) позволит получить и оценку для равномерного риска ${\mathbb E} \sup_{t\in[0,1]}\bigl|f_{n,h}^*(t)-f(t)\bigr|^2$. Замечание 7. Условие $(\mathrm A_5)$, гарантирующее равномерную состоятельность локально-линейных оценок $f_{n,h}^*(t)$, влечет за собой выполнение условия $(\mathrm A_4)$ для поточечной состоятельности этих оценок, что является весьма ожидаемым и c учетом приводимого далее замечания 8 следует из очевидного соотношения
$$
\begin{equation*}
\Delta_{n,h}=\sup_{t\in [0,1]}\frac{ \sup_{|s|\leqslant h}\#^7(N_{n,h}(t+s))}{\#^4(N_{n,\delta h}(t))\widetilde N^4_{n,h,\delta}(t)}\geqslant \#(N_{n,h}(t)) \Lambda_{n,h}^2(t),
\end{equation*}
\notag
$$
справедливого для любого $t$. Замечание 8. Отметим, что требование $\#(N_{n,h}(t))\neq 0$ при всех фиксированных $t\in [0,1]$ и $h\in (0,1)$ в условиях $(\mathrm A_4)$ и $(\mathrm A_5)$ в силу аддитивности меры $\#(\cdot)$ может быть переписано в эквивалентной форме следующим образом: при всех фиксированных $t\in [0,1]$ и $h\in (0,1)$
$$
\begin{equation}
\#(N_{n,h}(t))\stackrel{p}{\to} \infty.
\end{equation}
\tag{2.7}
$$
В [8] и [9] предложены новые оценки ядерного типа для регрессионной функции $f$, являющиеся равномерно состоятельными лишь при выполнении единственного условия (2.7). Условие (2.7) означает, что элементы дизайна с высокой вероятностью образуют измельчающееся разбиение отрезка $[0,1]$ – области определения регрессионной функции $f$. Другими словами, элементы дизайна в некотором смысле “плотно” заполняют область определения $f$. В отличие от известных ранее результатов ядерные оценки из [8] и [9] универсальны в смысле их нечувствительности к стохастической природе дизайна, который может быть как фиксированным и не обязательно регулярным, так и случайным, и при этом не обязательно состоящим из независимых или слабо зависимых случайных величин. Отметим, что все известные в литературе типы корреляции элементов дизайна влекут за собой вышеупомянутое условие (2.7) и выполнение подобного условия в ситуации случайного дизайна в работах предшественников достигается, как правило, за счет тех или иных форм слабой зависимости случайных величин. Сравнивая условие (2.7) и предположения $(\mathrm A_4)$ и $(\mathrm A_5)$ отметим, что условия $(\mathrm A_4)$ и $(\mathrm A_5)$ по сути требуют более равномерное плотное заполнение точками дизайна области определения регрессионной функции, нежели в условии (2.7). Приведем соответствующий пример. Пример 3. Как и в примере 1, считаем, что последовательность случайных величин $\{z_i;\,i\geqslant 1\}$ определяется соотношением (2.4), где $\{U_{1i}\}$ и $\{U_{2i}\}$ независимы и равномерно распределены на $[0,1/2]$ и $[1/2,1]$ соответственно, последовательность $\{\nu_i\}$ не зависит от $\{U_{1i}\}$, $\{U_{2i}\}$ и состоит из бернуллиевских случайных величин с вероятностью успеха $1/2$, а зависимость между случайными величинами $\nu_i$ для любого натурального $i$ зададим теперь равенствами $\nu_{[e^k]}=\nu_1$ при $k\geqslant 1$ и $\nu_{i}=1-\nu_1$ при всех $i\neq [e^k]$, $k\geqslant 1$. Иначе говоря, сначала мы разыгрываем, на какой из двух отрезков бросаем наудачу первую точку, и далее чередуем количество бросаний таким образом, что с вероятностями $1/2$ на один из отрезков попадает $\log n$ точек, а на другой – остальные (т.е. порядка $n$). В этом случае нестационарная последовательность $\{ z_i\}$ не удовлетворяет усиленному закону больших чисел, так как нормированная сумма элементов $\{ z_i\}$ почти наверное сходится к некоторой случайной величине, имеющей двухточечное распределение ($1/4$ и $3/4$ с равными вероятностями). Понятно, что условие (2.7) в данном примере выполнено. Покажем, что для рассматриваемой последовательности сильно зависимых случайных величин не выполнено условие $(\mathrm A_4)$. Действительно, на почти всех элементарных исходах из множества $\{\nu_1=1\}$ мы имеем
$$
\begin{equation*}
\begin{gathered} \, \#\biggl(N_{n,h}\biggl(\frac12-\delta h\biggr)\biggr)\sim hn, \qquad \#\biggl(N_{n,\delta h}\biggl(\frac12-\delta h\biggr)\biggr)\sim h\log n, \\ \widetilde N^4_{n,h,\delta}\biggl(\frac12-\delta h\biggr)\sim h\log n. \end{gathered}
\end{equation*}
\notag
$$
Таким образом, на множестве указанных элементарных исходов, имеющем вероятность $1/2$,
$$
\begin{equation*}
\Lambda_{n,h}\biggl(\frac12-\delta h\biggr) =\frac{\#^3(N_{n,h}(1/2-\delta h))}{\#^2(N_{n,\delta h} (1/2-\delta h))\widetilde N^2_{n,h,\delta}(1/2-\delta h)}\sim\frac{n^3}{h\log^4 n}\to \infty,
\end{equation*}
\notag
$$
так что при $t=1/2-\delta h$ предельное соотношение $(\mathrm A_4)$ не выполнено.
3. Доказательства Всюду в этом пункте считаем, что выполнены условия $(\mathrm A_1)$–$(\mathrm A_3)$. Для оценки $f_{n,h}^*(t)$, определенной в (2.2), мы будем использовать следующее представление:
$$
\begin{equation}
f_{n,h}^*(t)=\sum_{i=1}^nw_{i}(t)X_i \biggl(\sum_{i=1}^nw_{i}(t)\biggr)^{-1},
\end{equation}
\tag{3.1}
$$
где
$$
\begin{equation}
w_i(t)=K_h(t-z_i)\bigl(S_{n,2}(t)-(t-z_i)S_{n,1}(t)\bigr).
\end{equation}
\tag{3.2}
$$
Учитывая соотношения (3.1) и (2.1), получаем тождество
$$
\begin{equation}
f_{n,h}^*(t)=f(t)+\eta_{n,h}(t)+\nu_{n,h}(t),
\end{equation}
\tag{3.3}
$$
где
$$
\begin{equation}
\eta_{n,h}(t) =\frac{\sum_{i=1}^n (f(z_{i})-f(t)r)w_i(t)}{\sum_{i=1}^nw_i(t)}, \qquad \nu_{n,h}(t)=\frac{\sum_{i=1}^nw_{i}(t)\varepsilon_{i}} {\sum_{i=1}^nw_i(t)}.
\end{equation}
\tag{3.4}
$$
Замечание 9. Подчеркнем, что ввиду свойств плотности $K_h(\cdot)$ область суммирования во всех суммах в (2.3) и (3.4), а также во всех приводимых далее формулах, когда при суммировании функция $K_h(\cdot)$ участвует в качестве множителя, совпадает с множеством $N_{n,h}(t)$. Указанный факт является принципиальным для дальнейшего анализа. Лемма 1. Имеет место следующая оценка:
$$
\begin{equation*}
\sup_{t\in [0,1]}|\eta_{n,h}(t)|\leqslant\omega_f(h).
\end{equation*}
\notag
$$
Доказательство. Утверждение леммы следует из определения (3.4) и замечания 9. Лемма 2. Для любого $t\in [0,1]$ c вероятностью $1$ имеет место неравенство
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}\nu^2_{n,h}(t)\leqslant 64\sigma^2L^4(l\delta)^{-4}\Lambda_{n,h}(t),
\end{equation*}
\notag
$$
где величина $\Lambda_{n,h}(t)$ определена в условии $(\mathrm A_4)$. Доказательство. С вероятностью $1$ имеет место соотношение
$$
\begin{equation}
{\mathbb E}_{\mathcal F_n}\nu^2_{n,h}(t)\leqslant\frac{\sigma^2\sum_{i\in N_{n,h}(t)}w_i^2(t)}{w^2(t)}, \qquad \text{где}\quad w(t)=\sum_{i\in N_{n,h}(t)}w_i(t).
\end{equation}
\tag{3.5}
$$
Заметим прежде всего, что с учетом определений (3.2), (2.3) и замечания 9, для любого $t\in [0,1]$ выполнено
$$
\begin{equation}
\max_{i\in N_{n,h}(t)}|w_i(t)|\leqslant 2L^2 \#(N_{n,h}(t)), \qquad \sum_{i\in N_{n,h}(t)}w_i^2(t) \leqslant 4L^4 \#^3(N_{n,h}(t)).
\end{equation}
\tag{3.6}
$$
Нам остается оценить снизу величину $w(t)$. Из определений (3.2) и (2.3) имеем
$$
\begin{equation}
\begin{aligned} \, w(t) &=S_{n,0}^2(t)\biggl(\frac{S_{n,2}(t)}{S_{n,0}(t)} -\frac{S_{n,1}^2(t)}{S_{n,0}^2(t)}\biggr) \nonumber \\ &=S_{n,0}(t)h^2\sum_{i\in N_{n,h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2K_h(z_i-t) \nonumber \\ &\geqslant S_{n,0}(t)h^2\sum_{i\in N_{n,\delta h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2K_h(z_i-t) \nonumber \\ &\geqslant 4^{-1}l^2\delta^2 \#(N_{n,\delta h}(t)) \min\biggl\{\#(N_{n,\delta h/2}(t)),\,\#\biggl(N_{n,\delta h/4} \biggl(t-\frac{3\delta h}4\biggr)\biggr), \nonumber \\ &\phantom{\geqslant 4^{-1}l^2\delta^2 \#(N_{n,\delta h}(t)) \min\biggl\{}\qquad \#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}4\biggr)\biggr)\biggr\}. \end{aligned}
\end{equation}
\tag{3.7}
$$
При выводе этого соотношения мы учли, что для любого $t\in[0,1]$ и всех $i\in N_{n,\delta h}(t)$ выполнено $K_h(z_i-t)\geqslant h^{-1}l$, а потому
$$
\begin{equation*}
S_{n,0}(t)\geqslant \sum_{i\in N_{n,\delta h}(t)}K_h(z_i-t)\geqslant h^{-1}l\#(N_{n,\delta h}(t)).
\end{equation*}
\notag
$$
Кроме того, мы учли, что при всех $t\in[0,1]$ справедливы соотношения
$$
\begin{equation*}
S(t)=\frac{S_{n,1}(t)}{hS_{n,0}(t)}\in [-1,1], \qquad \frac{z_i-t}{h}\in[-\delta,\delta] \quad \text{при}\ \ i\in N_{n,\delta h}(t).
\end{equation*}
\notag
$$
Следовательно, если $|S(t)|\geqslant \delta$, то
$$
\begin{equation*}
\begin{aligned} \, \widetilde S &=\sum_{i\in N_{n,\delta h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2 \\ &\geqslant \sum_{i\in N_{n,\delta h/2}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#(N_{n,\delta h/2}(t)). \end{aligned}
\end{equation*}
\notag
$$
Если же $0\leqslant S(t)<\delta$, то
$$
\begin{equation*}
\widetilde S \geqslant \sum_{i\in N_{n,\delta h/4}(t-3\delta h/4)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#\biggl(N_{n,\delta h/4}\biggl(t-\frac{3\delta h}4\biggr)\biggr).
\end{equation*}
\notag
$$
Аналогично, если $-\delta \leqslant S(t)< 0 $, то
$$
\begin{equation*}
\widetilde S \geqslant \sum_{i\in N_{n,\delta h/4}(t+3\delta h/4)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}4\biggr)\biggr).
\end{equation*}
\notag
$$
Приведенные соотношения доказывают (3.7). Утверждение леммы следует теперь из оценок (3.5), (3.6), (3.7) и обозначений в условии $(\mathrm A_4)$. Доказательство теоремы 1. Это утверждение следует из равенства
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}(f_{n,h}^*(t)-f(t))^2=\eta_{n,h}^2(t)+{\mathbb E}_{\mathcal F_n}\nu^2_{n,h}(t) \quad\text{п.н.},
\end{equation*}
\notag
$$
при выводе которого мы учли тождество (3.3) и утверждения лемм 1 и 2. Доказательство следствия 1. Положим
$$
\begin{equation*}
\zeta_n=f_{n,h}^*( t)-f(t), \qquad \eta_n=\omega_f(h)+8\sigma L^2(l\delta)^{-2}\Lambda^{1/2}_{n,h}(t)
\end{equation*}
\notag
$$
и заметим, что в силу теоремы 1 имеет место оценка ${\mathbb E}_{\mathcal F_n}\zeta_n^2\leqslant\eta_n^2$. Следовательно, справедлива цепочка соотношений
$$
\begin{equation*}
{\mathbb P}\biggl(\frac{|\zeta_n|}{\eta_n}>M\biggr)={\mathbb E}{\mathbb P}_{\mathcal F_n}\biggl(\frac{|\zeta_n|}{\eta_n}>M\biggr)\leqslant {\mathbb E}\frac{{\mathbb E}_{\mathcal F_n}\zeta_n^2}{M^2\eta_n^2}\leqslant \frac{1}{M^2},
\end{equation*}
\notag
$$
которая и доказывает утверждение следствия. Доказательство следствия 2. Отметим, что при выполнении условия $(\mathrm A_4)$ для любого $ t$ существует последовательность $h(t)= h_n(t)\to 0$, для которой выполнено предельное соотношение условия $(\mathrm A_4)$. Далее, диагональным методом можно выбрать универсальную последовательность $h_n\to 0$, удовлетворяющую предельному соотношению условия $(\mathrm A_4)$ для всех рациональных точек $ t\in [0,1]$. Наконец, в силу следствия 1 и непрерывности функций $f_{n,h}^*(t)$ и $f(t)$ эта последовательность $h_n$ гарантирует поточечную состоятельность $f_{n,h}^*(t)$ при всех $t\in [0,1]$. Для вывода теоремы 2 нам потребуется следующее ключевое утверждение. Лемма 3. В условиях теоремы 2 для любых $y>0$ и $h\in (0,1)$ выполнено
$$
\begin{equation*}
{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant {2^9}\cdot 23(1-2^{-1/3})^{-3} y^{-2}\sigma^2 L^8(l\delta)^{-8} \Delta_{n,h}h^{-1},
\end{equation*}
\notag
$$
где величина $\Delta_{n,h}$ определена в условии $(\mathrm A_5)$. Доказательство. Хвост распределения величины $\sup_{t\in [0,1]}|\nu_{n,h}(t)|$ оценим с помощью метода диадических цепочек (см. [49]). Прежде всего заметим, что интервал $[0,1]$ под знаком вышеупомянутого супремума может быть заменен на множество двоично-рациональных точек $\mathcal R=\{j/2^k;\, j=1,\dots, 2^k-1; k\geqslant 1\}$. Таким образом,
$$
\begin{equation*}
\begin{aligned} \, &\sup_{t\in [0,1]}|\nu_{n,h}(t)| =\sup_{t\in \mathcal R }|\nu_{n,h}(t)| \\ &\qquad\leqslant \max_{j = 1,\dots ,2^m - 1}|\nu_{n,h}(j 2^{-m})| + \sum_{k=m+1}^\infty \max_{j=1,\dots ,2^k-2} \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr|, \end{aligned}
\end{equation*}
\notag
$$
где некоторое натуральное $m$ будет выбрано ниже. Следовательно,
$$
\begin{equation}
\begin{aligned} \, &{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant{\mathbb P}_{\mathcal F_n}\Bigl(\max_{j = 1,\dots ,2^m - 1}|\nu_{n,h}(j 2^{-m})|>a_m y\Bigr) \notag \\ &\qquad\qquad +\sum_{k=m+1}^\infty {\mathbb P}_{\mathcal F_n}\Bigl(\max_{j=1,\dots ,2^k-2}\bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr| >a_k y\Bigr) \nonumber \\ &\qquad \leqslant\sum_{j =1}^{2^m - 1} {\mathbb P}_{\mathcal F_n}(|\nu_{n,h}(j 2^{-m})| >a_m y) \nonumber \\ &\qquad\qquad +\sum_{k=m+1}^\infty \,\sum_{j=1}^{2^k-2}{\mathbb P}_{\mathcal F_n}\bigl( \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr|>a_k y\bigr), \end{aligned}
\end{equation}
\tag{3.8}
$$
где последовательность $a_m,a_{m+1},\dots $ положительных чисел такова, что $\sum_{i\geqslant m}a_i=1$.
С помощью неравенства Маркова со вторым моментом и леммы 2, получаем оценку
$$
\begin{equation}
{\mathbb P}_{\mathcal F_n}(|\nu_{n,h}(j 2^{-m})|>a_m y)\leqslant 64\sigma^2 L^4(l^{2}\delta^{2} a_m y)^{-2}\Lambda_{n,h}(j2^{-m})\quad \text{п.н.}
\end{equation}
\tag{3.9}
$$
Положим $m = \lceil|\log_2 h|\rceil$, где $\lceil a \rceil$ есть наименьшее натуральное число, большее или равное $a$. Тогда
$$
\begin{equation}
{\mathbb P}_{\mathcal F_n}\bigl( \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr| >a_k y\bigr) \leqslant \sigma^2(a_k y)^{-2}G^{(n)}_{j,k,h},
\end{equation}
\tag{3.10}
$$
где
$$
\begin{equation}
G^{(n)}_{j,k,h}= \sum_{i=1}^n \biggl(\frac{w_i((j+1) 2^{-k})}{w((j+1) 2^{-k})}-\frac{w_i(j 2^{-k})}{w(j2^{-k})}\biggr)^2,
\end{equation}
\tag{3.11}
$$
а величина $w(t)$ определена в (3.5). Оценим величину $G^{(n)}_{j,k,h}$. Для любых $u,v\in [0,1]$ c условием $|u-v|\leqslant h$ и всех $i\in N_{n,h}(u)\cup N_{n,h}(v)$ выполнено
$$
\begin{equation*}
| w^{-1}(u)w_i(u)-w^{-1}(v)w_i(v)|\leqslant \Psi_n(K,u,v)h^{-1}|u-v|,
\end{equation*}
\notag
$$
где
$$
\begin{equation*}
\begin{aligned} \, \Psi_n(K,u,v) &=\max_{i\in N_{n,h}(u)\cup N_{n,h}(v)}\sup_{u\leqslant t\leqslant v}\biggl\{\frac{|w'_i(t)|w(t)+|w_i(t)|\sum_{j\in N_{n,h}(t)}|w'_j(t)|} {w^2(t)}\biggr\} \\ &\leqslant \frac{184L^4}{l^4\delta^4h}\sup_{u\leqslant t\leqslant v}\frac{\#^3(N_{n,h}(t))}{\#^2(N_{n,\delta h}(t))\widetilde N^2_{n,h,\delta}(t)}. \end{aligned}
\end{equation*}
\notag
$$
При выводе последней оценки мы использовали (3.6), (3.7) и следующие соотношения:
$$
\begin{equation*}
\begin{gathered} \, |w_j'(t)|\leqslant 8L^2h^{-1}\#(N_{n,h}(t)) \qquad \text{при} \quad j\in N_{n,h}(t), \\ K_h(t-z_i)\leqslant h^{-1}L, \qquad |t-z_i|\leqslant 2h, \\ |w_i(t)|\leqslant 3L^2 \#(N_{n,h}(t)), \qquad |w_i'(t)|\leqslant 11L^2h^{-1} \#(N_{n,h}(t)) \end{gathered}
\end{equation*}
\notag
$$
при $i\in N_{n,h}(u)\cup N_{n,h}(v)$, $|u-v|\leqslant h$ и $u\leqslant t\leqslant v$. Принимая во внимание, во-первых, что $|u-v|\leqslant h$ при $u=(j+1) 2^{-k}$, $v=j2^{-k}$ и $k>m$, и во-вторых, что множество индексов суммирования в первом неравенстве соотношения (3.11) совпадает с множеством $N_{n,h}((j+1)2^{-k})\cup N_{n,h}(j2^{-k})$, заключаем, что
$$
\begin{equation}
G^{(n)}_{j,k,h}\leqslant 2\cdot184^22^{-2k}L^8(l\delta)^{-8} \Delta_{n,h}h^{-2}.
\end{equation}
\tag{3.12}
$$
Теперь из (3.8)–(3.12) нетрудно получить, что
$$
\begin{equation*}
{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant 2^{8}\cdot 23\,y^{-2} \sigma^2 L^8(l\delta)^{-8} \Delta_{n,h}\biggl( 2^m a_m^{-2} +h^{-2} \sum_{k=m+1}^\infty 2^{-k+1} a_k^{-2} \biggr).
\end{equation*}
\notag
$$
Оптимальная последовательность $a_k$, минимизирующая правую часть этого неравенства, есть $a_m=c 2^{m/3}$ и $a_k=c h^{-2/3} 2^{(-k+1)/3}$ при $k=m+1,m+2,\dots $, где
$$
\begin{equation*}
c^{-1}=2^{m/3}+h^{-2/3}\sum_{k>m}2^{(-k+1)/3} =2^{m/3}+h^{-2/3}\frac{2^{-m/3}}{1-2^{-1/3}}.
\end{equation*}
\notag
$$
Для указанной последовательности получаем, что
$$
\begin{equation}
2^m a_m^{-2}+h^{-2} \sum_{k=m+1}^\infty 2^{-k+1} a_k^{-2}=\biggl(2^{m/3}+h^{-2/3}\frac{2^{-m/3}}{1-2^{-1/3}}\biggr)^3.
\end{equation}
\tag{3.13}
$$
Учтем, что $m = \lceil|\log_2 h|\rceil$. Соотношение (3.13) и неравенство
$$
\begin{equation*}
|\log_2 h|\leqslant\lceil|\log_2 h|\rceil\leqslant |\log_2 h|+1
\end{equation*}
\notag
$$
влекут за собой оценку
$$
\begin{equation*}
{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant {2^9}\cdot 23(1-2^{-1/3})^{-3} y^{-2}\sigma^2 L^8(l\delta)^{-8}\Delta_{n,h}h^{-1}.
\end{equation*}
\notag
$$
Таким образом, лемма 3 доказана. Доказательство теоремы 2. Положим
$$
\begin{equation*}
\zeta_n(h)=\sup_{t\in [0,1]}|\nu_{n,h}(t)|, \qquad \eta_n=\sigma L^4(l\delta)^{-4}\sqrt{\Delta_{n,h}h^{-1}}
\end{equation*}
\notag
$$
и заметим, что по лемме 3 выполнено $\zeta_n(h)=O_p(\eta_n)$, поскольку
$$
\begin{equation*}
{\mathbb P}\biggl(\frac{\zeta_n(h)}{\eta_n}>M\biggr)={\mathbb E}{\mathbb P}_{\mathcal F_n}\biggl(\frac{\zeta_n(h)}{\eta_n}>M\biggr)\leqslant {2^9}\cdot 23(1-2^{-1/3})^{-3} M^{-2}.
\end{equation*}
\notag
$$
Утверждение теоремы следует теперь из представления (3.3) и леммы 1. Автор благодарит рецензента за внимательное прочтение рукописи, комментарии и замечания.
|
|
|
СПИСОК ЦИТИРОВАННОЙ ЛИТЕРАТУРЫ
|
|
|
1. |
J. Fan, I. Gijbels, Local Polynomial Modelling and Its Applications, Monographs on Stat. Appl. Prob., 66, Chapman & Hall, London, 1996 |
2. |
W. Hardle, M. Muller, S. Sperlich, A. Werwatz, Nonparametric and Semiparametric Models, Springer Ser. in Statistics, Springer-Verlag, Berlin, 2004 |
3. |
J. Fan, Q. Yao, Nonlinear Time Series. Nonparametric and Parametric Methods, Springer Ser. in Statistics, Springer-Verlag, New York, 2003 |
4. |
L. Györfi, M. Kohler, A. Krzyzak, H. Walk, A Distribution-Free Theory of Nonparametric Regression, Springer Ser. in Statistics, Springer-Verlag, New York, 2002 |
5. |
W. Härdle, Applied Nonparametric Regression, Econometric Soc. Monog., 19, Cambridge Univ. Press, Cambridge, 1990 |
6. |
C. Loader, Local Regression and Likelihood, Statistics and Computing, Springer-Verlag, New York, 1999 |
7. |
H.-G. Müller, Nonparametric Regression Analysis of Longitudinal Data, Lecture Notes in Stat., 46, Springer-Verlag, New York, 1988 |
8. |
I. S. Borisov, Yu. Yu. Linke, P. S. Ruzankin, “Universal weighted kernel-type estimators for some class of regression models”, Metrika, 84:2 (2021), 141–166 |
9. |
Y. Linke, I. Borisov, P. Ruzankin, V. Kutsenko, E. Yarovaya, S. Shalnova, “Universal local linear kernel estimators in nonparametric regression”, Mathematics, 10:15 (2022), 2693 |
10. |
Yu. Yu. Linke, I. S. Borisov, “Insensitivity of Nadaraya–Watson estimators to design correlation”, Comm. Statist. Theory Methods, 51:19 (2022), 6909–6918 |
11. |
Ю. Ю. Линке, “К вопросу о нечувствительности оценок Надарая–Ватсона относительно корреляции элементов дизайна”, Теория вероятн. и ее примен., 68:2 (2023), 236–252 |
12. |
J. Beran, Y. Feng, “Local polynomial estimation with a FARIMA-GARCH error process”, Bernoulli, 7:5 (2001), 733–550 |
13. |
D. Benelmadani, K. Benhenni, S. Louhichi, “Trapezoidal rule and sampling designs for the nonparametric estimation of the regression function in models with correlated errors”, Statistics, 54:1 (2020), 59–96 |
14. |
X. Tang, M. Xi, Y. Wu, X. Wang, “Asymptotic normality of a wavelet estimator for asymptotically negatively associated errors”, Statist. Probab. Lett., 140 (2018), 191–201 |
15. |
W. Gu, G. G. Roussas, L. T. Tran, “On the convergence rate of fixed design regression estimators for negatively associated random variables”, Statist. Probab. Lett., 77:12 (2007), 1214–1224 |
16. |
J. S. Wu, C. K. Chu, “Nonparametric estimation of a regression function with dependent observations”, Stochastic Process. Appl., 50:1 (1994), 149–160 |
17. |
K. Benhenni, S. Hedli-Griche, M. Rachdi, “Estimation of the regression operator from functional fixed-design with correlated errors”, J. Multivariate Anal., 101:2 (2010), 476–490 |
18. |
D. A. Ioannides, “Consistent nonparametric regression: some generalizations in the fixed design case”, J. Nonparametr. Statist., 2:3 (1993), 203–213 |
19. |
A. A. Georgiev, “Asymptotic properties of the multivariate Nadaraya–Watson regression function estimate: the fixed design case”, Statist. Probab. Lett., 7:1 (1989), 35–40 |
20. |
W. Hardle, S. Luckhaus, “Uniform consistency of a class of regression function estimators”, Ann. Statist., 12:2 (2012), 612–623 |
21. |
L. P. Devroye, “The uniform convergence of the Nadaraya–Watson regression function estimate”, Canad. J. Statist., 6:2 (1979), 179–191 |
22. |
Э. А. Надарая, “Замечания о непараметрических оценках плотности вероятности и кривой регрессии”, Теория вероятн. и ее примен., 15:1 (1970), 139–142 |
23. |
H. Liero, “Strong uniform consistency of nonparametric regression function estimates”, Probab. Theory Related Fields, 82:4 (1989), 587–614 |
24. |
Y. P. Mack, B. W. Silvermann, “Weak and strong uniform consistency of kernel regressionestimates”, Z. Wahrsch. Verw. Gebiete, 61:3 (1982), 405–415 |
25. |
U. Einmahl, D. M. Mason, “Uniform in bandwidth consistency of kernel-type function estimators”, Ann. Statist., 33:3 (2005), 1380–1403 |
26. |
T. Gasser, J. Engel, “The choice of weights in kernel regression estimation”, Biometrica, 77:2 (1990), 377–381 |
27. |
C. K. Chu, W.-S. Deng, “An interpolation method for adapting to sparse design in multivariate nonparametric regression”, J. Statist. Plann. Inference, 116:1 (2003), 91–111 |
28. |
Q. Li, X. Lu, A. Ullah, “Multivariate local polynomial regression for estimating average derivatives”, J. Nonparametr. Stat., 15:4–5 (2003), 607–624 |
29. |
J. Gu, Q. Li, J.-C. Yang, “Multivariate local polynomial kernel estimators: leading bias and asymptotic distribution”, Econometric Rev., 34:6–10 (2015), 978–1009 |
30. |
O. B. Linton, D. T. Jacho-Chavez, “On internally corrected and symmetrized kernel estimators for nonparametric regression”, TEST, 19:1 (2010), 166–186 |
31. |
R. Kulik, P. Lorek, “Some results on random design regression with long memory errors and predictors”, J. Statist. Plann. Inference, 141:1 (2011), 508–523 |
32. |
J. Shen, Y. Xie, “Strong consistency of the internal estimator of nonparametric regression with dependent data”, Statist. Probab. Lett., 83:8 (2013), 1915–1925 |
33. |
E. Masry, “Multivariate local polynomial regression for time series: uniform strong consistency and rates”, J. Time Ser. Anal., 17:6 (1996), 571–599 |
34. |
X. Li, W. Yang, S. Hu, “Uniform convergence of estimator for nonparametric regression with dependent data”, J. Inequal. Appl., 2016, 142 |
35. |
S. J. Hong, O. B. Linton, “Asymptotic properties of a Nadaraya–Watson type estimator for regression functions of infinite order”, SSRN Electronic Journal, 2016 |
36. |
G. G. Roussas, “Nonparametric regression estimation under mixing conditions”, Stochastic Process. Appl, 36:1 (1990), 107–116 |
37. |
E. Masry, “Nonparametric regression estimation for dependent functional data: asymptotic normality”, Stochastic Process. Appl., 115:1 (2005), 155–177 |
38. |
J. Jiang, Y. P. Mack, “Robust local polynomial regression for dependent data”, Statist. Sinica, 11:3 (2001), 705–722 |
39. |
E. Masry, “Local linear regression estimation under long-range dependence: strong consistency and rates”, IEEE Trans. Inform. Theory, 47:7 (2001), 2863–2875 |
40. |
Н. В. Миллионщиков, “Асимптотическая нормальность оценок регрессии для слабозависимых случайных полей”, Вестн. Моск. ун-та. Сер. 1. Матем., мех., 2005, № 2, 3–8 |
41. |
B. E. Hansen, “Uniform convergence rates for kernel estimation with dependent data”, Econometric Theory, 24:3 (2008), 726–748 |
42. |
J. Gao, S. Kanaya, D. Li, D. Tjostheim, “Uniform consistency for nonparametric estimators in null recurrent time series”, Econometric Theory, 31:5 (2015), 911–952 |
43. |
Q. Wang, N. Chan, “Uniform convergence rates for a class of martingales with application in non-linear cointegrating regression cointegrating regression”, Bernoulli, 20:1 (2014), 207–230 |
44. |
N. Chan N, Q. Wang, “Uniform convergence for nonparametric estimators with nonstationary data”, Econometric Theory, 30:5 (2014), 1110–1133 |
45. |
O. Linton, Q. Wang, “Nonparametric transformation regression with nonstationary data”, Econometric Theory, 32:1 (2016), 1–29 |
46. |
Q. Wang, P. C. B. Phillips, “Structural nonparametric cointegrating regression”, Econometrica, 77:6 (2009), 1901–1948 |
47. |
H. A. Karlsen, T. Myklebust, D. Tjostheim, “Nonparametric estimation in a nonlinear cointegration type model”, Ann. Statist., 35:1 (2007), 252–299 |
48. |
J. Chen, J. Gao, D. Li, “Estimation in semi-parametric regression with non-stationary regressors”, Bernoulli, 18:2 (2012), 678–702 |
49. |
N. N. Chentsov, “Weak convergence of stochastic processes whose trajectories have no discontinuities of the second kind and the heuristic approach to the Kolmogorov–Smirnov tests”, Theory Probab. Appl., 1 (1956), 140–144 |
50. |
Yu. Yu. Linke, “Asymptotic properties of one-step $M$-estimators”, Comm. Statist. Theory Methods, 48:16 (2019), 4096–4118 |
51. |
Ю. Ю. Линке, И. С. Борисов, “О построении явных оценок в задачах нелинейной регрессии”, Теория вероятн. и ее примен., 63:1 (2018), 29–56 |
52. |
Yu. Yu. Linke, I. S. Borisov, “Constructing initial estimators in one-step estimation procedures of nonlinear regression”, Statist. Probab. Lett., 120 (2017), 87–94 |
53. |
F. Yao, “Asymptotic distributions of nonparametric regression estimators for longitudinal or functional data”, J. Multivariate Anal., 98:1 (2007), 40–56 |
54. |
L. R. Cheruiyot, “Local linear regression estimator on the boundary correction in nonparametric regression estimation”, J. Stat. Theory Appl., 19:3 (2020), 460–471 |
55. |
Ю. Ю. Линке, И. С. Борисов, “Универсальные непараметрические ядерные оценки для функций среднего и ковариации случайного процесса”, Теория вероятн. и ее примен., 29–56 (в печати) |
56. |
P. Qiu, Image Processing and Jump Regression Analysis, Wiley Ser. Probab. and Stat., Wiley, Hoboken, NJ, 2005 |
57. |
E. Rio, “Moment inequalities for sums of dependent random variables under projective conditions”, J. Theoret. Probab., 22:1 (2009), 146–163 |
Образец цитирования:
Ю. Ю. Линке, “О достаточных условиях состоятельности локально-линейных ядерных оценок”, Матем. заметки, 114:3 (2023), 353–369; Math. Notes, 114:3 (2023), 308–321
Образцы ссылок на эту страницу:
https://www.mathnet.ru/rus/mzm13906https://doi.org/10.4213/mzm13906 https://www.mathnet.ru/rus/mzm/v114/i3/p353
|
Статистика просмотров: |
Страница аннотации: | 109 | PDF полного текста: | 10 | HTML русской версии: | 59 | Список литературы: | 12 | Первая страница: | 5 |
|