| Математические заметки |
|
|
|
|
|
Эта публикация цитируется в 1 научной статье (всего в 1 статье) О достаточных условиях состоятельности локально-линейных ядерных оценок Ю. Ю. Линке Институт математики им. С. Л. Соболева Сибирского отделения Российской академии наук, г. Новосибирск
Англоязычная версия:
Mathematical Notes, 2023, Volume 114, Issue 3, Pages DOI: https://doi.org/10.1134/S0001434623090043 
Реферативные базы данных:
  1. ВведениеРассматривается следующая модель непараметрической регрессии: даны наблюдения $X_1,\dots, X_n$, которые представимы в виде где $f(t)$ – неизвестная скалярная непрерывная функция; ненаблюдаемые погрешности $\{\varepsilon_i\}$ представляют собой последовательность центрированных случайных величин, не обязательно независимых или одинаково распределенных; элементы $\{z_i\}$ (так называемые регрессоры или элементы дизайна) нам известны и могут быть как случайными, так и детерминированными. Задача состоит в том, чтобы восстановить (оценить) регрессионную функцию $f$, когда мы наблюдаем лишь зашумленные ее значения $\{X_i,\, i=1,\dots,n\}$ в некотором известном наборе точек $\{z_i,\, i=1,\dots,n\}$.Наиболее популярные процедуры оценивания в непараметрической регрессии связаны, по-видимому, с методами ядерного сглаживания, к которым относятся такие известные оценки, как Надарая–Ватсона, Пристли–Чжао, Гассера–Мюллера, локально-полиномиальные оценки и др. (см., например, монографии [1]–[7]). Нас в методах ядерного сглаживания в непараметрической регрессии интересуют прежде всего условия на элементы дизайна, которые обеспечивают, например, равномерную состоятельность оценок ядерного типа, поэтому подробнее остановимся на основных ограничениях на структуру дизайна, используемых в литературе. Как правило, ситуации детерминированного или случайного дизайна принято рассматривать отдельно.1 Отчасти подобное деление связано, по-видимому, с различными подходами к исследованию оценок в зависимости от стохастической природы дизайна. В качестве исключений можно отметить работы [8]–[11], в которых оба случая рассматриваются одновременно. В случае детерминированного дизайна предполагаются, как правило, те или иные условия регулярности (см., например, [12]–[20], а также монографии, приведенные выше). Так, в скалярном случае неслучайные точки $z_i$ часто задаются формулой $z_i=g(i/n)+o(1/n)$ с некоторой функцией $g$ ограниченной вариации, где погрешность $o(1/n)$ равномерна по всем $i=1,\dots,n$. Весьма популярный частный случай подобного условия состоит в равномерном заполнении элементами дизайна области задания регрессионной функции (так называемый эквидистантный дизайн или план). Другой вариант условия регулярности – соотношение $\max_{i\leqslant n}(z_i-z_{i-1})=O(1/n)$, в котором предполагается, что элементы дизайна упорядочены по возрастанию. В работах, имеющих дело со случайным дизайном, часто рассматриваются независимые одинаково распределенные величины (см., например, приведенные выше монографии, а также работы [20]–[30]). Стоит отметить, что за несколько последних десятилетий в стохастике было предложено множество форм зависимости случайных величин и доказаны разнообразные вероятностные неравенства и предельные теоремы для последовательностей с такими свойствами. Данные обстоятельства в полной мере отразились и на задачах непараметрической регрессии, в которых все чаще рассматриваются величины (как правило, стационарно связанные), удовлетворяющие тем или иным известным формам зависимости. В частности, используются различные варианты условий перемешивания, схемы скользящих средних, ассоциированных случайных величин, марковские или мартингальные свойства и др. (см., например, [1], [31]–[41]). В недавних публикациях [42]–[48] рассматриваются нестационарные последовательности с теми или иными специальными формами зависимости (марковские цепи, авторегрессия, частичные суммы скользящих средних и др.). Равномерную состоятельность ядерных оценок в непараметрической регрессии изучали многие авторы (см., например, [15], [20]–[25], [32]–[34], [41]–[44] и ссылки там же). Цель данной статьи – ослабить известные ограничения на элементы дизайна, гарантирующие состоятельность классических локально-линейных оценок в непараметрической регрессии и установить, что эти оценки могут быть состоятельными не только в вышеуказанных в обзоре случаях зависимости, но и для существенно иной корреляции наблюдений, когда не выполняются условия эргодичности или стационарности, а также классические условия перемешивания и другие известные условия зависимости. Наши условия универсальны относительно характера дизайна, который может быть как фиксированным регулярным, так и случайным, при этом не обязательно состоящим из независимых или слабо зависимых случайных величин. Условия на элементы дизайна мы сформулируем в терминах асимптотического поведения числа элементов дизайна, попавших в ту или иную окрестность точек из области задания регрессионной функции. Ранее близкие условия были получены в [10] и [11] для оценок Надарая–Ватсона. Данное исследование, как и работы [10] и [11], тесно связано также с недавними публикациями [8] и [9], в которых построены новые классы оценок ядерного типа и реализована следующая идея: для того, чтобы восстановить регрессионную функцию, достаточно знать зашумленные значения этой функции на некотором множестве точек, в том или ином смысле плотно заполняющем область определения этой функции. Такое требование по сути является необходимым, поскольку лишь при плотном заполнении дизайном области определения регрессионной функции возможно ее восстановить с той или иной точностью. В [8] и [9] доказана равномерная состоятельность новых ядерных оценок лишь при указанном минимальном ограничении во многом благодаря специальной структуре оценок, содержащей конструкции сумм взвешенных наблюдений со структурой интегральных сумм Римана (это обстоятельство позволяет асимптотические свойства оценок исследовать за счет близости интегральных сумм и соответствующих интегралов). В данной работе, как и в [10]–[11], мы попытались реализовать идеи об общих и универсальных относительно стохастической природы условиях плотного заполнения элементами дизайна области задания регрессионной функции для одного из вариантов классических ядерных оценок. Отметим еще, что полученные в настоящей работе достаточные условия по сути предполагают, в отличие от весьма простых условий в [8] и [9], более равномерное плотное заполнение точками дизайна области задания регрессионной функции (см. замечание 8). Предлагаемые условия ослабляют ранее известные ограничения на корреляцию элементов дизайна, гарантирующих состоятельность изучаемых оценок, что расширяет возможную область их практического применения. В данном работе, как и в [8]–[11], в основе доказательства лежит метод диадических цепочек (см., например, [49]), предложенный А. Н. Колмогоровым для оценки хвоста распределения супремальной нормы стохастического процесса с почти наверное непрерывными траекториями. Близкие условия на элементы дизайна использовались также в [50]–[52] в нелинейной регрессии. Наш интерес в данной работе к классическим локально-линейным оценкам обусловлен, в первую очередь, их популярностью, поскольку эти оценки, наряду с оценками Надарая–Ватсона (т.е. классическими локально-постоянными оценками) принято считать (см., например, монографии, приведенные выше, а также [53], [54]) наиболее востребованными ядерными оценками в непараметрической регрессии как с точки зрения практического использования, так и исследования в тех или иных условиях. На основе этих двух классов оценок часто происходит оценивание и в специальных задачах непараметрической регрессии (например, в задаче оценивания функций среднего и ковариации случайного процесса, см. подробные библиографические ссылки в [55]; см. также [56]). Отметим, что оценки Надарая–Ватсона и локально-линейные являются представителями класса локально-полиномиальных оценок соответственно порядка $p=0$ и $p=1$. При использовании локально-полиномиальных оценок в случае оценивания лишь самой регрессионной функции, а не ее производных, специалисты зачастую рекомендуют ограничиваться именно этими значениями $p$ (см., например, [2], [54]). Дело в том, что при больших значениях $p$ у локально-полиномимальных оценок могут проявиться некоторые недостатки. Например, такие оценки могут вообще не существовать при малых значениях размера окна $h$ из-за недостаточного количества выборочных точек. Стоит также отметить, что характер зависимости реальных выборочных данных в статистике, если зависимость наблюдений имеет место по природе стохастического эксперимента, определить бывает достаточно трудно. В этой связи получение некоторых более общих и, по-возможности, наглядных условий представляет интерес не только с теоретической точки зрения, но и является актуальным и особенно важным для приложений. 2. Основные результатыНам потребуется ряд условий. $(\mathrm A_1)$. Даны двумерные наблюдения $\{(z_i,X_i);\, i\leqslant n\}$, представимые в виде где $f(t)$ – неизвестная непрерывная на $[0,1]$ функция, дизайн $\{z_i;\,i=1,\dots,n\}$ состоит из случайных величин, вообще говоря, с неизвестными распределениями со значениями на $[0,1]$, не обязательно независимых или одинаково распределенных. Предполагается, что случайные величины $\{z_i;\,i=1,\dots,n\}$ могут зависеть от $n$.Замечание 1. Отметим, что условие $(\mathrm A_1)$ включает в себя и ситуацию фиксированного дизайна. Отрезок $[0,1]$ в качестве области изменения дизайна мы рассматриваем исключительно с целью простоты изложения подхода. В общем случае вместо интервала $[0,1]$ можно рассматривать произвольное измеримое по Жордану подмножество числовой прямой. Мы полагаем, что результаты работы можно перенести и на случай, когда областью изменения дизайна является произвольное измеримое по Жордану подмножество $\mathbb{R}^k$. $(\mathrm A_2)$. При всех $n\geqslant 1$ ненаблюдаемые случайные погрешности $\{\varepsilon_i;\,i=1,\dots,n\}$ при всех $i,j\leqslant n$, $i\neq j$, с вероятностью $1$ удовлетворяют следующим условиям:
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}\varepsilon_i=0, \qquad \sup_{i\leqslant n}{\mathbb E}_{\mathcal F_n}\varepsilon^2_i\leqslant \sigma^2, \qquad {\mathbb E}_{\mathcal F_n}\varepsilon_i\varepsilon_j= 0,
\end{equation*}
\notag
$$
где константа $\sigma^2>0$ не зависит от $n$ и может быть неизвестной, а символ ${\mathbb E}_{\mathcal F_n}$ обозначает условное математическое ожидание при фиксации $\sigma$-алгебры $\mathcal F_n$, порожденной случайными величинами $\{z_i;\,i=1,\dots,n\}$. $(\mathrm A_3)$. Ядерная функция $K( t)$, ${t}\in \mathbb R$, является плотностью симметричного распределения с носителем $[-1,1]$, т.е. $K(t)\geqslant 0 $, $K(t)=K(-t)$ при всех $t\in [-1,1]$ и $\int_{[-1,1]} K(t) \, d{t} =1$. Кроме того, $\sup_{t\in [0,1]}K(t)\leqslant L<\infty$ и существует положительное $\delta\leqslant 1$ такое, что Введем еще ряд обозначений и соглашений. В дальнейшем нам понадобится обозначение $K_{h}(t)=h^{-1} K(h^{-1}t)$. Понятно, что $K_{h}(t)$ – плотность распределения на $[-h,h]$. Для любых $ z_1,\dots, z_n$, $h\in(0,1)$ и $t\in [0,1]$ положим
$$
\begin{equation*}
N_{n,h}( t)=\bigl\{i\colon | t- z_{i}|\leqslant h,\, 1\leqslant i\leqslant n\bigr\}.
\end{equation*}
\notag
$$
Символом $\#(\cdot)$ обозначим стандартную считающую меру. Нам также потребуется модуль непрерывности
$$
\begin{equation*}
\omega_f(h)=\sup_{ t, s\in [0,1]\colon | t-s|\leqslant h}|f(t)-f(s)|.
\end{equation*}
\notag
$$
Условимся, что всюду в дальнейшем все пределы, если не оговорено иное, берутся при $n\to\infty$. Через $O_p(\eta_n)$ будем обозначать некоторую случайную величину $\zeta_n$ такую, что для всех чисел $M>0$ выполнено
$$
\begin{equation*}
\limsup{\mathbb P}\biggl(\frac{|\zeta_n|}{\eta_n}>M\biggr)\leqslant \beta(M),
\end{equation*}
\notag
$$
где $\{\eta_n\}$ – положительные (возможно, случайные) величины, а функция $\beta(M)$ не зависит от параметров рассматриваемой модели и $\lim_{M\to\infty}\beta(M)=0$. Иными словами, последовательность $\zeta_n/\eta_n$ ограничена по вероятности. Напомним (см., например, [1]), что классическая локально-линейная ядерная оценка $f_{n,h}^*(t)$ определяется как первая координата двумерной точки, на которой достигается следующий минимум:
$$
\begin{equation*}
\min_{a,b}\sum_{i=1}^n\bigl(X_{i}-(a+b(t-z_{i}))\bigr)^2K_{h}(t-z_{i}).
\end{equation*}
\notag
$$
Нетрудно видеть, что имеет место представление
$$
\begin{equation}
f_{n,h}^*(t)= \sum_{i=1}^n\frac{S_{n,2}(t)-(t-z_{i})S_{n,1}(t)}{S_{n,0}(t)S_{n,2}(t) -S_{n,1}^2(t)}X_{i}K_{h}(t-z_{i}),
\end{equation}
\tag{2.2}
$$
где
$$
\begin{equation}
S_{n,j}(t)=\sum_{i=1}^n(t-z_{i})^jK_{h}(t-z_{i}), \qquad j=0,1,2.
\end{equation}
\tag{2.3}
$$
Рассмотрим прежде всего вопрос о поточечной состоятельности оценок $f_{n,h}^*(t)$. Нам потребуется еще одно предположение, являющееся единственным условием на элементы дизайна, гарантирующим поточечную состоятельность классических локально-линейных оценок. $(\mathrm A_4)$. При всех фиксированных $t\in [0,1]$ и $h\in (0,1)$, начиная с некоторого $n$, выполнено $\#(N_{n,h}(t))\neq 0$ и имеет место предельное соотношение
$$
\begin{equation*}
\Lambda_{n,h}(t)=\frac{\#^3(N_{n,h}(t))}{\#^2(N_{n,\delta h}(t))\widetilde N^2_{n,h,\delta}(t)}\stackrel{p}{\to} 0,
\end{equation*}
\notag
$$
где величина $\widetilde N_{n,h,\delta}(t)$ определяется равенством
$$
\begin{equation*}
\widetilde N_{n,h,\delta}(t)= \min\biggl\{\#(N_{n,\delta h/2}(t)),\,\#\biggl(N_{n,\delta h/4}\biggl(t-\frac{3\delta h}4\biggr)\biggr),\,\#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}{4}\biggr)\biggr)\biggr\}.
\end{equation*}
\notag
$$
Справедлива Теорема 1. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_3)$. Тогда для любого $h\in (0,1)$ и любого $t\in [0,1]$ c вероятностью $1$ выполнено Следствие 1. В условиях теоремы 1 имеет место соотношение Следствие 2. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_4)$. Тогда существует последовательность $h=h_n\to 0$, для которой при всех $t\in [0,1]$ имеет место предельное соотношение Замечание 2. Легко видеть, что в условиях теоремы 1 для любого $h\in (0,1)$ и любого $t\in [0,1]$ справедливо неравенство Однако условие $(\mathrm A_4)$ без уточнения характера корреляции элементов дизайна еще не гарантирует выполнение предельного соотношения ${\mathbb E}\Lambda_{n,h}(t){\to}0$ при всех фиксированных $t$ и $h$. Но если это соотношение справедливо, то существует последовательность $h_n$, для которой поточечный среднеквадратичный риск оценки $f_{n,h}^*(t)$ сходится к нулю: ${\mathbb E}(f_{n,h}^*(t)-f(t))^2\to 0$ при всех $t\in [0,1]$. Замечание 3. В широких условиях для всех известных нам неслучайных регулярных дизайнов выполнено $\#(N_{n,h}(t))\sim nh$ равномерно по $ t$, что гарантирует выполнение $(\mathrm A_4)$. Если $\{z_i\}$ независимы и одинаково распределены и отрезок $[0,1]$ является носителем распределения $z_1$ (функция распределения $z_1$ является строго монотонной на $[0,1]$), то условие $(\mathrm A_4)$ также выполнено, поскольку по теореме Гливенко–Кантелли $\#(N_{n,h}(t))\sim nh$ равномерно по $t$ почти наверное2. Если $\{z_i\}$ – стационарная последовательность с условием $\alpha$-перемешивания и маргинальным распределением с носителем $[0,1]$, то в широких условиях $\#(N_{n,h}(t))\sim nh$ по вероятности3 для любой точки $t$ и условие $(\mathrm A_4)$ также выполнено. Подчеркнем, что выполнение условия $(\mathrm A_4)$ вполне возможно и для других типов зависимости случайных величин $\{ z_i\}$ (см. примеры 1 и 2). Отметим еще, что во всех указанных в данном замечании случаях величина $\Lambda_{n,h}(t)$ имеет порядок $(nh)^{-1}$. Если дополнительно функция $f$ удовлетворяет условию Липшица, то можно положить $h=n^{-1/3}$. Выбранный таким образом размер окна $h$ фактически уравнивает порядок малости по $h$ обоих слагаемых в правой части утверждения следствия 1, а соответствующее поточечное расстояние из следствия 1 имеет порядок $n^{-1/3}$. Пример 1. Пусть последовательность случайных величин $\{z_i;\,i\geqslant 1\}$ определяется соотношением где $\{U_{1i}\}$ и $\{U_{2i}\}$ независимы и равномерно распределены на $[0,1/2]$ и $[1/2,1]$ соответственно, последовательность $\{\nu_i\}$ не зависит от $\{U_{1i}\}$, $\{U_{2i}\}$ и состоит из бернуллиевских случайных величин с вероятностью успеха $1/2$, а зависимость между случайными величинами $\nu_i$ для любого натурального $i$ определяется равенствами $\nu_{2i-1}=\nu_1$, $\nu_{2i}=1-\nu_1$. Случайные величины $\{z_i;\,i\geqslant 1\}$ из (2.4) образуют стационарную последовательность равномерно распределенных на отрезке $[0,1]$ случайных величин, но наиболее популярные условия слабой зависимости в данном примере не выполнены. В частности, в рассматриваемом примере не выполнены те или иные условия перемешивания, так как при всех натуральных $m$ и $n$
$$
\begin{equation*}
{\mathbb P}\biggl(z_{2m}\leqslant \frac12,\,z_{2n-1}\leqslant \frac12\biggr)=0.
\end{equation*}
\notag
$$
С другой стороны, нетрудно показать, что для эмпирической функции распределения, построенной по выборке растущего объема из стационарной последовательности $\{z_i;\,i\geqslant 1\}$, справедлива теорема Гливенко–Кантелли. Это означает, что для любого фиксированного $h>0$ выполнено $N_{n,h}(t)\sim nh$ почти наверное равномерно по $t$, что влечет выполнение условия $(\mathrm A_4)$. Пример 2. По схеме примера 2, исходя из выбора различных последовательностей бернуллиевских переключателей с условиями $\nu_{j_k}=1$ и $\nu_{l_k}=0$ для неограниченного числа индексов $\{j_k\}$ и $\{l_k\}$, можно конструировать последовательности зависимых равномерно распределенных на $[0,1]$ случайных величин c теми или иными свойствами. Так, последовательность $\{z_i\}$ в (2.4) (не обязательно стационарная) может не удовлетворять закону больших чисел, при этом условие $(\mathrm A_4)$ будет выполнено. Например, пусть $\nu_j=1-\nu_1$ при $j=2^{2k-1},\dots,2^{2k}-1$ и $\nu_j=\nu_1$ при $j=2^{2k},\dots,2^{2k+1}-1$, где $k=1,2,\dots$ . Иными словами, на первом шаге стохастического эксперимента мы разыгрываем с равными шансами ту или иную половинку единичного отрезка, на которую наудачу бросаем первую точку. Затем мы бросаем наудачу две точки на другую половинку отрезка $[0,1]$ и вновь возвращаемся на исходную половинку, куда теперь бросаем наудачу четыре точки. Процесс чередования половинок единичного отрезка продолжается, и на $k$-м шаге процедуры мы бросаем наудачу на очередную половинку единичного отрезка $2^{k-1}$ точек. Положим теперь $n_k=2^{2k}-1$, $\widetilde n_k=2^{2k+1}-1$, $S_m=\sum_{i=1}^m z_i$ и заметим, что для почти всех элементарных исходов, составляющих событие $\{\nu_1=1\}$, выполнено
$$
\begin{equation}
\frac{S_{n_k}}{n_k}=\frac{1}{n_k}\sum_{i\in A_{1,k}}U_{1i}+\frac{1}{n_k}\sum_{i\in A_{2,k}}U_{2i},
\end{equation}
\tag{2.5}
$$
где $A_{1,k}$ и $A_{2,k}$ – наборы индексов, для которых наблюдения $\{{ z}_i, i\leqslant n_k\}$ расположены в отрезке $[0,1/2]$ или $[1/2,1]$ соответственно. Нетрудно видеть, что $\#(A_{2,k})=2\#(A_{1,k})$. Следовательно, ${S_{n_k}}/{n_k}\to{7}/{12}$ п.н. при $k\to\infty$ ввиду усиленного закона больших чисел для последовательностей $\{U_{1i}\}$ и $\{U_{2i}\}$. С другой стороны, для почти всех элементарных исходов, принадлежащих событию $\{\nu_1=1\}$, с вероятностью $1$ выполнено ${S_{\widetilde n_k}}/{\widetilde n_k}\to{5}/{12}$ при $k\to\infty$ (здесь для аналога (2.5) мы использовали соотношение $\#(\widetilde A_{1,k})=2\#(\widetilde A_{2,k})+1$, где $\widetilde A_{1,k}$ и $\widetilde A_{2,k}$ – наборы индексов, для которых наблюдения $\{{ z}_i, i\leqslant \widetilde n_k\}$ расположены в отрезке $[0,1/2]$ или $[1/2,1]$ соответственно). Схожие выводы справедливы и для почти всех элементарных исходов, составляющих событие $\{\nu_1=0\}$. Таким образом, построенная нестационарная последовательность равномерно распределенных на $[0,1]$ случайных величин $\{z_i\}$ не удовлетворяет усиленному закону больших чисел. Кроме того, эта последовательность не удовлетворяет и теореме Гливенко–Кантелли, но используя эту теорему отдельно для каждой из последовательностей $\{U_{1i}\}$ и $\{U_{2i}\}$, нетрудно получить следующие две оценки, справедливые с вероятностью $1$: где $h$ произвольное фиксированное число из интервала $(0,1)$. Таким образом, для рассматриваемой последовательности сильно зависимых случайных величин условие $(\mathrm A_4)$ выполнено.Рассмотрим теперь вопрос о равномерной состоятельности классических локально-линейных оценок. Нам потребуются еще два предположения. $(\mathrm A_3')$. Выполнено условие $(\mathrm A_3)$ и ядерная функция $K(t)$ непрерывно дифференцируема на открытом интервале $(0,1)$, при этом $\sup_{t\in [0,1]}|K'(t)|\leqslant L$. $(\mathrm A_5)$. Для любых $t\in [0,1]$ и $h\in(0,1)$ выполнено $\#(N_{n,h}(t))\neq 0$ при всех достаточно больших $n$ и
$$
\begin{equation*}
\Delta_{n,h}=\sup_{t\in [0,1]}\frac{ \sup_{|s|\leqslant h}\#^7(N_{n,h}(t+s))}{\#^4(N_{n,\delta h}(t))\widetilde N^4_{n,h,\delta}(t)}\stackrel{p}{\to} 0.
\end{equation*}
\notag
$$
По умолчанию в $(\mathrm A_5)$ под внутренним знаком супремума область изменения переменной $s$ при каждом фиксированном $t\in [0,1]$ определяется соотношениями $s\in [0,1]$ и $s+t\in [0,1]$. Теорема 2. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_2)$ и $(\mathrm A_3')$. Тогда для любого фиксированного $h\in (0,1)$ с вероятностью $1$ где $\zeta_n(h)$ есть последовательность положительных случайных величин, удовлетворяющих соотношению Следствие 3. Пусть выполнены условия $(\mathrm A_1)$–$(\mathrm A_2)$, $(\mathrm A_3')$ и $(\mathrm A_5)$. Тогда существует последовательность $h=h_n\to 0$, для которой Замечание 4. Нетрудно видеть, что условие $(\mathrm A_5)$ будет выполнено, если для всех достаточно малых $h>0$ Замечание 5. Для функции $f$, удовлетворяющей условию Липшица, в случае, когда c вероятностью $1$ справедливо соотношение $\widetilde\Delta_{n,h}\sim(nh)^{-1}$, можно положить $h=n^{-1/4}$. Тогда где константа $C$ зависит от $\sigma$ и ядра $K$. Замечание 6. В силу теоремы 2 имеем Замечание 7. Условие $(\mathrm A_5)$, гарантирующее равномерную состоятельность локально-линейных оценок $f_{n,h}^*(t)$, влечет за собой выполнение условия $(\mathrm A_4)$ для поточечной состоятельности этих оценок, что является весьма ожидаемым и c учетом приводимого далее замечания 8 следует из очевидного соотношения справедливого для любого $t$. Замечание 8. Отметим, что требование $\#(N_{n,h}(t))\neq 0$ при всех фиксированных $t\in [0,1]$ и $h\in (0,1)$ в условиях $(\mathrm A_4)$ и $(\mathrm A_5)$ в силу аддитивности меры $\#(\cdot)$ может быть переписано в эквивалентной форме следующим образом: при всех фиксированных $t\in [0,1]$ и $h\in (0,1)$ В [8] и [9] предложены новые оценки ядерного типа для регрессионной функции $f$, являющиеся равномерно состоятельными лишь при выполнении единственного условия (2.7). Условие (2.7) означает, что элементы дизайна с высокой вероятностью образуют измельчающееся разбиение отрезка $[0,1]$ – области определения регрессионной функции $f$. Другими словами, элементы дизайна в некотором смысле “плотно” заполняют область определения $f$. В отличие от известных ранее результатов ядерные оценки из [8] и [9] универсальны в смысле их нечувствительности к стохастической природе дизайна, который может быть как фиксированным и не обязательно регулярным, так и случайным, и при этом не обязательно состоящим из независимых или слабо зависимых случайных величин. Отметим, что все известные в литературе типы корреляции элементов дизайна влекут за собой вышеупомянутое условие (2.7) и выполнение подобного условия в ситуации случайного дизайна в работах предшественников достигается, как правило, за счет тех или иных форм слабой зависимости случайных величин. Сравнивая условие (2.7) и предположения $(\mathrm A_4)$ и $(\mathrm A_5)$ отметим, что условия $(\mathrm A_4)$ и $(\mathrm A_5)$ по сути требуют более равномерное плотное заполнение точками дизайна области определения регрессионной функции, нежели в условии (2.7). Приведем соответствующий пример. Пример 3. Как и в примере 1, считаем, что последовательность случайных величин $\{z_i;\,i\geqslant 1\}$ определяется соотношением (2.4), где $\{U_{1i}\}$ и $\{U_{2i}\}$ независимы и равномерно распределены на $[0,1/2]$ и $[1/2,1]$ соответственно, последовательность $\{\nu_i\}$ не зависит от $\{U_{1i}\}$, $\{U_{2i}\}$ и состоит из бернуллиевских случайных величин с вероятностью успеха $1/2$, а зависимость между случайными величинами $\nu_i$ для любого натурального $i$ зададим теперь равенствами $\nu_{[e^k]}=\nu_1$ при $k\geqslant 1$ и $\nu_{i}=1-\nu_1$ при всех $i\neq [e^k]$, $k\geqslant 1$. Иначе говоря, сначала мы разыгрываем, на какой из двух отрезков бросаем наудачу первую точку, и далее чередуем количество бросаний таким образом, что с вероятностями $1/2$ на один из отрезков попадает $\log n$ точек, а на другой – остальные (т.е. порядка $n$). В этом случае нестационарная последовательность $\{ z_i\}$ не удовлетворяет усиленному закону больших чисел, так как нормированная сумма элементов $\{ z_i\}$ почти наверное сходится к некоторой случайной величине, имеющей двухточечное распределение ($1/4$ и $3/4$ с равными вероятностями). Понятно, что условие (2.7) в данном примере выполнено. Покажем, что для рассматриваемой последовательности сильно зависимых случайных величин не выполнено условие $(\mathrm A_4)$. Действительно, на почти всех элементарных исходах из множества $\{\nu_1=1\}$ мы имеем Таким образом, на множестве указанных элементарных исходов, имеющем вероятность $1/2$, так что при $t=1/2-\delta h$ предельное соотношение $(\mathrm A_4)$ не выполнено.3. ДоказательстваВсюду в этом пункте считаем, что выполнены условия $(\mathrm A_1)$–$(\mathrm A_3)$. Для оценки $f_{n,h}^*(t)$, определенной в (2.2), мы будем использовать следующее представление:
$$
\begin{equation}
f_{n,h}^*(t)=\sum_{i=1}^nw_{i}(t)X_i \biggl(\sum_{i=1}^nw_{i}(t)\biggr)^{-1},
\end{equation}
\tag{3.1}
$$
где
$$
\begin{equation}
w_i(t)=K_h(t-z_i)\bigl(S_{n,2}(t)-(t-z_i)S_{n,1}(t)\bigr).
\end{equation}
\tag{3.2}
$$
Учитывая соотношения (3.1) и (2.1), получаем тождество где
$$
\begin{equation}
\eta_{n,h}(t) =\frac{\sum_{i=1}^n (f(z_{i})-f(t)r)w_i(t)}{\sum_{i=1}^nw_i(t)}, \qquad \nu_{n,h}(t)=\frac{\sum_{i=1}^nw_{i}(t)\varepsilon_{i}} {\sum_{i=1}^nw_i(t)}.
\end{equation}
\tag{3.4}
$$
Замечание 9. Подчеркнем, что ввиду свойств плотности $K_h(\cdot)$ область суммирования во всех суммах в (2.3) и (3.4), а также во всех приводимых далее формулах, когда при суммировании функция $K_h(\cdot)$ участвует в качестве множителя, совпадает с множеством $N_{n,h}(t)$. Указанный факт является принципиальным для дальнейшего анализа. Лемма 2. Для любого $t\in [0,1]$ c вероятностью $1$ имеет место неравенство где величина $\Lambda_{n,h}(t)$ определена в условии $(\mathrm A_4)$. Доказательство. С вероятностью $1$ имеет место соотношение
$$
\begin{equation}
{\mathbb E}_{\mathcal F_n}\nu^2_{n,h}(t)\leqslant\frac{\sigma^2\sum_{i\in N_{n,h}(t)}w_i^2(t)}{w^2(t)}, \qquad \text{где}\quad w(t)=\sum_{i\in N_{n,h}(t)}w_i(t).
\end{equation}
\tag{3.5}
$$
Заметим прежде всего, что с учетом определений (3.2), (2.3) и замечания 9, для любого $t\in [0,1]$ выполнено
$$
\begin{equation}
\max_{i\in N_{n,h}(t)}|w_i(t)|\leqslant 2L^2 \#(N_{n,h}(t)), \qquad \sum_{i\in N_{n,h}(t)}w_i^2(t) \leqslant 4L^4 \#^3(N_{n,h}(t)).
\end{equation}
\tag{3.6}
$$
Нам остается оценить снизу величину $w(t)$. Из определений (3.2) и (2.3) имеем
$$
\begin{equation}
\begin{aligned} \, w(t) &=S_{n,0}^2(t)\biggl(\frac{S_{n,2}(t)}{S_{n,0}(t)} -\frac{S_{n,1}^2(t)}{S_{n,0}^2(t)}\biggr) \nonumber \\ &=S_{n,0}(t)h^2\sum_{i\in N_{n,h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2K_h(z_i-t) \nonumber \\ &\geqslant S_{n,0}(t)h^2\sum_{i\in N_{n,\delta h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2K_h(z_i-t) \nonumber \\ &\geqslant 4^{-1}l^2\delta^2 \#(N_{n,\delta h}(t)) \min\biggl\{\#(N_{n,\delta h/2}(t)),\,\#\biggl(N_{n,\delta h/4} \biggl(t-\frac{3\delta h}4\biggr)\biggr), \nonumber \\ &\phantom{\geqslant 4^{-1}l^2\delta^2 \#(N_{n,\delta h}(t)) \min\biggl\{}\qquad \#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}4\biggr)\biggr)\biggr\}. \end{aligned}
\end{equation}
\tag{3.7}
$$
При выводе этого соотношения мы учли, что для любого $t\in[0,1]$ и всех $i\in N_{n,\delta h}(t)$ выполнено $K_h(z_i-t)\geqslant h^{-1}l$, а потому
$$
\begin{equation*}
S_{n,0}(t)\geqslant \sum_{i\in N_{n,\delta h}(t)}K_h(z_i-t)\geqslant h^{-1}l\#(N_{n,\delta h}(t)).
\end{equation*}
\notag
$$
Кроме того, мы учли, что при всех $t\in[0,1]$ справедливы соотношения
$$
\begin{equation*}
S(t)=\frac{S_{n,1}(t)}{hS_{n,0}(t)}\in [-1,1], \qquad \frac{z_i-t}{h}\in[-\delta,\delta] \quad \text{при}\ \ i\in N_{n,\delta h}(t).
\end{equation*}
\notag
$$
Следовательно, если $|S(t)|\geqslant \delta$, то
$$
\begin{equation*}
\begin{aligned} \, \widetilde S &=\sum_{i\in N_{n,\delta h}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2 \\ &\geqslant \sum_{i\in N_{n,\delta h/2}(t)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#(N_{n,\delta h/2}(t)). \end{aligned}
\end{equation*}
\notag
$$
Если же $0\leqslant S(t)<\delta$, то
$$
\begin{equation*}
\widetilde S \geqslant \sum_{i\in N_{n,\delta h/4}(t-3\delta h/4)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#\biggl(N_{n,\delta h/4}\biggl(t-\frac{3\delta h}4\biggr)\biggr).
\end{equation*}
\notag
$$
Аналогично, если $-\delta \leqslant S(t)< 0 $, то
$$
\begin{equation*}
\widetilde S \geqslant \sum_{i\in N_{n,\delta h/4}(t+3\delta h/4)} \biggl(\frac{z_i-t}{h}-\frac{S_{n,1}(t)}{hS_{n,0}(t)}\biggr)^2\geqslant \frac{\delta^2}{4}\#\biggl(N_{n,\delta h/4}\biggl(t+\frac{3\delta h}4\biggr)\biggr).
\end{equation*}
\notag
$$
Приведенные соотношения доказывают (3.7). Утверждение леммы следует теперь из оценок (3.5), (3.6), (3.7) и обозначений в условии $(\mathrm A_4)$. Доказательство теоремы 1. Это утверждение следует из равенства
$$
\begin{equation*}
{\mathbb E}_{\mathcal F_n}(f_{n,h}^*(t)-f(t))^2=\eta_{n,h}^2(t)+{\mathbb E}_{\mathcal F_n}\nu^2_{n,h}(t) \quad\text{п.н.},
\end{equation*}
\notag
$$
при выводе которого мы учли тождество (3.3) и утверждения лемм 1 и 2. Доказательство следствия 1. Положим
$$
\begin{equation*}
\zeta_n=f_{n,h}^*( t)-f(t), \qquad \eta_n=\omega_f(h)+8\sigma L^2(l\delta)^{-2}\Lambda^{1/2}_{n,h}(t)
\end{equation*}
\notag
$$
и заметим, что в силу теоремы 1 имеет место оценка ${\mathbb E}_{\mathcal F_n}\zeta_n^2\leqslant\eta_n^2$. Следовательно, справедлива цепочка соотношений которая и доказывает утверждение следствия. Доказательство следствия 2. Отметим, что при выполнении условия $(\mathrm A_4)$ для любого $ t$ существует последовательность $h(t)= h_n(t)\to 0$, для которой выполнено предельное соотношение условия $(\mathrm A_4)$. Далее, диагональным методом можно выбрать универсальную последовательность $h_n\to 0$, удовлетворяющую предельному соотношению условия $(\mathrm A_4)$ для всех рациональных точек $ t\in [0,1]$. Наконец, в силу следствия 1 и непрерывности функций $f_{n,h}^*(t)$ и $f(t)$ эта последовательность $h_n$ гарантирует поточечную состоятельность $f_{n,h}^*(t)$ при всех $t\in [0,1]$. Для вывода теоремы 2 нам потребуется следующее ключевое утверждение. Лемма 3. В условиях теоремы 2 для любых $y>0$ и $h\in (0,1)$ выполнено где величина $\Delta_{n,h}$ определена в условии $(\mathrm A_5)$. Доказательство. Хвост распределения величины $\sup_{t\in [0,1]}|\nu_{n,h}(t)|$ оценим с помощью метода диадических цепочек (см. [49]). Прежде всего заметим, что интервал $[0,1]$ под знаком вышеупомянутого супремума может быть заменен на множество двоично-рациональных точек $\mathcal R=\{j/2^k;\, j=1,\dots, 2^k-1; k\geqslant 1\}$. Таким образом,
$$
\begin{equation*}
\begin{aligned} \, &\sup_{t\in [0,1]}|\nu_{n,h}(t)| =\sup_{t\in \mathcal R }|\nu_{n,h}(t)| \\ &\qquad\leqslant \max_{j = 1,\dots ,2^m - 1}|\nu_{n,h}(j 2^{-m})| + \sum_{k=m+1}^\infty \max_{j=1,\dots ,2^k-2} \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr|, \end{aligned}
\end{equation*}
\notag
$$
где некоторое натуральное $m$ будет выбрано ниже. Следовательно,
$$
\begin{equation}
\begin{aligned} \, &{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant{\mathbb P}_{\mathcal F_n}\Bigl(\max_{j = 1,\dots ,2^m - 1}|\nu_{n,h}(j 2^{-m})|>a_m y\Bigr) \notag \\ &\qquad\qquad +\sum_{k=m+1}^\infty {\mathbb P}_{\mathcal F_n}\Bigl(\max_{j=1,\dots ,2^k-2}\bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr| >a_k y\Bigr) \nonumber \\ &\qquad \leqslant\sum_{j =1}^{2^m - 1} {\mathbb P}_{\mathcal F_n}(|\nu_{n,h}(j 2^{-m})| >a_m y) \nonumber \\ &\qquad\qquad +\sum_{k=m+1}^\infty \,\sum_{j=1}^{2^k-2}{\mathbb P}_{\mathcal F_n}\bigl( \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr|>a_k y\bigr), \end{aligned}
\end{equation}
\tag{3.8}
$$
где последовательность $a_m,a_{m+1},\dots $ положительных чисел такова, что $\sum_{i\geqslant m}a_i=1$.
С помощью неравенства Маркова со вторым моментом и леммы 2, получаем оценку
$$
\begin{equation}
{\mathbb P}_{\mathcal F_n}(|\nu_{n,h}(j 2^{-m})|>a_m y)\leqslant 64\sigma^2 L^4(l^{2}\delta^{2} a_m y)^{-2}\Lambda_{n,h}(j2^{-m})\quad \text{п.н.}
\end{equation}
\tag{3.9}
$$
Положим $m = \lceil|\log_2 h|\rceil$, где $\lceil a \rceil$ есть наименьшее натуральное число, большее или равное $a$. Тогда
$$
\begin{equation}
{\mathbb P}_{\mathcal F_n}\bigl( \bigl|\nu_{n,h}((j+1) 2^{-k})-\nu_{n,h}(j 2^{-k})\bigr| >a_k y\bigr) \leqslant \sigma^2(a_k y)^{-2}G^{(n)}_{j,k,h},
\end{equation}
\tag{3.10}
$$
где
$$
\begin{equation}
G^{(n)}_{j,k,h}= \sum_{i=1}^n \biggl(\frac{w_i((j+1) 2^{-k})}{w((j+1) 2^{-k})}-\frac{w_i(j 2^{-k})}{w(j2^{-k})}\biggr)^2,
\end{equation}
\tag{3.11}
$$
а величина $w(t)$ определена в (3.5). Оценим величину $G^{(n)}_{j,k,h}$. Для любых $u,v\in [0,1]$ c условием $|u-v|\leqslant h$ и всех $i\in N_{n,h}(u)\cup N_{n,h}(v)$ выполнено
$$
\begin{equation*}
| w^{-1}(u)w_i(u)-w^{-1}(v)w_i(v)|\leqslant \Psi_n(K,u,v)h^{-1}|u-v|,
\end{equation*}
\notag
$$
где
$$
\begin{equation*}
\begin{aligned} \, \Psi_n(K,u,v) &=\max_{i\in N_{n,h}(u)\cup N_{n,h}(v)}\sup_{u\leqslant t\leqslant v}\biggl\{\frac{|w'_i(t)|w(t)+|w_i(t)|\sum_{j\in N_{n,h}(t)}|w'_j(t)|} {w^2(t)}\biggr\} \\ &\leqslant \frac{184L^4}{l^4\delta^4h}\sup_{u\leqslant t\leqslant v}\frac{\#^3(N_{n,h}(t))}{\#^2(N_{n,\delta h}(t))\widetilde N^2_{n,h,\delta}(t)}. \end{aligned}
\end{equation*}
\notag
$$
При выводе последней оценки мы использовали (3.6), (3.7) и следующие соотношения:
$$
\begin{equation*}
\begin{gathered} \, |w_j'(t)|\leqslant 8L^2h^{-1}\#(N_{n,h}(t)) \qquad \text{при} \quad j\in N_{n,h}(t), \\ K_h(t-z_i)\leqslant h^{-1}L, \qquad |t-z_i|\leqslant 2h, \\ |w_i(t)|\leqslant 3L^2 \#(N_{n,h}(t)), \qquad |w_i'(t)|\leqslant 11L^2h^{-1} \#(N_{n,h}(t)) \end{gathered}
\end{equation*}
\notag
$$
при $i\in N_{n,h}(u)\cup N_{n,h}(v)$, $|u-v|\leqslant h$ и $u\leqslant t\leqslant v$. Принимая во внимание, во-первых, что $|u-v|\leqslant h$ при $u=(j+1) 2^{-k}$, $v=j2^{-k}$ и $k>m$, и во-вторых, что множество индексов суммирования в первом неравенстве соотношения (3.11) совпадает с множеством $N_{n,h}((j+1)2^{-k})\cup N_{n,h}(j2^{-k})$, заключаем, что
$$
\begin{equation}
G^{(n)}_{j,k,h}\leqslant 2\cdot184^22^{-2k}L^8(l\delta)^{-8} \Delta_{n,h}h^{-2}.
\end{equation}
\tag{3.12}
$$
Теперь из (3.8)–(3.12) нетрудно получить, что
$$
\begin{equation*}
{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant 2^{8}\cdot 23\,y^{-2} \sigma^2 L^8(l\delta)^{-8} \Delta_{n,h}\biggl( 2^m a_m^{-2} +h^{-2} \sum_{k=m+1}^\infty 2^{-k+1} a_k^{-2} \biggr).
\end{equation*}
\notag
$$
Оптимальная последовательность $a_k$, минимизирующая правую часть этого неравенства, есть $a_m=c 2^{m/3}$ и $a_k=c h^{-2/3} 2^{(-k+1)/3}$ при $k=m+1,m+2,\dots $, где
$$
\begin{equation*}
c^{-1}=2^{m/3}+h^{-2/3}\sum_{k>m}2^{(-k+1)/3} =2^{m/3}+h^{-2/3}\frac{2^{-m/3}}{1-2^{-1/3}}.
\end{equation*}
\notag
$$
Для указанной последовательности получаем, что
$$
\begin{equation}
2^m a_m^{-2}+h^{-2} \sum_{k=m+1}^\infty 2^{-k+1} a_k^{-2}=\biggl(2^{m/3}+h^{-2/3}\frac{2^{-m/3}}{1-2^{-1/3}}\biggr)^3.
\end{equation}
\tag{3.13}
$$
Учтем, что $m = \lceil|\log_2 h|\rceil$. Соотношение (3.13) и неравенство
$$
\begin{equation*}
|\log_2 h|\leqslant\lceil|\log_2 h|\rceil\leqslant |\log_2 h|+1
\end{equation*}
\notag
$$
влекут за собой оценку
$$
\begin{equation*}
{\mathbb P}_{\mathcal F_n}\Bigl(\sup_{t\in [0,1]}|\nu_{n,h}(t)|>y\Bigr) \leqslant {2^9}\cdot 23(1-2^{-1/3})^{-3} y^{-2}\sigma^2 L^8(l\delta)^{-8}\Delta_{n,h}h^{-1}.
\end{equation*}
\notag
$$
Таким образом, лемма 3 доказана. Доказательство теоремы 2. Положим
$$
\begin{equation*}
\zeta_n(h)=\sup_{t\in [0,1]}|\nu_{n,h}(t)|, \qquad \eta_n=\sigma L^4(l\delta)^{-4}\sqrt{\Delta_{n,h}h^{-1}}
\end{equation*}
\notag
$$
и заметим, что по лемме 3 выполнено $\zeta_n(h)=O_p(\eta_n)$, поскольку
$$
\begin{equation*}
{\mathbb P}\biggl(\frac{\zeta_n(h)}{\eta_n}>M\biggr)={\mathbb E}{\mathbb P}_{\mathcal F_n}\biggl(\frac{\zeta_n(h)}{\eta_n}>M\biggr)\leqslant {2^9}\cdot 23(1-2^{-1/3})^{-3} M^{-2}.
\end{equation*}
\notag
$$
Утверждение теоремы следует теперь из представления (3.3) и леммы 1. Автор благодарит рецензента за внимательное прочтение рукописи, комментарии и замечания. 
Цитирование в формате AMSBIB
\RBibitem{Lin23} |
|
||||||||||||||||||||||
|
Обратная связь: |
Пользовательское соглашение
|
Регистрация посетителей портала |
Логотипы |
|