Гауссовский двурукий бандит: предельное описание

Для гауссовского двурукого бандита, который возникает при анализе пакетной обработки данных, изучается предельное поведение минимаксного риска, если горизонт управления $N$ неограниченно растет. Минимаксный риск ищется как байесовский, вычисленный относительно наихудшего априорного распределения. Показано, что наиболее высокие требования к управлению предъявляются в области “близких” распределений, где математические ожидания доходов различаются на величину порядка $N^{-1/2}$. В области “близких” распределений получены рекуррентное интегро-разностное уравнение для нахождения байесовского риска относительно наихудшего априорного распределения в инвариантной форме с горизонтом управления, равным единице, и дифференциальное уравнение в частных производных второго порядка в предельном случае. Результаты позволяют оценить качество пакетной обработки. Например, минимаксный риск, соответствующий пакетной обработке данных, разбитых на $50$ пакетов, может быть лишь на $2\%$ выше своего предельного значения, если число пакетов неограниченно растет. В случае бернуллиевского двурукого бандита показано, что оптимальная обработка данных по одному не является более эффективной, чем пакетная, если $N$ неограниченно растет.