Deep learning for natural language processing: a survey

За последние десять лет модели, основанные на глубоких нейронных сетях, произвели настоящую революцию в машинном обучении. Нейросетевые архитектуры стали основополагающим методом для многих разных прикладных областей; в этой работе мы даём обзор применений глубокого обучения к обработке естественных языков (natural language processing, NLP). Сначала мы даём краткий обзор основных понятий и архитектур глубокого обучения, в том числе недавних разработок, которые оказываются особенно важными для задач NLP. Затем мы даёт обзор распределённых представлений слов, показывая и то, как представления слов могут быть расширены до предложений и абзацев, и то, как слова могут быть далее разделены на части в моделях, основанных на символах. Основная часть обзора обсуждает различные глубокие нейросетевые архитектуры, которые либо появились специально для задач NLP, либо стали основным методом для них; к таким задачам относятся анализ тональности, синтаксический анализ, машинный перевод, диалоговые агенты, ответы на вопросы и другие приложения. Важное замечание: этот обзор был написан в 2016 г. и отражает состояние дел в области на тот момент. Хотя глубокое обучение развивается очень быстро, и все изложенные здесь направления уже получили существенное дальнейшее развитие, мы надеемся, что этот текст всё ещё может быть полезен как обзор уже ставших классическими работ в данной области и как систематическое введение в глубокое обучение для обработки естественных языков.
Библ. – 356 назв.