Компьютерная оптика
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Общая информация
Последний выпуск
Архив
Правила для авторов

Поиск публикаций
Поиск ссылок

RSS
Последний выпуск
Текущие выпуски
Архивные выпуски
Что такое RSS



Компьютерная оптика:
Год:
Том:
Выпуск:
Страница:
Найти






Персональный вход:
Логин:
Пароль:
Запомнить пароль
Войти
Забыли пароль?
Регистрация


Компьютерная оптика, 2023, том 47, выпуск 1, страницы 185–195
DOI: https://doi.org/10.18287/2412-6179-CO-1220
(Mi co1116)
 

ЧИСЛЕННЫЕ МЕТОДЫ И АНАЛИЗ ДАННЫХ

Many heads but one brain: FusionBrain – a single multimodal multitask architecture and a competition

D. D. Bakshandaevaab, D. V. Dimitrovcad, V. S. Arkhipkina, A. V. Shonenkovd, M. S. Potanind, D. K. Karachevd, A. V. Kuznetsovade, A. D. Voronovd, A. A. Petiushkod, V. F. Davydovaa, E. V. Tutubalinaadf

a Sber AI
b University of Helsinki
c Lomonosov Moscow State University
d Artificial Intelligence Research Institute, Moscow
e Samara National Research University
f National Research University Higher School of Economics, Moscow
Список литературы:
Аннотация: Supporting the current trend in the AI community, we present the AI Journey 2021 Challenge called FusionBrain, the first competition which is targeted to make a universal architecture which could process different modalities (in this case, images, texts, and code) and solve multiple tasks for vision and language. The FusionBrain Challenge combines the following specific tasks: Code2code Translation, Handwritten Text recognition, Zero-shot Object Detection, and Visual Question Answering. We have created datasets for each task to test the participants’ submissions on it. Moreover, we have collected and made publicly available a new handwritten dataset in both English and Russian, which consists of 94,128 pairs of images and texts. We also propose a multimodal and multitask architecture – a baseline solution, in the centre of which is a frozen foundation model and which has been trained in Fusion mode along with Single-task mode. The proposed Fusion approach proves to be competitive and more energy-efficient compared to the task-specific one.
Ключевые слова: multimodality, multitask, bilinguality, foundation models, FusionBrain challenge
Поступила в редакцию: 08.09.2022
Принята в печать: 21.11.2022
Тип публикации: Статья
Язык публикации: английский
Образец цитирования: D. D. Bakshandaeva, D. V. Dimitrov, V. S. Arkhipkin, A. V. Shonenkov, M. S. Potanin, D. K. Karachev, A. V. Kuznetsov, A. D. Voronov, A. A. Petiushko, V. F. Davydova, E. V. Tutubalina, “Many heads but one brain: FusionBrain – a single multimodal multitask architecture and a competition”, Компьютерная оптика, 47:1 (2023), 185–195
Цитирование в формате AMSBIB
\RBibitem{BakDimArk23}
\by D.~D.~Bakshandaeva, D.~V.~Dimitrov, V.~S.~Arkhipkin, A.~V.~Shonenkov, M.~S.~Potanin, D.~K.~Karachev, A.~V.~Kuznetsov, A.~D.~Voronov, A.~A.~Petiushko, V.~F.~Davydova, E.~V.~Tutubalina
\paper Many heads but one brain: FusionBrain -- a single multimodal multitask architecture and a competition
\jour Компьютерная оптика
\yr 2023
\vol 47
\issue 1
\pages 185--195
\mathnet{http://mi.mathnet.ru/co1116}
\crossref{https://doi.org/10.18287/2412-6179-CO-1220}
Образцы ссылок на эту страницу:
  • https://www.mathnet.ru/rus/co1116
  • https://www.mathnet.ru/rus/co/v47/i1/p185
  • Citing articles in Google Scholar: Russian citations, English citations
    Related articles in Google Scholar: Russian articles, English articles
    Компьютерная оптика
     
      Обратная связь:
     Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024