Труды института системного программирования РАН
RUS  ENG    ЖУРНАЛЫ   ПЕРСОНАЛИИ   ОРГАНИЗАЦИИ   КОНФЕРЕНЦИИ   СЕМИНАРЫ   ВИДЕОТЕКА   ПАКЕТ AMSBIB  
Общая информация
Последний выпуск
Архив

Поиск публикаций
Поиск ссылок

RSS
Последний выпуск
Текущие выпуски
Архивные выпуски
Что такое RSS


Труды ИСП РАН:
Год:
Том:
Выпуск:
Страница:
Найти




Персональный вход:
Логин:
Пароль:
Запомнить пароль
Войти
Забыли пароль?
Регистрация

Труды института системного программирования РАН, 2022, том 34, выпуск 2, страницы 111–122
DOI: https://doi.org/10.15514/ISPRAS-2022-34(2)-9 (Mi tisp681) 		 
Система управления заданиями автоматизированного сбора данных из сети Интернет

В. А. Лазаревab, М. И. Варламовb, А. К. Яцковb

a Московский государственный университет имени М. В. Ломоносова
b Институт системного программирования им. В.П. Иванникова РАН
PDF полного текста (481 kB)
DOI: https://doi.org/10.15514/ISPRAS-2022-34(2)-9
Аннотация: Работа посвящена исследованию и разработке системы управления заданиями автоматизированного сбора данных из сети Интернет. Статья содержит описание реализованных методологий и повествует о созданных приемах взаимодействия с контейнерами, содержащими в себе приложения для сбора данных. В ходе работы были изучены и представлены существующие различные сервисы автоматизированного сбора данных из сети Интернет: готовые решения с открытым исходным кодом, облачные сервисы с обширным функционалом, а также собственное решение под управлением Kubernetes. В результате работы реализована и внедрена в платформу для анализа данных Talisman система управления заданиями, которая обеспечивает горизонтальную масштабируемость, изолированность окружения сборщиков и независимость от технологии их разработки.
Ключевые слова: сбор данных, система управления заданиями, виртуализация, Kubernetes
Тип публикации: Статья
Образец цитирования: В. А. Лазарев, М. И. Варламов, А. К. Яцков, “Система управления заданиями автоматизированного сбора данных из сети Интернет”, Труды ИСП РАН, 34:2 (2022), 111–122
Цитирование в формате AMSBIB
\RBibitem{LazVarYat22}
\by В.~А.~Лазарев, М.~И.~Варламов, А.~К.~Яцков
\paper Система управления заданиями автоматизированного сбора данных из сети Интернет
\jour Труды ИСП РАН
\yr 2022
\vol 34
\issue 2
\pages 111--122
\mathnet{http://mi.mathnet.ru/tisp681}
\crossref{https://doi.org/10.15514/ISPRAS-2022-34(2)-9}
Образцы ссылок на эту страницу:
  • https://www.mathnet.ru/rus/tisp681
  • https://www.mathnet.ru/rus/tisp/v34/i2/p111
    • Citing articles in Google Scholar: Russian citations, English citations
    Related articles in Google Scholar: Russian articles, English articles
    		Труды института системного программирования РАН
    Статистика просмотров:
    Страница аннотации:9
    PDF полного текста:4
     
      Обратная связь:
    		  Пользовательское соглашение  Регистрация посетителей портала  Логотипы © Математический институт им. В. А. Стеклова РАН, 2024