сотрудник
Россия
студент
Россия
УДК 004.921 Элементы и объекты компьютерной графики
Рассматриваются архитектура многоагентных систем (МАС), свойства агентов, особенности коммуникации и применимость данного подхода к задачам веб-скрапинга. Актуальность исследования определяется стремительным ростом объемов данных в сети Интернет и ограниченностью классических централизованных систем веб-скрапинга, сталкивающихся с проблемами масштабирования, блокировок и недостаточной устойчивости. В этих условиях возрастает потребность в использовании децентрализованных архитектур, способных адаптироваться к динамичной среде и эффективно собирать большие объемы информации. Одним из наиболее перспективных подходов являются многоагентные системы, обеспечивающие распределенный сбор, обработку и хранение данных. Цель: разработка и структурирование подхода к использованию многоагентных систем для веб-скрапинга, а также описание обобщенного алгоритма, обеспечивающего масштабируемый, отказоустойчивый и адаптивный сбор данных. Методы: теоретический анализ свойств многоагентных систем, архитектурных моделей и коммуникационных механизмов между агентами; изучение существующих практических решений распределенного краулинга; синтез обобщенного алгоритма на основе выделения типовых ролей агентов (планировщик, сборщик, парсер, обработчик данных, агент обхода защиты). Результаты: описана трехуровневая архитектура МАС, включающая уровни сбора, обработки/координации и хранения данных. Выделены ключевые свойства агентов и показаны их роли в задаче скрапинга. Представлены функции пяти типов агентов, применяемых в распределенном веб-скрапинге, и предложена схема взаимодействия между ними. На основе анализа существующих решений сформирован обобщенный алгоритм распределенного скрапинга, отражающий взаимодействие специализированных агентов, который включает этапы инициализации, распределения задач, загрузки страниц, обработки ошибок блокировки, парсинга контента и сохранения данных. Показано, что многоагентный подход обеспечивает параллелизм, масштабируемость, отказоустойчивость и гибкость при работе с веб-ресурсами. Практическая значимость: результаты исследования могут быть использованы при проектировании систем массового сбора данных, построении распределенных веб-краулеров и создании платформ ана- лиза информации на основе МАС. Обобщенный алгоритм может служить основой для реализации гибких и масштабируемых систем, способных эффективно функционировать в условиях больших объемов данных, динамических изменений веб-страниц и наличия защитных механизмов. Обсуждение: в статье описывается интеграция свойств и принципов многоагентных систем в контекст веб-скрапинга с формированием единой обобщенной модели взаимодействия агентов. Представленный алгоритм отражает практическую структуру функционирования распределенного краулера и демонстрирует, как различные типы агентов могут обеспечивать координацию, сбор, анализ и фильтрацию данных при работе с динамичными и защищенными веб-ресурсами. Подчеркнута значимость децентрализации и адаптивности для современного веб-скрапинга, включая работу в условиях ограничений, связанных с антибот-защитами.
многоагентные системы, скрапинг, масштабирование, проактивность, автономность
1. Coughlin T. 175 Zettabytes By 2025 // Forbes. 2018. 27 November. URL: http://www.forbes.com/sites/tomcoughlin/2018/11/27/175-zettabytes-by-2025 (дата обращения: 05.10.2025).
2. Barrett A. How to Scrape Websites at Large Scale // Octoparse Web Scraping Blog. 2022. 30 August. URL: http://www.octoparse.com/blog/scrape-websites-at-large-scale (дата обращения: 05.10.2025).
3. Jennings N. R., Wooldridge M. J. Applications of Intelligent Agents // Agent Technology: Foundations, Applications, and Markets / N. R. Jennings, M. J. Wooldridge (eds). Heidelberg: Springer, 1998. Pp. 3–28. DOI:https://doi.org/10.1007/978-3-66203678-5_1.
4. Фаулер М. Архитектура корпоративных программных приложений / пер. с англ. М.: Вильямс, 2006. 544 с.
5. De Ridder A. An Introduction to FIPA Agent Communication Language: Standards for Interoperable Multi-Agent Systems // SmythOS AI Blog. URL: http://smythos.com/developers/agent-development/fipa-agent-communication-language (дата обращения: 22.11.2025).
6. Кияев В. И., Граничин О. Н. Информационные технологии в управлении предприятием: краткий учебный курс. 2-е изд., испр. М.: ИНТУИТ, 2016. 361 с.
7. The Data Extraction Using Distributed Crawler Inside the Multi-Agent System / K. Tomala [et al.] // Advances in Electrical and Electronic Engineering, 2013. Vol. 11, no. 6. Pp. 455–460. DOI:https://doi.org/10.15598/aeee.v11i6.867.
8. Extensible Markup Language (XML) 1.0 (Fifth Edition) — W3C Recommendation 26 November 2008 / T. Bray [et al.] (eds). URL: http://www.w3.org/TR/xml (дата обращения: 22.11.2025).
9. Transmission Control Protocol // Wikipedia. URL: http://en.wikipedia.org/wiki/Transmission_Control_Protocol (дата обращения: 22.11.2025).
10. MD5 // Wikipedia. URL: http://en.wikipedia.org/wiki/MD5 (дата обращения: 22.11.2025).
