Модель автоматизації збору даних із вебресурсів на основі генеративного штучного інтелекту

Анотація

Актуальність дослідження зумовлена тим, що в сучасних умовах стрімкої диджиталізації, глобального розвитку інтернету  та безперервного зростання обсягів даних, отриманих із різноманітних вебресурсів, зростає потреба в розробці  ефективних інструментів для автоматизованого збирання, аналізу та структурування інформації. Вебскрапінг став  невіддільною складовою процесів інформаційного забезпечення в багатьох галузях. Проте традиційні методи збору  даних часто потребують складного ручного налаштування, що ускладнює масштабування систем та оперативне  реагування на зміни структури вебсторінок. У зв’язку з цим використання універсальних правил та алгоритмів для  створення вебскраперів набуває особливої актуальності. Особливу роль у цьому відіграють сучасні мовні моделі (LLM),  здатні генерувати адаптивні рішення, зокрема у вигляді динамічних виразів XPath, що використовуються для  ефективного вилучення потрібної інформації з HTML-структури вебсторінок. Такий підхід дає змогу створити  масштабовані та самонавчальні системи збору вебданих, які здатні адаптуватися до різних форматів контенту та швидко  підлаштовуватися до змін у вебінтерфейсах. Об’єктом дослідження є застосування великих мовних моделей (LLM) для  створення автоматизованих механізмів збору вебданих, а також дослідження їх потенціалу у генерації високоточних  запитів XPath. Предметом дослідження виступає модель, орієнтована на збір вебданих, яка передбачає багаторівневу  взаємодію між незалежними функціональними модулями системи та забезпечує їх інтеграцію через уніфіковані  інтерфейси та стандартизовані формати обміну даними. Результати. Запропонована розширена модульна модель  системи збору вебданих, яка охоплює всі ключові етапи обробки вебконтенту: від виявлення релевантних джерел  інформації, через генерацію та оптимізацію XPath-запитів, до збереження отриманих даних у масштабованій,  структурованій базі даних. Запропоноване архітектурне рішення забезпечує високу адаптивність до змін, стабільність  функціонування системи, мінімізацію витрат на технічну підтримку. Висновки. Використання генеративних мовних  моделей для автоматизації створення вебскраперів відкриває нові можливості для гнучкого, точного та стабільного  збору вебданих. Такий підхід сприяє ефективній інтеграції систем у мінливе вебсередовище, дозволяючи зменшити  часові та фінансові витрати на підтримку інформаційно-аналітичних платформ.