Что такое парсинг сайтов и три способа его сделать
Парсинг сайта — автоматический сбор данных со страниц в таблицу: вместо того чтобы копировать цены, адреса или вакансии вручную, вы получаете готовый файл. Способов три.
| Способ | Как настраивается | Для чего подходит |
|---|---|---|
| Свой скрипт | Код на языке программирования. Например, Scrapy — фреймворк для обхода сайтов и извлечения структурированных данных; примеры в его документации написаны на Python | Большие объёмы и сложная логика, если рядом есть программист |
| Готовый парсер | Настройка в интерфейсе. Octoparse, например, — инструмент без кода: задачу собирают мышью, есть готовые шаблоны и облачный запуск | Типовые источники, которые повторяются |
| ИИ-агент | Описание словами в чате | Нестандартные сайты, разовые сборы, регулярные сборы на десятки и сотни страниц |
Описание Scrapy и Octoparse приведено по их официальным сайтам на 9 октября 2026. Агент занимает место между скриптом и готовым парсером: код писать не нужно, и для сайта не требуется готовый шаблон.
Как агент собирает данные с сайта
Агент открывает страницу в своём облачном браузере, как человек: ждёт загрузки, листает, нажимает «Показать ещё» и номера страниц списка, заполняет поиск и фильтры. Данные, которые появляются после загрузки страницы, он видит так же, как вы. Если сайт требует вход, агент входит в кабинет с паролем из сейфа.
Потом агент читает нужные поля и записывает их в xlsx, csv или вашу базу. Первый проход идёт на нескольких страницах при вас: агент показывает, что нашёл, вы подтверждаете поля. Затем он проходит по остальным.
Парсинг сайта онлайн не требует установки: Allokai открывается в браузере на компьютере и на телефоне, а сбор идёт в облаке.
Таблица с сайта в Excel
Для парсинга таблицы с сайта назовите страницу и столбцы. Агент прочитает строки таблицы, пройдёт по страницам списка, если он длинный, и запишет всё в xlsx с теми же заголовками.
Что нужно от вас
- адрес сайта или список страниц, с которых собирать;
- поля, которые нужны: например название, цена, ссылка;
- формат результата: xlsx, csv или таблица в базе;
- как часто собирать: один раз или по расписанию;
- доступ, если данные видны только после входа: пароль вы вводите в защищённую форму.
Что можно собирать
- Цены и наличие. Подробнее — в разделе про мониторинг цен конкурентов.
- Каталоги. Названия, артикулы, характеристики, ссылки на карточки.
- Таблицы с сайтов. Курсы, расписания, рейтинги, реестры.
- Вакансии. Название, компания, зарплата, ссылка.
- Тендеры и закупки. Номер, заказчик, сумма, срок подачи.
- Публичные данные о компаниях. Название, адрес, вид деятельности, сайт.
Готовых шаблонов под Ozon, Wildberries и Авито нет: агент разбирает каждую страницу под вашу задачу.
Разово или по расписанию
Разовый сбор заканчивается файлом в чате. Регулярный сбор агент ставит самым дешёвым способом: обычно это скрипт по расписанию на вашей облачной машине, без модели, — короткий запуск стоит сотые доли кредита. Такая задача собирает данные по расписанию, например каждое утро в 7:00, сравнивает результат с прошлым запуском и пишет в чат, что изменилось. Выключить задачу можно словами. Итоги за период агент оформит как отчёт по расписанию.
Большие объёмы
Когда страниц сотни и больше, обход браузером по одной странице занимает много времени и кредитов. Для такого объёма агент может написать скрипт и запустить его на Linux-машине в облаке; браузер остаётся для шагов, где нужен вход или нажатия. Объём ограничен кредитами и защитой сайта. Миллионы страниц Allokai не обещает: для них существуют промышленные парсеры.
Для постоянного мониторинга цен в большом каталоге есть готовые сервисы. У ParserPlus, например, по сведениям с его сайта на 9 октября 2026, тарифы идут от бесплатного (5 000 проверок в месяц, до 5 сайтов, без сайтов с защитой от ботов) до корпоративного от 49 900 ₽ в месяц (от 800 000 проверок). Такой сервис подходит, когда позиций тысячи и нужно сопоставление товаров.
Что законно и этично
Юридическая оценка сбора зависит от сайта и данных. Её даёт юрист, эта страница её не заменяет. Что можно проверить самому: собирайте публичные данные, то есть страницы, которые открываются любому посетителю. Условия использования сайта могут запрещать автоматический сбор, поэтому прочитайте их до запуска. Файл robots.txt по стандарту RFC 9309 — просьба владельца сайта к автоматическим клиентам не заходить на указанные адреса, и механизмом защиты доступа он не считается. Откройте этот файл у нужного сайта и скажите агенту, какие разделы не трогать.
Для сбора персональных данных физических лиц (телефонов, адресов почты, профилей) эта задача не предназначена. Частоту сбора выбирайте так, чтобы не нагружать сайт: раз в сутки — это один заход на каждую страницу.
Что не получится
- Защита от ботов и капча. Агент не проходит проверку «я не робот» и не обходит защиту. Если сайт её показывает, данных с него не будет.
- Закрытые разделы. За логином агент собирает данные только из кабинета, доступ к которому есть у вас.
- Промышленные объёмы. Миллионы страниц и круглосуточный обход каталогов — для специализированных сервисов.
Если нужно постоянно собирать данные и показывать их на странице, агент может создать приложение. Для команды есть ссылка с ключом, а приложение с веб-сервером можно открыть всем на своём домене. Публикуйте только данные, которые разрешено распространять. Подробнее — как агент создаёт приложение.