Мониторинг пиратских сайтов в Яндексе
Автоматический парсинг выдачи Яндекса, фильтрация по ключевым словам и уведомления о новых нарушениях
77
нод в воркфлоу
4
произведения одновременно
7
страниц выдачи за раз
0
часов ручного мониторинга
Задача
Правообладатели нескольких онлайн-курсов тратили десятки часов в неделю на ручной поиск пиратских копий своих материалов в поисковой выдаче Яндекса. При этом часть нарушений оставалась незамеченной — поиск велся нерегулярно и без системы.
Решение
Разработан автоматический воркфлоу на n8n, который по расписанию отправляет поисковые запросы через YaSearch API, парсит результаты (до 7 страниц выдачи), применяет многоуровневую фильтрацию по ключевым словам и URL, исключает официальные сайты, удаляет дубли и записывает найденные нарушения в отдельные листы Google Sheets для каждого произведения. При появлении новых результатов отправляет уведомление в Telegram.
Стек
Архитектура воркфлоу
Запуск по Webhook / расписанию
Воркфлоу запускается по Webhook-триггеру или по расписанию. Из Google Sheets загружается список поисковых запросов для каждого произведения.
Формирование запросов к YaSearch
JavaScript-нода собирает батч запросов к Яндекс Поиску (настраивается до 7 страниц), добавляет задержки между запросами для соблюдения лимитов API.
Парсинг и преобразование HTML
Полученные ответы декодируются из base64, HTML очищается и из него извлекаются URL и описания результатов поиска.
Многоуровневая фильтрация
Для каждого произведения применяется свой набор фильтров: по ключевым словам в URL и описании, исключение официальных доменов, дедупликация по URL.
Распределение по таблицам
Отфильтрованные результаты через Switch-ноду направляются в отдельные листы Google Sheets для каждого клиента и произведения. Ошибки записываются в отдельный лист.
Уведомление в Telegram
После завершения цикла в Telegram-чат отправляется сводное сообщение с количеством найденных нарушений или статусом «ничего не найдено».
Результат
Система работает в фоне, обнаруживает пиратские копии быстрее любого ручного контроля и формирует готовые таблицы с доказательствами для юридических обращений.