Как мой сайт парсил сторонний бот под видом Googlebot — как я его определил и обезвредил
Введение
Владельцы сайтов часто считают, что если запрос пришёл с User-Agent Googlebot, значит это действительно бот Google. На практике — это одна из самых популярных схем маскировки у сторонних парсеров, конкурентов и сервисов по сбору контента. Вы можете проверить дейстивительно ли IP-адрес принадлежит Googlebot в нашем онлайн сервисе https://webseed.ru/projects/check-googlebot-ip
В этой статье я расскажу реальный технический кейс, как мой сайт начали активно парсить под видом Googlebot, как я это определил, какие инструменты использовал и как полностью нейтрализовал угрозу без вреда для SEO.
В чём проблема: поддельный Googlebot
Поддельные боты используют:
User-Agent:
Googlebot/2.1Частые GET-запросы
Обход robots.txt
Парсинг контента, цен, текстов, структуры сайта
Опасности:
Утечка уникального контента
Нагрузка на сервер
Искажение логов аналитики
Возможные санкции при неправильной блокировке
Первый тревожный сигнал
Я заметил:
Резкий рост crawl-запросов
Обращения к страницам, которые Google обычно не обходит
Запросы с одинаковыми таймингами
Подозрительные IP, не принадлежащие Google
User-Agent был корректный, но поведение — нет.
Как я проверил: настоящий ли это Googlebot
1. Проверка IP-адреса (ключевой этап)
Настоящий Googlebot:
Имеет обратную DNS-запись
PTR должен заканчиваться на:
googlebot.comgoogle.com
Далее:
Forward DNS → IP должен совпадать
❌ В моём случае:
PTR отсутствовал
Домен не принадлежал Google
IP не был в официальных диапазонах Google
Вы можете проверить дейстивительно ли IP-адрес принадлежит Googlebot в нашем онлайн сервисе https://webseed.ru/projects/check-googlebot-ip
2. Анализ логов сервера (Nginx)
Я проанализировал:
Частоту запросов
Повторяемость URL
Поведение по времени
Отсутствие пауз между запросами
Это типичное поведение парсера, а не поискового бота.
Как я обезвредил фейкового Googlebot (без вреда для SEO)
1. Белый список IP Google
Я разрешил доступ:
Только IP из официальных диапазонов Google
Остальные — блок при User-Agent
GooglebotЛибо можно заблокировать точечно IP ардеса поддельных ботов на уровне вашего веб-сервера.
2. Серверная проверка (а не JS)
⚠️ Важно:
Нельзя полагаться на JavaScript — боты его игнорируют.
Использовалось:
Проверка IP
Reverse + Forward DNS
Серверные правила Nginx
3. Защита от повторных запросов
Дополнительно:
Rate limiting
Блок по паттернам URL
Логи с алертами
Результат
✅ Фейковый бот полностью заблокирован
✅ Настоящий Googlebot продолжает индексировать сайт
✅ Нагрузка на сервер снизилась
✅ Контент защищён
✅ SEO не пострадало
Почему нельзя просто заблокировать Googlebot
Распространённая ошибка:
«Запретим Googlebot в firewall — и всё»
Последствия:
Выпадение страниц из индекса
Потеря позиций
Долгая реиндексация
Нужна точечная, умная фильтрация.
Мы предоставляем услугу защиты сайта от фейковых ботов
Если ваш сайт:
Парсят конкуренты
Крадут контент
Маскируются под Googlebot
Создают нагрузку на сервер
Искажают аналитику
? Мы можем помочь.
Стоимость услуги
Услуга | Что входит | Цена |
|---|---|---|
Проверка Googlebot | Анализ IP, логов, UA | от 3 000 ₽ |
Поиск и блокировка фейковых ботов | Nginx / Firewall / DNS | от 7 000 ₽ |
Полная защита от парсинга и скрапинга | Подозрительные боты | от 15 000 ₽ |
Индивидуальная защита | Под ваш проект | по договорённости |
Почему стоит обратиться к нам
10+ лет опыта в SEO и технической оптимизации
Реальные кейсы, а не теория
Работаем без вреда для индексации
Понимаем, как ведут себя настоящие поисковые боты
Опыт с Nginx, Cloudflare, серверными логами
Итог
Поддельные Googlebot — реальная и массовая проблема, особенно для сайтов с ценным контентом.
Но при грамотном подходе их можно точно выявить и заблокировать, не навредив SEO.
? Обратитесь к нам, и мы:
Проверим ваш трафик
Найдём фейковых ботов
Защитим сайт
Сохраним позиции в поиске
