Как утихомирить YandexBot/3.0?
70 сообщений
#8 лет назад
Здравствуйте.Бот Яндекса YandexBot/3.0 замучил уже. Сутками напролёт DDOS-ит сайт, тормозит сервер. Выгружает страницы десятками тысяч в сутки (доска объявлений).
Уже убрал с сайта метрику, кнопки соцсетей Яндекса.
Crawl-delay: 30 в robots.txt тоже не особо помогает.
Кто-нибудь знает ещё реальные способы как успокоить этого сумасшедшего бота?
1205 сообщений
#8 лет назад
Цитата:Выгружает страницы десятками тысяч в суткиТак а что ж тут плохого то? Радоваться надо, что страницы в индекс попадают и бот уделяет должное внимание домену/сайту!
А так Вы его забаните он обидится и не прийдет к Вам больше...
Может лучше смотреть в сторону конфигурации сервера, нанять спец. что бы оптимизировал нагрузку или даже поменять тариф на более лучший?
3318 сообщений
#8 лет назад
Для начала проверьте айпишник, принадлежит ли он Яндекс-боту. Порой парсеры могут под него шифроваться )Сколько страниц в сайте, что десятки тысяч в сутки и он никак не утихомирится?
Создайте сайтмап - чтобы он быстрее прогрузил себе странички. Я не представляю активность наполнения Вашей доски, чтобы дать какой то дельный совет, только догадки.
Возможно у вас не кешируются запросы по страничкам, а каждый запрос в БД не по детски грузит сервер... Или на сервере медленные диски или запросы к БД не оптимизированы. Выход программно: включить кеш, оптимизировать запросы к БД. Серверно: поменять сервак.