Нередко на ваш любимый сайт приходят нежеланные гости, различные сборщики ссылок для не совсем понятных целей, seo-аналитики и прочие боты-индексаторы, вызывая своей работой повышенную нагрузку и создавая паразитный трафик.
Для блокировки большинства из них достаточно зайти по ссылке из access.log, указанной в строке UserAgent бота, и прочитать о том, как исключить ваш сайт, добавив в файл robots.txt директивы запрета Disallow с соответствующим User-Agent.
Проанализировав статистику рефералов, собранную из access.log более чем 80 сайтов я выделил 6 особо злобных и надоедливых роботов.
Ниже я хочу поделится с вами коллекцией, собранной за 2014 год.
User-agent: AhrefsBot Disallow: / User-agent: BLEXBot Disallow: / User-Agent: MJ12bot Disallow: / User-agent: TurnitinBot Disallow: / User-agent: spbot Disallow: / User-agent: dotbot Disallow: / User-agent: SemrushBot-SA Disallow: / User-agent: XoviBot Disallow: / User-agent: WBSearchBot Disallow: /
Добавив эти правила в файл robots.txt вашего сайта вы и ваш сайт навсегда забудете о существовании этих роботов.