Как заблокировать «плохих» ботов через .htaccess

Порой, не в меру любопытные поисковые боты создают лишнюю нагрузку на CPU хостера. Под любопытными подразумеваю так называемые «плохие», те, которые не влияют на индексирование и не несут никакой пользый.

Закрываем доступ к сайту «ненужным» роботам через .htaccess

Доступ к сайту для такого «вредного» паука можно заблокировать через файл .htaccess

# Bad Bot Blocker
SetEnvIfNoCase User-Agent "AhrefsBot|Aport|Serpstat|PetalBot" bad_bot
<Limit GET POST HEAD> 
Order Allow,Deny 
Allow from all
Deny from env=bad_bot
</Limit>
# END Bad Bot Blocker

В строке

SetEnvIfNoCase User-Agent "AhrefsBot|Aport|Serpstat|PetalBot" bad_bot

через прямую черту | перечисляются юзер-агенты ботов.

Закрываем доступ к сайту «вредным» роботам через robots.txt

Не будет лишним прописать запрещающие правила и в файле robots.txt. Пример ниже указывет краулеру PetalBot, чтобы он не посещал ни одной страницы вашего сайта:

User-agent: PetalBot
Disallow: /