В случае, если ключ на устройстве, к которому происходит подключение по ssh не совпадает с…

Порой, не в меру любопытные поисковые боты создают лишнюю нагрузку на CPU хостера. Под любопытными подразумеваю так называемые «плохие», те, которые не влияют на индексирование и не несут никакой пользый.
Закрываем доступ к сайту «ненужным» роботам через .htaccess
Доступ к сайту для такого «вредного» паука можно заблокировать через файл .htaccess
# Bad Bot Blocker SetEnvIfNoCase User-Agent "AhrefsBot|Aport|Serpstat|PetalBot" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all Deny from env=bad_bot </Limit> # END Bad Bot Blocker
В строке
SetEnvIfNoCase User-Agent "AhrefsBot|Aport|Serpstat|PetalBot" bad_bot
через прямую черту | перечисляются юзер-агенты ботов.
Закрываем доступ к сайту «вредным» роботам через robots.txt
Не будет лишним прописать запрещающие правила и в файле robots.txt. Пример ниже указывет краулеру PetalBot, чтобы он не посещал ни одной страницы вашего сайта:
User-agent: PetalBot Disallow: /
Комментариев: 0