Полезный кейс для .htaccess
Увеличение размера файла для загрузки:
Данный код помещаем в самый конец файла.
Закрыть сайт от индексации в файле .htaccess:
#Закрытие индексации
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
SetEnvIfNoCase User-Agent "^Googlebot-Image" search_bot
SetEnvIfNoCase User-Agent "^StackRambler" search_bot
SetEnvIfNoCase User-Agent "^Adsbot-Google" search_bot
SetEnvIfNoCase User-Agent "^WebAlta" search_bot
SetEnvIfNoCase User-Agent "^Googlebot-Mobile" search_bot
SetEnvIfNoCase User-Agent "^YandexImages" search_bot
SetEnvIfNoCase User-Agent "Подробнее:
semantica.in/blog/prakticheskie-resheniya-zakrytie-sajta-ili-ego-chasti-ot-indeksaczii.html
Источник записи: https://mediadoma.com