Давай опустим момент наличия соответствующих логов и прикинемся, что их нет.
А что есть? Правильно, в нашем распоряжении всегда есть robots.txt и почти всегда .htaccess. Ну, и будем надеяться звезды сошлись так, что есть и то, и другое.
 
Начнем конечно же с .htaccess:

Что здесь нужно прокоммент... →

Недавно, при работе над своим проектом я столкнулся с проблемой в работе mod_rewrite. Суть проблемы заключалась в следующем: в облаке тегов, при переходе на тег «C++» (обработанный urlencode и ставший C%2B%2B) я попадал на тег «С » (буква «С» и 2 пробела).
 
Правило в .htaccess было таким:
 
RewriteRule ^tag/([^/]+)/$ index.php?tag=$1 [L]
 
Путем экспериментов выяснил, что в $1 правила попадает не «C%2B%2B», а «C++» (внутри апача %2B превращае... →

Для тех, кто не очень силен в настройке web-сервера и/или желает научиться без ошибок настраивать файлы .htaccess - сообщаю пару полезных ссылок:
 
http://www.ph4.ru/wm_htaccess.ph4 (онлайн инструмент)
 
http://www.htaccessgenerator.com/ (оффлайн инструмент)
... →

Иногда возникают ситуации, когда требуется закрыть паролем доступ ко всему сайту или некоторым его папкам. Это легко сделать с помощью файлов .htaccess и .htpasswd.
 
В директории, которую мы хотим закрыть паролем (или в корневом каталоге сайта, если мы закрываем весь сайт), создадим файл .htaccess, в который запишем такие строки:
 
AuthName "произвольный_текст"
AuthType Basic  
Require valid-user
AuthUserFile "полный_путь_к _файлу_.htpasswd... →