Статьи с тегом «robots.txt» ↓
Собственный лог посещений поисковых роботов на PHP и .htaccess
Давай опустим момент наличия соответствующих логов и прикинемся, что их нет.
А что есть? Правильно, в нашем распоряжении всегда есть robots.txt и почти всегда .htaccess. Ну, и будем надеяться звезды сошлись так, что есть и то, и другое.
Начнем конечно же с .htaccess:
RewriteEngine on
Options +FollowSymlinks
RewriteBase /
RewriteRule ^robots.txt$ /robots.php?%{REQUEST_URI}
Что здесь нужно прокоммент... →
А что есть? Правильно, в нашем распоряжении всегда есть robots.txt и почти всегда .htaccess. Ну, и будем надеяться звезды сошлись так, что есть и то, и другое.
Начнем конечно же с .htaccess:
RewriteEngine on
Options +FollowSymlinks
RewriteBase /
RewriteRule ^robots.txt$ /robots.php?%{REQUEST_URI}
Что здесь нужно прокоммент... →
