![]()
Файл robots.txt - указывает поисковым роботам какие каталоги брать для индексации не следует. Если пуст или не существует, то все можно брать.
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем
"robots.txt" (http://www.mydomain.com/robots.txt).
Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
robots.txt состоит из двух полей:
- User-agent - название робота,
- Disallow - запрет на индексирование файла или директории.
- комментарии - начинаются с новой строки с #.
ПРАВИЛАРедакторы
robots.txt должен создаваться в текстовом формате.
В качестве редактора можно использовать блокнот, FTP-клиент, некоторые HTML-редакторы.
Название
robots.txt, а не robot.txt или Robots.txt, иначе не будет работать.
Местонахождение
Файл robots.txt должен располагаться в корневом каталоге.
Пробелы
<Поле> ":" <значение>
Пробелы не имеют значения.
Комментарии
Комментарии - начинаются с новой строки с #. Пробел после # не обязателен.
Порядок
1-я строка User-agent, которая определяет робота,
а последующая Disallow определяет файл или папку, закрытую для индексирования.
Если запрет относится к ряду роботов, то они пишутся один за одним отдельно, а потом запрет или перечень запретов, например:
User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng
То же самое и для Disallow - каждый запрет с новой строчки.
Если же для разных роботов разные запреты, то они разделяются пустой строкой, например:
User-agent: *
Disallow: /news
# запретить всем роботам индексировать ссылки,
#которые начинаются с /news
User-agent: StackRambler
User-agent: Aport
Disallow: /eng
Disallow: /news
#Рамблеру и Апорту запретить индексацию ссылок,
#которые начинаются с /news и /eng
User-agent: Yandex
Disallow:
#Яндексу разрешить все.
Запрет всем роботам индексацию файлов с расширениями .doc и .pdf:
User-Agent: *
Disallow: /*.doc$
Disallow: /*.pdf$ |
ПРИМЕРЫUser-agent: Roverdog
Disallow: email.htm
Разрешает всем роботам индексировать все:
User-agent: *
Disallow:
Запрещает всем роботам всё:
User-agent: *
Disallow: /
Запрещает всем роботам индексировать файл email.htm, все файлы в папке "cgi-bin" и папке 2-го уровня "images":
User-agent: *
Disallow: email.htm
Disallow: /cgi-bin/
Disallow: /images/
Запрещает роботу Roverdog индексировать все файлы сервера:
User-agent: Roverdog
Disallow: /
Еще пример:
User-agent: *
Disallow: /cgi-bin/moshkow
Disallow: /cgi-bin/html-KOI/AQUARIUM/songs
Disallow: /cgi-bin/html-KOI/AQUARIUM/history
Disallow: /cgi-bin/html-windows/AQUARIUM/songs
Disallow: /cgi-bin/html-windows/AQUARIUM/history |
МЕТА-тег ROBOTSМЕТА тег robots служит для того, чтобы разрешать или запрещать роботам, приходящим на сайт, индексировать данную страницу. Кроме того, этот тег предназначен для того, чтобы предлагать роботам пройтись по всем страницам сайта и проиндексировать их. Сейчас этот тег приобретает все большее значение.
<HTML>
<HEAD>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
<META NAME="DESCRIPTION" CONTENT="Эта страница ….">
<TITLE>...</TITLE>
</HEAD>
<BODY>
NOINDEX - запрещает индексирование документа;
NOFOLLOW - запрещает проход по ссылкам, имеющимся в документе;
INDEX - разрешает индексирование документа;
FOLLOW - разрешает проход по ссылкам.
ALL - индексировать всё, равносильно INDEX, FOLLOW
NONE - не индексировать ничего, равносильно NOINDEX, NOFOLLOW
Примеры мета-тега robots:
<META NAME=ROBOTS" CONTENT="NOINDEX, FOLLOW">
<META NAME=ROBOTS" CONTENT="INDEX, NOFOLLOW">
<META NAME=ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
|
|
|
|
Etiam dapibus, estmile m es tellus ac ornare aliquam, amet nibh. Viva lacer donec a mus non arcu. Lorem ipsum dolor sit amet proeml ae consectetur adipiscing elit. Etiam dapibus, estmile m es tellus ac ornare aliquam, consectetur ea.
Donec sit amet nibh. Viva lacer donec a mus non arcu. Lorem ipsum dolor sit amet proeml dolor sit amet proeml ae consectetur adipiscing elit. Etiam dapibus, estmile m es tellus ac ornare aliquam, consectetur ea estmile m es tellus ac.
Lorem ipsum dolor sit amet proeml ae consectetur. Lorem ipsum dolor sit amet, consectetur ad estmele ipiscing elit. Donec sit amet nibh. Viva lacer donec a mus non arcu. adipiscing elit. Etiam dapibus, estmile m es tellus consectetur ea.
