web разработка по низким ценам
ул. Шевченко, 37а / офис 1
Украина, ЧО, г. Нежин
+38 068 681 00 08
ежедневно с 08:00 до 22:00
Оставьте заявку, и мы перезвоним вам в течении 15 минут
отправить
Представьтесь пожалуйста *Например, Виктор Смирнов
Ваш номер телефона *Например, +38 (068)-681-00-08
Примечание для оператораНапример, Пожалуйста, свяжитесь со мной во второй половине дня
* - поля, обязательные для заполнения
x
Оставьте заявку, и мы свяжемся с вами в ближайшее время
отправить
Тема обращенияНапример, Требуется продвижение сайта
Представьтесь пожалуйстаНапример, Виктор Смирнов
Ваш номер телефонаНапример, +38 (068)-681-00-08
Ваш e-mailНапример, youname@site.com
Сообщение для оператораНапример, Пожалуйста, помогите мне определиться с тарифом
Все поля, обязательны для заполнения
x
» Robots.txt файл

Robots.txt файл

Опубликовано: 15.01.2017 в 17:52
Robots.txt – файл с инструкцией для поисковых систем, который размещается в корневой папке сайта и контролирует поведение поисковых роботов, не разрешая индексировать некоторые части сайта.

 

Robots.txt файл

 

История Robots.txt

Середина 90-х годов ознаменовалась стремительным развитием поисковых сервисов в Сети, которые препятствовали своими действиями работе по оптимизации сайтов. Все потому что при индексации сайтов поисковики обрабатывали полностью все страницы, в результате чего появилась необходимость в разработке средства, которое бы указывало поисковым системам на то, что стоит индексировать, а что нет. В 1994 году был подписан договор, согласно которому был разработан универсальный инструмент - Robots.txt (стандарт написания рабочих файлов).

 

Robots.txt файл

 

Поисковик и Robots.txt

Посещая любой ресурс, поисковик обращается к robots.txt, пример которого:

User-agent: *

Disallow: /tmp/

Disallow: /cgi-bin/

Звездочка, которая поставлена после User-agent, говорит об общем доступе к содержимому файла robots.txt  для всех поисковиков. Также вместо звездочки здесь может указываться имя конкретного робота. Команда Disallow означает запрет действий поисковых систем. На значение формулы оказывает существенное влияние слэш (/), находящийся после Disallow:

User-agent: *

Disallow: /

Эта косая линия говорит всем поисковым роботам о запрете индексации сайта.

Тег noindex и атрибут nofollow тоже запрещают индексацию, но поисковые системы относятся к ним неодобрительно. 

Понравился материал? Поделитесь с друзьям:
0
Поделилось
0 комментариев к новости
Комментарии к данной новости отсутствуют. Будьте первым, и выразите свое менение!
Добавить комментарий
Ваше Имя:
Ваш E-mail:
Ваш комментарий: