Зачем нужен файл robots.txt и как его правильно заполнять?

 

Зачем нужен файл robots.txt и как его правильно заполнять?

Что заносить туда, а чего не стоит?

Этот файл содержит список инструкций для поисковых машин, с помощью которых вы можете указать те файлы, страницы или разделы с сайта, которые поисковая машина не будет индексировать.

Можно ли не создавать файл?

Нет, мы не рекомендуем оставлять его без внимания. Да, большинство поисковых систем спокойно реагируют на отсутствие этого файла, но некоторые зарубежные прекращают индексацию сайта, если его не обнаружат, поэтому наличие robots.txt очень желательно.

Еще одна причина: если его не указать, то поисковик начинает считывать самостоятельно все страницы сайта, а большая часть страниц сайта технические. Как результат, робот сам начинает фильтровать, что индексировать, а что нет. В индекс попадает намного меньше нужных страниц, это если говорить о Яндексе. У Гугла другая система. Один правильно настроенный robots.txt иногда может увеличить % посещаемости на 5-10, а бывают случаи, когда и 100%.

Еще одно преимущество файла — он позволяет выбрать для некоторых поисковых машин (например, Яндекс) приоритетное зеркало сайта с помощью директивы Host и задать месторасположение sitemap.xml.

Что можно закрывать от индексации, а что не стоит?

Закрывать следует только тот контент, который сложно закрыть другими способами.

В идеале, файл robots.txt должен содержать директивы для основных ПС, например

  • User-agent: Googlebot
  • User-agent: Yandex
  • Visit-time: 0600-0845 —  эта директива разрешит загрузку страниц только в промежуток с 6 утра до 8:45 по Гринвичу и пригодится в том случае, если поисковые боты создают слишком большую нагрузку на сервер в пиковое время сайта
robots.txt

robots.txt

В файле robots желательно не указывать страницы, которые не нужно индексировать.

Где размещать файл?

Только в корневом каталоге сайта. Если у вас несколько поддоменов, тогда в корневых каталогах всех поддоменов.

Остались вопросы — напишите нам. Наши специалисты помогут вам в  создании данного файла.

Создание файла Стоимость от 100 у.е.

Поиск
Наши клиенты и партнеры

partner12

Оставить свой отзыв
  • Рекомендую! С начала 2013 года сотрудничаем с ребятами на постоянной основе. Студия отлично справляется с...

  • Всегда и везде, главное — взаимопонимание сторон. Проект мне достался в некоторой степени готовности, без...

  • Огромная благодарность ребятам!!! Сработали очень быстро, в течении 3 дней была создана и реализована...

  • Если Вы попали на этот сайт, предполагаю, цель у вас в совершенствовании бизнеса и увеличения дохода, не так...

  • Заказывал у ребят ролик-презентацию для своего проекта. Ребята отлично придумали концепцию, было несколько...

Читать все отзывы →
Подпишись на новые фишки

Ballon RSS Feed

Посетите наши страницы в социальных сетях!

ВКонтакте.      Facebook.      Google Plus.      Одноклассники.      RSS.
Вверх
© 2017    Копирование материалов сайта разрешено только при наличии активной ссылки   //    Войти