Мусорные страницы - это страницы, содержимое которых не представляет полезности для пользователей поисковых систем.

Примеры мусорных страниц:
• страница восстановления пароля;
• страницы результатов поиска внутри сайта;
• страницы регистрации на сайте;
• страницы фильтрации;
• страницы пагинации;
• и др. страницы не представляющие ценности для пользователя;

Краулинговый бюджет — это количество страниц, которые поисковые робот (паучки), могут обойти за конкретный временной период.
Поэтому, мусорные страницы должны быть удалены!

Есть несколько способов удалить подобные страницы из индекса:
1. настройка правил индексации сайта посредством robots.txt
2. Удаление неиспользуемых страниц. Это актуально для дублей и старых версий страниц.
3. Настройка 301 редиректа с дубля на целевую страницу.
4. Настройка атрибута rel = «canonical»

robots.txt — специальный текстовый файл, содержащий инструкции для поисковых роботов, которым они должны следовать при индексировании сайта. Проще говоря, вы можете указать какие адреса на вашем сайте индексировать, а какие нет, это его основное предназначение.

Этот файл должен лежать в корне сайта и быть доступен по адресу

domen.by/robots.txt

Любой поисковый робот перед индексированием сайта, ищет этот файл и считывает из него инструкции.



Зачем нужен файл robots.txt

• закрыть от индексации страницы с личной информацией пользователей на сайте;
• закрыть от индексации страницы с разнообразными формами отправки информации;
• настроить зеркало сайта;
• закрыть от индексации страницы с результатами поиска.
• закрыть от индексации дубли
• закрыть от индексации мусорные страницы
• указать HOST
• указать адрес sitemap.xml

Так роботы поисковых систем видят сайт с файлом robots.txt и без него:


Без robots.txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу

Инструкции файла robots.txt:

User-agent — здесь указывается для какого поискового робота предназначены инструкции, описанные ниже.

Например:

User-agent: YandexBot — все инструкции ниже будет выполнять только YandexBot.

User-agent: Googlebot — все инструкции ниже будет выполнять только Googlebot.

User-agent: * — инструкции указаны для всех поисковых роботов.

В большинстве случаев используется именно User-agent: *, но бывают случаи когда необходимо для разных роботов указывать разные инструкции. Например у яндекса 11 роботов, а у google 8, они используются для индексации разного типа сайтов и документов.

Disallow — самая популярная инструкция. Используется для запрета индексации определенных URL адресов.

Например:

Disallow: / — запретить индексацию всего сайта.

Disallow: /someurl — запретить индексацию всех адресов вида http://domen.by/someurl*, то есть любой адрес начинающийся с /someurl (/someurl/, /someurl1, /someurl123, / someurl.php и т.д.), будет запрещен к индексации.

Disallow: /someurl/ — запрет индексации только раздела /someurl/. Адреса /someurl1, /someurl123 или /someurl.php будут доступны для индексации, а адреса вида /someurl/item будут запрещены для индексации.

Allow — инструкция противоположная Disallow, то есть с помощью нее можно разрешить к индексации URL адреса. Логично использовать, когда нужно запретить индексирование адресов в определенном каталоге, но оставить один или несколько адресов в этом каталоге открытым для индексирования.

Например набор инструкций

Allow: /someurl/item1 Disallow: /someurl/ разрешит индексировать адрес http://domen.by/someurll/item1, но все остальные адреса вида http://domen.by/someurl/* будут запрещены для индексации.

Crawl-delay — указывает роботу время в секундах, которое он должен выдерживать перед индексацией следующей страницы. Используется для снижения нагрузки на сервер во время индексации сайта.

Например:

Crawl-delay: 10 — ждать 10 секунд, перед индексацией следующей страницы. Проиндексировал страницу, подождал 10 секунд, можешь индексировать следующую и т.д.

Host — используется для указания главного зеркала для поисковых роботов яндекса (только они понимают эту инструкцию, google ее пропускает). Если сайт доступен по разным адресам http://www.your-site.com/ и http://your-site.com/, то эта инструкция укажет какое из зеркал главное.

Host: domen.by — главное зеркало сайтаdomen.by, а не www.domen.by

Sitemap — указывает поисковым роботам адрес карты сайта.

Sitemap: http://domen.by/sitemap.xml Также в фале robots.txt можно использовать регулярные выражения. Это очень полезно, для запрета индексации URL адресов, которые нельзя указать прямо, например URL с параметрами.

Создайте и разместите в «корневой директории сайта» файл robots.txt

Последовательность работ:

• узнать какая у вас CMS и какой версия
• ввести в поисковую строку запрос: «Правильный robots.txt для +название вашей CMS и версия»
• изучаем полученные результаты.
• находим интересующую нас информацию
• открываем блокнот
• переносим в него все директивы вашего robots
• прописываем правильный HOST
• прописываем правильный адрес Sitemap
• вносим поправки в директивы (при необходимости)
• сохраняем файл под названием «robots» , хвостик».txt» блокнот сам подставит.
• после того как все сохранили, переносим файл в корневой каталог сайта
• для проверки открываем браузер и в url вводим «ваш_сайт/robots.txt» (страницу перезагружаем удерживая кнопку F5)

Если через браузер открывается robots.txt , значит файл правильно перенесли