Индексация — это сканирование всех доступных для этого элементов сайта со стороны поисковых ботов, с занесением этих данных в базу поисковой системы. Для того чтобы сайт индексировался, необходимо соответствующее разрешение в его настройках. В основном с этим проблем не бывает, так как обычно эти настройки автоматически ориентированы на индексирование страниц. Но бывают ситуации, когда необходимо закрыть сайт от индексации. И это тоже часть его SEO-оптимизации.
Что и почему нужно скрывать от поисковой системы?
Следует помнить, что есть такое понятие, как лимит индексации. Лимит подразумевает ограничение во времени, которое поисковый бот тратит на обход сайта.
Чем кропотливее мы облегчаем ботам работу, тем качественнее они её проводят. Это повышает скорость и степень индексации, следовательно, улучшает шансы ресурса попасть в ТОП-10 выдач по запросу. Что нужно закрывать от индексации?
- неуникальный и дублирующийся контент;
- некоторую техническую информацию;
- страницы с контентом, нужным пользователям, но бесполезным для индексации.
Есть ряд способов, как убрать контент из поля зрения поисковых систем. Основные инструменты приведены в данном обзоре.
Файл robots.txt
Основной способ закрыть домен от индексирования – это редактирование файла robots.txt, который содержит все настройки работы сайта. В том числе он определяет границы и правила индексации. Поисковый бот всегда начинает сканирование сайта с осмотра файла robots.txt.
Запрет на сканирование накладывается при мощи директивы Disallow. Если требуется исключить из индексации весь ресурс, прописывается следующее:
User-agent: *
Disallow: /
Это шаблон. При необходимости ограничить сканирование сайта определёнными поисковыми сетями следует вместо «*» указать наименование - Google, Yandex и т.д.
Если нужно ограничить индексацию только определённым поисковиком, нужно оставить строки шаблона, и добавить ниже, например:
User-agent: Google
Allow: /
Редактирование HTML
В разметке документа HTML можно задействовать мета-тег robots. Пример, как закрыть сайт от индексации через гипертекстовую разметку:
meta name=«robots» content=«noindex»
Тег noindex можно использовать отдельно для запрета сканирования определённых элементов сайта. Например, запрет на индекс какой-нибудь ссылки будет выглядеть так:
<noindex><a href="http://web-magazine.com.ua/">адрес ссылки</a></noindex>
Закрытие через jаvascript
Язык программирования jаvascript среди прочего позволяет закодировать некоторые комплексы элементов сайта в отдельные js -файлы. Этот файл можно указать по уже описанной выше манере в файле robots.txt с соответствующим запретом при помощи директивы Disallow.