Индексация – процесс добавления информации в базы данных силами поисковых роботов.
Индекс – это собранная поисковыми роботами база данных о веб-документах. Фактически это копия контента, размещенного на сайтах, которые подходят для участия в поиске. Под контентом подразумевается как текст, так и медиафайлы на страницах, внутренние и внешние ссылки. При поисковом запросе система обращается к базе данных и выдает ссылки на релевантные сайты, отсортированные по значимости.
Как попасть в индекс поисковой системы
Как закрыть сайт от индексации
Виды индексации
Индексация – процесс добавления информации в базы данных силами поисковых роботов. Может выполняться вручную или автоматически.
Автоматическая индексация
Поисковые роботы проверяют информацию: находят сайт, сканируя файл-карту или переходя по внешним ссылкам с других страниц.
Ручная индексация
Владелец сайта самостоятельно добавляет URL в специальную форму, которая есть у всех известных поисковиков.
База, полученная в ходе индексации, влияет на формирование поисковой выдачи. У поисковиков есть роботы, сканирующие каждую страницу в обычном режиме, а также роботы, занимающиеся только поиском новой информации. Когда робот посещает страницу впервые, он фиксирует в индексе всю имеющуюся информацию, если она попадает под требования поисковиков. При последующих визитах полученные данные дополняются новыми деталями.
Как попасть в индекс поисковой системы
Применение инструментов поисковиков
Самые крупные поисковые системы – Google и Яндекс – предлагают собственные сервисы для индексации. Это Search Console и Яндекс Вебмастер, соответственно.
Доступ к Search Console есть на главной странице Google. Сервис предложит ввести название сайта и выполнить дальнейшую работу.
Яндекс Вебмастер можно найти на панели инструментов Яндекса. Сервис также предоставляет возможность ввести название сайта для индексации прямо на главной странице. Отличие этого сервиса в том, что в нем можно задать до 20 страниц, которые нужно проиндексировать в приоритетном порядке.
Если речь идет об индексации всего сайта, более эффективным решением может стать добавление в Google или Яндекс ссылки на его карту. Так поисковики будут самостоятельно отслеживать появление новых страниц и добавлять их в индекс. Обычно процесс индексации новых страниц занимает 1–2 недели.
Размещение ссылок на других сайтах
Это популярный инструмент продвижения, позволяющий в некоторых случаях ускорить индексацию. Ссылки на страницы размещаются на тематических или новостных порталах, поисковые роботы посещают их, переходят по ссылкам и индексируют новые страницы. Если размещаться на новостных ресурсах, индексация может пройти быстрее – такие сайты роботы проверяют чаще.
Как можно ускорить индексацию
Высокая скорость попадания страницы в индекс позитивно влияет на продвижение сайта. При этом поисковые роботы не всегда могут отслеживать изменения на страницах или расширение сайта. В Яндексе скорость индексации – 1–2 недели в среднем, в Google – несколько дней. На скорость попадания страницы в индекс влияет несколько факторов:
- качественный контент: высокий процент уникальности, отсутствие переспама, перенасыщения страницы поисковыми запросами;
- частое обновление контента на сайте;
- высокий авторитет ресурса;
- корректное заполнение карты сайта;
- наличие перелинковки на сайте;
- ссылки на новые страницы в социальных сетях и тематических порталах.
Как проверить индексацию
Проверка через сервисы поисковиков
Проверка в Яндексе и Google немного отличается. В Яндекс Вебмастере есть специальный инструмент – «Проверить статус URL». В него нужно добавить ссылку и сделать запрос. Ответ приходит в течение нескольких минут (в редких случаях – часов). В Search Console ссылку нужно добавить в окно в верхней части экрана. После этого откроется отдельная форма с информацией по индексации.
Проверка с помощью отдельных сервисов
Некоторые сервисы и плагины способны выполнять проверку индексации до 50 страниц одновременно. Одними из самых популярных плагинов являются RDS Bar и Serphunt.
Проверка с помощью команды site
В поисковую строку Google или Яндекса необходимо ввести команду формата «site:название сайта». По запросу будут выданы все страницы, находящиеся в индексе. Если значения в разных поисковых системах отличаются, возможно страницы находятся под фильтрами.
Как закрыть сайт от индексации
Отдельные страницы необязательно, а в некоторых случаях – нежелательно показывать поисковым роботам. Среди таких страниц, например, служебные или находящиеся в разработке. Для защиты от индексации можно воспользоваться следующими методами:
- применить команду Disallow в файле robots.txt;
- в код страницы добавить тег noindex;
- установить авторизацию на отдельные разделы сайта.
