Как устроена индексация
Чтобы сайт продвигался в сети и оказался в поле видимости клиентов, ему необходимо попасть в поисковую выдачу (индекс) Гугла, Яндекса и других поисковых систем ― то есть проиндексироваться ими. Индекс ― это своеобразное хранилище данных, где содержится вся информация о веб-ресурсе. Поисковый робот обрабатывает информацию о каждой странице сайта, анализирует код, ключевые фразы, картинки, структуру веб-страницы и прочие данные. Впоследствии пользователь вводит запрос, и поисковая система выдает ему самый релевантный вариант из своего архива.
Как сайту обратить на себя внимание поисковых систем?
Существует несколько способов попасть и подняться в поисковом индексе:
-
Инструменты поисковиков. Вы сами сообщаете Яндексу и Гуглу, что у вас есть ресурс и его нужно проиндексировать. Для этого надо зарегистрировать сайт в Вебмастере и Search Console. В этом случае поисковые системы сами начинают индексировать сайт.
-
Внешние ссылки. Привлечь внимание робота можно размещением ссылок на сторонних ресурсах. Например, большой новостной сайт ссылается на материал вашего сайта и оставляет ссылку для перехода. В этом случае ваша страница быстро поднимется в рейтинге поисковика, потому что он посчитает вашу информацию полезной.
Как узнать, проиндексирован ли сайт
Несколько методов проверки индексации:
-
Яндекс Вебмастер и Google Search Console. Эти инструменты позволяют быстро проверить, проиндексирован ли сайт и есть ли в индексе его отдельные страницы. В Вебмастере это раздел «Проверить статус URL», в Search Console вставьте ссылку в поисковую строку, и появится информация об индексации.
-
Site. Если вы по каким-то причинам не желаете регистрироваться в инструментах Яндекса и Гугла, то проверить индексацию страниц возможно с помощью команды «site». В поисковике введите: «site:домен сайта». Например, если ваш домен toys.ru, то запрос будет выглядеть так: «site:toys.ru».
-
Специальные сервисы. В интернете много сервисов, которые помогут определить индексацию сайта ― например, СерпХант (с ограничением на 50 страниц сайта). Еще один способ — установка плагина RDS Bar.
Ускоряем индексацию
Хотите побыстрее запустить процесс индексации страниц? Тогда:
-
Регистрируйтесь в Вебмастере и Search Console.
-
Укажите в этих сервисах ссылки на Sitemap и robots.txt.
-
Правильно пропишите мета-теги на всех страницах и ключевые слова в контенте.
-
Постоянно размещайте оригинальный контент, не повторяющий материалы других сайтов.
-
Делайте перелинковку страниц.
-
Делитесь ссылками на новые страницы на других ресурсах.
Закрываем сайт от индексации
Многим страницам совсем необязательно индексироваться. Например, страница еще не готова и поисковику вовсе не обязательно обращать на нее внимание. Как же закрыть от робота сырые страницы?
-
Тег noindex. Это тег запрещает индексацию страницы или ряда страниц определенного типа. Тег добавляется в HTML-код страницы.
-
Disallow. Эта команда запрещает попадание страницы в поисковую выдачу.
-
Авторизация. Это самый надежный способ скрыть страницы от индексации поискового робота. Поставьте форму авторизации на страницы, и робот не пройдет. Правда, вместе с ним не пройдут и живые пользователи без логина и пароля.
