Проиндексировать страницу в гугле. Что такое индексация и как ее улучшить

В этой статье мы расскажем о том, как добавить свой сайт в Google . В рассматриваемом примере мы пошагово покажем, как проиндексировать WordPress –сайт в гугле (Google ), используя плагин Yoast SEO и сервис Google Search Console .

В то же время для тех, кто не использует WordPress , процесс будет таким же, с той лишь разницей, что необходимо будет использовать альтернативный подход для создания карты сайта и обеспечения условий для того, чтобы поисковый робот Google мог просканировать ваш сайт.

Вот краткое описание того, что мы рассмотрим в этой статье:

• Три этапа добавления любого сайта в поиск Google .
• Как добавить свой WordPress-сайт в поиск Google :

• Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt ).
• Как установить и настроить плагин Yoast SEO .
• Как использовать Google Search Console для индексации сайта.

Три шага для добавления любого сайта в поиск Google

Мы рассмотрим весь процесс шаг за шагом для пользователей WordPress , однако почти все те же действия нужно выполнить, независимо от того, какую платформу вы используете:

1. Убедитесь, что поисковый робот Googlebot может получить доступ к страницам сайта, которые вы хотите проиндексировать. Это относится к файлу robots.txt . Если вы — пользователь WordPress , это очень просто, и мы покажем, как это сделать.

2. Настройте Google Search Console для домена, который вы хотите добавить в поиск Google .

3. Отправьте файл Sitemap через Google Search Console и попросите Google выполнить сканирование вашего сайта.

Как добавить свой WordPress-сайт в Google Search Console

Чтобы проиндексировать WordPress-сайт , необходимо включить возможность сканирования вашего сайта для поискового робота Googlebot , затем создать карту сайта и, наконец, отправить файл Sitemap через Google Search Console . Вот, как это делается.

Шаг 1 — Как обеспечить, чтобы поисковый робот Google мог сканировать сайт (robots.txt)

Включить возможность сканирования вашего WordPress-сайта для поискового робота Google очень просто. Когда вы будете готовы к тому, чтобы ваш сайт стал видимым через поисковые системы, выполните следующие действия:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Настройки » и выберите раздел «Чтение ».

2. Прокрутите открывшуюся страницу вниз до раздела «Видимость в поисковых системах » и снимите флажок для опции «Попросить поисковые системы не индексировать этот сайт ». Если данный флажок не будет снят это станет причиной того почему гугл не индексирует сайт и его страницы или делает это плохо.

3. Затем сохраните внесенные изменения

И это все, что вам нужно сделать на данном этапе, чтобы Google мог сканировать ваш сайт. Перейдем к следующему шагу.

Шаг 2. Как установить и настроить плагин Yoast SEO

Yoast SEO — это бесплатный WordPress-плагин , который мы рекомендуем всем пользователям. В данном случае мы будем использовать его для создания карты сайта. В дополнение к этому Yoast SEO является одним из лучших и наиболее доступных WordPress-плагинов для SEO , он регулярно обновляется, чтобы всегда идти в ногу с последними тенденциями.

Вот этапы установки плагина Yoast SEO и создания карты сайта:

1. В панели администрирования WordPress наведите указатель мыши на пункт главного меню «Плагины » и выберите раздел «Добавить новый «.

2. Вы будете перенаправлены в репозиторий плагинов WordPress . Чтобы найти плагин Yoast SEO , введите в панели поиска «Yoast SEO ». Плагин Yoast SEO будет одним из первых результатов.

4. Затем нажмите кнопку «Установить », чтобы установить плагин.

5. Когда плагин будет установлен, нажмите кнопку «Активировать », чтобы активировать плагин.

6. После активации плагина, вы увидите новую вкладку «SEO » с логотипом Yoast в главном меню WordPress .

7. Наведите указатель мыши на эту вкладку и выберите раздел «Панель мониторинга ».

8. Оттуда перейдите на вкладку «Функции », затем прокрутите панель вниз и включите опцию «Дополнительные параметры ». Сохраните внесенные изменения, нажав соответствующую кнопку, расположенную в нижней части экрана.

9. На вкладке Yoast SEO должны появиться дополнительные вкладки. Перейдите на вкладку «Тайтлы и мета «.

10. Далее перейдите на вкладку «Типы записей ». Здесь можно выбрать элементы сайта, которые вы хотите индексировать. В большинстве случаев необходимо индексировать только страницы и записи. Если этот вариант подходит и вам, установите для параметра «meta robots » значение «no-index » для всего, что вы не хотите индексировать. Если вам нужна дополнительная информация о различных настройках, кликните по ссылке «Справка », и вы получите доступ к видео руководству, относящемуся к странице, на которой вы находитесь, а также к другой справочной информации.

11. После того, как вы закрыли от индексации все типы записей, которые не хотите индексировать, сделайте то же самое на вкладках «Таксономии », «Архивы » и «Другие ».

14. Просмотрите вкладки «Типы записей » и «Таксономии » и включите объекты, которые вы хотите индексировать, и отключите те, которые хотите исключить из процесса индексации. Для большинства сайтов здесь также подходит индексация страниц и записей, однако дополнительную информацию вы всегда можете получить в разделе «Справка ».

15. Затем сохраните внесенные изменения.

16. Перейдите на вкладку «Основные » и кликните по ссылке «XML карта сайта ». Скопируйте ссылку из адресной строки браузера и сохраните ее для дальнейшего использования в Google Search Console .

Это все, что касается установки и настройки плагина Yoast SEO и создания URL-адреса Sitemap . Теперь мы можем перейти к настройке бесплатной учетной записи Google Search Console и индексированию сайта.

Шаг 3 — Как использовать Google Search Console для индексации сайта

Google Search Console — это бесплатный инструмент Google , и мы будем использовать его для сканирования сайта или блога. Этот инструмент также поможет управлять любыми ошибками сканирования, связанными с вашим сайтом. Давайте рассмотрим этапы настройки вашей учетной записи:

1. Перейдите в Google Search Console . Сначала нужно войти в свою учетную запись Google . Здесь не должно быть много информации, если вы не работали с ней раньше.

3. Затем вас попросят подтвердить право собственности на домен. Выберите вкладку «Альтернативные методы » и нажмите кнопку «HTML-тег ». На экране появится мета тег name. Выделите весь тег и скопируйте его.

4. Вернитесь на панель администрирования WordPress и перейдите в раздел инструментов плагина Yoast SEO .

5. Перейдите на вкладку «Инструменты для веб-мастеров ». Здесь вы увидите три текстовых поля. Вставьте мета тег, который вы скопировали из Google Search Console в текстовое поле «Google Search Console «. В качестве дополнительной опции можно проиндексировать свой сайт не только в Google (гугл ), но и в других поисковых системах. Сохраните внесенные изменения.

6. После этого можно вернуться в Google Search Console и нажать кнопку «Проверить ». После этого вы должны увидеть сообщение о том, что Google нашел тег, и все хорошо.

7. Теперь нажмите кнопку «Добавить / Проверить Sitemap ». Надеюсь, вы сохранили URL-адрес Sitemap , который скопировали ранее. Вставьте его во всплывающем окне и нажмите кнопку «Отправить ».

8. Вам следует перезагрузить страницу, и после этого у вас должна появиться новая запись о файле Sitemap . Если на данном этапе у вас возникла ошибка, скорее всего, это связано с тем, что ваш сайт блокирует поисковых роботов. Не беспокойтесь об этом.

9. В разделе меню «Сканирование » перейдите в раздел «Просмотреть как Google ». Затем нажмите кнопку «Извлечь и отобразить ». Это может занять некоторое время.

10. После этого вы должны увидеть статус «Частично ». Нажмите кнопку «Отправить в индекс » рядом с ним. Должно появиться окно с просьбой подтвердить, что вы не робот. Установите галочку и выберите параметр «Сканировать этот URL и все его прямые ссылки ». Нажмите «Отправить ».

11. Рядом со статусом «Частично » теперь должно появиться сообщение, которое гласит о том, что «URL-адрес и его связанные страницы, представленные на индексацию ».

Привет, друзья! В сегодняшнем посте я затрону тему индексации сайта в поисковой системе Google. Какие проблемы возникают с ней? Существует ли сейчас основной и дополнительный индекс? Все мои наблюдения на этот счет ниже.

Не знаю как у вас, а у меня Google индексирует меньше страниц, чем Яндекс. По крайней мере он показывает это по таким запросам:

Кстати в этой записи все буду разбирать на примере блога. Он находится в , на нем авторские уникальные статьи, теги, архивы и другие, дублирующие контент страницы (кроме категорий и нумерации страниц по средствам плагины PageNavi) запрещены в robots.txt. Что на такой запрос говорит Яндекс?

Тут уже 281 страница. Причем вообще в sitemap записано примерно 200 страниц + примерно 80 - это как раз те, которые создаются постраничной навигацией. Эти цифры ближе к реальности .

Вернемся опять к гуглу. Получилось, что сейчас он знает только о 172 страницах моего блога. Что же на самом деле? У меня получилась следующая картина:

Сейчас я объясню всю эту таблицу .

Что же получается? Google оказывается знает о 187 страницах + несколько десятков навигационных, а не о 172. По-моему кто-то что-то скрывает или прячет .

Выводы по поводу индексации в Google

До проведения данного анализа я считал, что у моих сайтов проблемы с индексацией страниц в Google. На самом же деле проблемы с тем, что некоторые документы попадают в дополнительный индекс, а о других Google знает, но молчит .

Почему Google отправляет страницы в дополнительный индекс?

1. Как я уже написал выше, причиной может служить дублирование контента. Для этого можно запретить к индексации дублирующие страницы: теги, архивы и так далее.
2. Часто страницы с копированным контентом тоже отправляются в сопли, либо просто с незначительным его количеством или низким качеством.
3. Ошибки поисковой системы. Поисковой робот может неправильно проанализировать страницу, несмотря на то, что она будет являться первоисточником с уникальным и интересным контентом.

Как же вывести страницы из соплей? А вот этим я и буду заниматься. В одном из последующих постов опубликую результаты эксперимента, который должен будет вытащить некоторые страницы блога в основной индекс. Не пропустите . Что вы думаете по поводу индексации ваших сайтов в гугл? Какие особенности были замечены?