Яндекс индексация: Индексирование сайта — Вебмастер. Справка

Содержание

Быстрый старт — Вебмастер. Справка

Войдите в Вебмастер с Яндекс ID или зарегистрируйтесь.

Примечание. В Вебмастер можно добавить только сайт с собственным доменом.

Перейдите в Вебмастер.
Нажмите кнопку Добавить сайт.
В поле укажите адрес сайта, по которому он будет участвовать в поиске:
- по протоколу HTTP или HTTPS;
- с префиксом www или без него.
Например, https://www.example.com. Кириллический адрес будет автоматически перекодирован в Punycode. В этом случае кодировка URL страницы должна соответствовать кодировке самой страницы.
Нажмите кнопку Добавить. После этого сайт отобразится на странице Мои сайты.

На странице Права доступа выберите один из способов подтверждения. Чтобы подтвердить права, внесите изменения на сайт.

Если вы добавили в Вебмастер сайт и его поддомены, используйте упрощенное подтверждение прав.

После подтверждения прав на управление сайтом вы можете передать права другим пользователям Вебмастера. Пользователь, которому вы делегируете права, сможет использовать все возможности сервиса. Делегировать свои права другому пользователю он при этом не сможет. Подробно см. раздел Делегирование прав.

Примечание. Добавление сайта в Вебмастер не гарантирует, что сайт появится в результатах поиска. О том, что необходимо для появления сайта в результатах поиска, см. раздел Как добавить сайт в поиск.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Для добавления сайта в Вебмастер необходимо, чтобы сервер отвечал основному роботу Яндекса и роботу Вебмастера HTTP-кодом 200 OK (или перенаправлением на страницу, отвечающую HTTP-кодом 200 OK).

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Запись DNS не найдена

Данная ошибка произошла из-за того, что требуемая запись не была найдена в DNS вашего сайта. Это могло произойти по следующим причинам:

Информация в DNS еще не успела обновиться (это может занять некоторое время). Попробуйте подтвердить права на следующий день.
В DNS была создана запись не txt-типа;
В DNS была создана запись для другого сайта. Домены http://www.site.ru и site.ru с точки зрения поисковой системы являются разными, поэтому txt-запись для каждого из них создается отдельно.
Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если вы не знаете, как сделать txt-запись в DNS, обратитесь в службу поддержки сервиса, на DNS которого делегирован ваш сайт. Например, это может быть регистратор доменных имен.

Содержимое полученного HTML-файла отличается от требуемого

Для подтверждения прав на управление сайтом с помощью HTML-файла необходимо учитывать, что содержимое файла должно быть строго таким, как указано на сервисе.

Если в коде файла будут присутствовать элементы дизайна страницы, метатеги или любой другой дополнительный код, то права подтвердить не удастся.

Если по каким-то причинам вам не удается создать HTML-файл со строго определенным содержимым, то необходимо проверить настройки сервера. Возможно, он автоматически добавляет код при создании страницы. В этом случае воспользуйтесь другим способом подтверждения прав.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Не удалось загрузить главную страницу

Робот Вебмастера не смог просмотреть главную страницу вашего сайта. Это могло произойти по следующим причинам:

Главная страница вашего сайта перенаправляет на другую страницу (например, на страницу /index.html). В таком случае рекомендуем изменить настройки сервера таким образом, чтобы роботу с именем Mozilla/5. 0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) сервер отвечал HTTP-кодом 200 OK.
Главная страница вашего сайта недоступна. Проверьте, открывается ли она в браузере.
Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если перенаправлений с главной страницы нет и она свободно открывается в браузере, но права на управление сайтом подтвердить не получается, напишите нам об этом.

Метатег не найден

Проверьте следующее:

Метатег, который необходим для подтверждения прав на управление сайтом, должен располагаться в HTML-коде главной страницы сайта, в элементе head.
```
<head>
...
<meta name='yandex-verification' content='XXXXXXXXXXXXXX' />
...
</head>
```
Если вы добавите метатег в другое место главной страницы, то права подтвердить не удастся.
Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

При проверке прав робот получил ответ, отличный от 200 OK

При обращении основного робота Яндекса или робота Вебмастера к документам на вашем сайте сервер отвечает кодом, отличным от 200 OK. Поэтому права не могут быть подтверждены.

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Необходимо настроить сервер таким образом, чтобы на запрос файла он отвечал роботам HTTP-кодом 200 ОК — в этом случае права на сайт в Вебмастере должны подтвердиться успешно.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Ошибки при делегировании прав

При делегировании прав сайт не добавится автоматически в учетную запись пользователя, которому делегируют права. Необходимо сделать это вручную. После того, как сайт будет добавлен, делегированные права подтвердятся автоматически.

Также нужно учитывать, что с точки зрения поисковой системы сайты https://www.example.com, https://example.com, http://www.example.com и http://example.com являются разными. Поэтому адрес сайта нужно добавлять в точности так, как он был добавлен пользователем, который делегирует права.

Другая ошибка

Уже подтвержденные права на управление сайтом могут быть аннулированы, если при очередной проверке робот сервиса не обнаружит код подтверждения, либо если сайт будет недоступен.

Наличие кода подтверждения проверяется регулярно и автоматически. Поэтому рекомендуем не допускать удаления кода — тогда ваши права не сбросятся. Чтобы вернуть аннулированные права, достаточно подтвердить их заново любым способом. При этом уже собранная статистика по сайту сохранится.

Информация, которая предоставляется на сервисе, является конфиденциальной и предназначена для владельцев сайтов или иных уполномоченных лиц, поэтому для управления сайтом в Вебмастере требуется подтверждение. Если вы не хотите подтверждать права, то вы не сможете воспользоваться данным сервисом.

Индексирование сайта с помощью счетчика Метрики

Робот Яндекса узнаёт о страницах сайта из разных источников. Один из них — счетчик Яндекс Метрики. Вы можете сообщить Яндексу о том, что нужно обходить страницы, на которых установлен счетчик.

Чтобы робот быстрее посетил ваш сайт, привяжите счетчик Метрики к сайту, подтвержденному в Вебмастере, и включите обход сайта по данным счетчика.

Кто может запросить и подтвердить привязку


Откуда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс Вебмастер.	Пользователь с правами на управление сайтом.	Пользователь Метрики с правами на редактирование счетчика или с представительским доступом.
Яндекс Метрика. Подробнее о том, как отправить запрос в Метрике.	Пользователь с правами на редактирование счетчика или с представительским доступом.	Пользователь Вебмастера с правами на управление сайтом.

Когда робот обойдет страницы сайта, они смогут участвовать в результатах поиска, если их индексирование не запрещено. Чтобы робот получил более полное представление о страницах, дополнительно используйте файл Sitemap.

Шаг 1. В Вебмастере отправьте запрос на привязку
Шаг 2. В Метрике подтвердите запрос
Шаг 3. В Вебмастере включите обход сайта
Вопросы и ответы

Вы можете привязать несколько доменов к одному счетчику или несколько счетчиков к одному сайту. Например, можно привязать счетчик к основному домену и к поддомену. Для этого добавьте оба сайта в Вебмастер и подтвердите права на управление.

Выберите сайт, который хотите привязать к счетчику.
Перейдите на страницу Настройки → Привязка к Яндекс Метрике.
Нажмите кнопку Добавить счетчик.
В поле укажите номер счетчика, к которому нужно привязать сайт. При этом в Яндекс Метрике в настройках счетчика должен быть указан сайт, для которого вы настраиваете привязку.

После того как вы отправили запрос на подтверждение привязки, письмо об этом придет владельцу счетчика Метрики.

Примечание. Если вы одновременно владелец сайта и счетчика, то запрос будет подтвержден автоматически — счетчик привяжется к сайту. Переходите к следующему шагу.

Когда запрос на привязку отправлен, начинается поиск совпадений по домену сайта. Во время проверки не учитываются протокол и наличие префикса www. Если совпадения найдены, подтвердите запрос:

Перейдите на страницу Настройка (вкладка Счетчик).
Нажмите кнопку Подтвердить.

Вы можете отслеживать статусы привязки счетчика к сайту:

в Яндекс Метрике — на странице Настройка, на вкладке Счетчик;

в Яндекс Вебмастере — на странице Настройки → Привязка к Яндекс Метрике.


Статус	Описание	Примечание
«Ждет подтверждения»	Запрос на привязку отправлен. Определяется совпадение доменов. После этого запрос ожидает подтверждения пользователем Метрики.	Пользователь Метрики должен подтвердить запрос.
«Связан»	Пользователь Метрики подтвердил запрос на привязку.	Робот Яндекса начнет обходить страницы сайта.
«Не подтвержден»	Пользователь Метрики или Вебмастера отменил привязку.	Вы можете отправить запрос на привязку счетчика и сайта повторно.
«Ошибка подтверждения»	Счетчик не привязан к сайту. Возможные причины: сайт не добавлен в Вебмастер; не подтверждены права на управление сайтом в Вебмастере; неверно указан номер счетчика в Вебмастере на странице Настройки → Привязка к Яндекс Метрике.	Проверьте возможные причины и отправьте запрос на подтверждение повторно.

Перейдите на страницу Индексирование → Обход по счетчикам.
Напротив счетчика Метрики, который вы привязали к сайту, включите обход.

Робот сможет обойти страницы, на которых установлен счетчик. Опция начнет действовать для всех версий сайта: доступных по протоколу HTTP и HTTPS, с префиксом www и без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях обход может остановиться, чтобы вы проверили страницы. Робот может найти множество страниц — Вебмастер покажет только примеры. Они помогут вам понять, каким группам страниц разрешить участие в поиске, а каким нет.

Уведомление о том, что список для проверки готов, вы сможете получить в зависимости от настроек:

в Вебмастере на страницах Уведомления и Диагностика;
на электронный адрес, который вы указали в настройках уведомлений.

Чтобы проверить примеры, перейдите на страницу Индексирование → Обход по счетчикам и нажмите кнопку Примеры страниц напротив счетчика, к которому вы привязали сайт.

Если вы считаете, что в списке:

Проанализируйте список страниц — среди них могут быть, например:


Тип страницы	Что делать
Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретите индексирование страниц
Корзина с товаром.	Запретите индексирование страниц
Персональная информация. Например, адреса доставки и телефоны ваших клиентов.	Ограничьте доступ к данным с помощью авторизации пользователей на сайте
Страница сайта, которая повторяет содержимое другой страницы этого же\n сайта, но доступна по отличному адресу.»}}»>. Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите страницу, предпочитаемую для участия в поиске

Дождитесь, когда сервис обновит список — об этом придет письмо на электронный адрес, который вы указали в настройках уведомлений.
Проверьте примеры страниц снова.
Включите обход.

Проверьте, готовы ли они к показу в результатах поиска — например, полноту контента, наличие и корректность элемента title и метатега description.
Включите обход.

Кроме этого, рекомендуем добавить страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы они быстрее смогли попасть в результаты поиска.

Проверить, какие страницы появились в результатах поиска, можно на странице Страницы в поиске.

При выключенной опции робот перестает получать информацию о новых страницах сайта от Метрики. При этом он может проиндексировать страницы, узнав о них из других источников. Поэтому рекомендуем закрывать от индексирования непубличный контент. Выяснить, участвуют ли в поиске нежелательные страницы, можно на странице Страницы в поиске.

Также отключение обхода не удаляет страницы из результатов поиска. Посмотрите раздел Как удалить страницы из поиска.

Стоит ли включать обход по Метрике

Обход по счетчикам Метрики ускоряет индексирование сайта. Этот способ — сигнал для робота, чтобы посетить ваш сайт.

При включении обхода по счетчикам Метрики Вебмастер предложит примеры страниц, которые лучше скрыть от индексирования (например, приватные страницы). Ознакомьтесь с рекомендациями и закройте ненужные страницы от индексирования.

Что делать, чтобы ненужные страницы не попадали в поиск

Даже если вы не включите обход по Метрике, есть вероятность, что такие страницы могут попасть в поиск. Поэтому рекомендуем закрыть их от индексирования и включить обход.

Если у вас есть вопрос о работе инструмента, выберите подходящий вариант:

Посмотрите рекомендации в разделе Почему страницы долго не появляются в поиске.

Страницы отправлены на переобход, но не появились в поиске

Воспользуйтесь рекомендациями о том, как удалить страницы или разделы сайта из результатов поиска. Поисковая выдача обновляется в течение двух недель.

Страницы не пропали из поиска спустя две недели

Что такое индексация сайта в поисковых системах Google и Яндекс

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

«Индексирование сайта — это процесс, в ходе которого поисковые системы получают информацию о страницах ресурса. Полученные данные хранятся в базе, которую называют поисковым индексом. Так Яндекс, Google и другие поисковики узнают, что ваш сайт существует и наполнен полезным контентом. Индексация нужна для того, чтобы юзеры могли найти ваши страницы при поиске» — так определяет индексацию Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group.

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка.

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

Содержание, информацию о сервере и служебные данные.
Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml.

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией.

Чтобы добавить файл Sitemap в Google Search Console, зайдите в сервис, добавьте свой сайт и перейдите в раздел «Сканирование». В пункте «Файлы Sitemap» выберите «Добавить файл Sitemap» и вставьте ссылку на файл Sitemap.

В Яндекс.Вебмастере путь похож: зайдите в ваш аккаунт, выберите нужный сайт. Затем в левом меню нажмите на раздел «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» вставьте ссылку файла и нажмите «Добавить». Кстати, если вы внесли изменения в карту сайта, то просто отправьте карту на перепроверку, нажав на стрелочки рядом с файлом Sitemap.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру.

Вы можете посмотреть, одинаково ли видят страницу пользователи и поисковой робот. Для этого зайдите в Google Search Console, выберите отчет «Посмотреть как Googlebot» в разделе «Сканирование».

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров.

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.
Дарья Каблаш, основатель маркетингового агентства Dvizh

Поисковая строка

Роман Огрин, руководитель группы оптимизации в Kokoc Group, называет специальные операторы самым быстрым и простым способом проверки индексации. Яндекс и Google поддерживают оператор site, который помогает отображать проиндексированные страницы. Базовый синтаксис использования: site:sitename. com

Например: site:gosuslugi.ru

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации.

Бесплатные плагины

«Можно использовать специальные бесплатные сервисы, например, be1.ru и pr-cy.ru. Для проверки введите адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, помимо количества страниц в индексе популярных поисковиков, предоставляют еще много интересных данных» — Николай Полушкин, директор веб-студии DIUS.

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев.

Эксперт Роман Огрин рассказывает, как именно посмотреть индексацию в Яндекс.Вебмастере и Google Search Console. Оба сервиса сначала надо «привязать» к исследуемому домену и только потом смотреть точную статистику.

В Яндекс.Вебмастере есть раздел «Индексирование» с подразделом «Страницы в поиске». По клику на вкладку «Все страницы» сервис выдает список проиндексированных на данный момент документов. В Search Console аналогичный инструмент — отчет «Покрытие».

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации.

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
User-Agent указывает поисковую систему для индексации по написанной инструкции.
Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
Clean-param закрывает индексирование с конкретными динамическими параметрами.
Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

Директиву Disallow в файле robots.txt. Как мы писали выше, эта директива закрывает конкретные страницы от индексации.
Мета-теги в разделе <head> HTML-документа, например, <meta name=»robots» content=»noindex» />. Они определяют отношение к сканированию контента в документе.
HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
Код ответа сервера. В индекс попадают только доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
Настройки сервера. Для разных IP адресов, User-agent и других параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
Наличие входящих внутренних или внешних ссылок. Индекс может исключать такие страницы.
Низкий трафик. Это может быть следствием малополезной страницы или отсутствием семантического спроса со стороны пользователей по данному контенту.

Николай Полушкин, директор веб-студии DIUS, делится недавним случаем из практики. «Пришел сайт на бесплатный аудит. Клиент жаловался на резкую просадку трафика. SEO-специалист сразу открыл файл robots.txt и нашел строчку Disallow. Мы сообщили об этом клиенту и объяснили, что сайт закрыт от индексации, и страницы постепенно удаляются из поиска. Заказчик был удивлен и попросил выяснить, кто и когда это сделал. Недавно компания делала редизайн и наш специалист предположил, что страницы на время работ закрыли от индексации, а потом забыли убрать запрещающую директиву».

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Мы удалили дублирующиеся страницы, перейдя на utm-метки, и отправили сайт на переиндексацию. Через несколько дней проблема решилась, сайт стал отображаться в Яндексе» — Дарья Каблаш, основатель маркетингового агентства Dvizh.

Иные причины

Более редкие случаи неиндексации могут быть связаны, например, с фильтром «для взрослых».

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: «<Название оператора> тарифы» в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Это значит, что страница перешла из основного индекса в специальный “Фильтр для взрослых” или «Adult-фильтр». После обращения в службу поддержки Яндекса обнаружилось, что это ошибка на стороне поисковой системы, так как на странице не было какой-либо специфичной информации».

Также возможен редкий случай неиндексации — «плохая история» домена. В этом случае был куплен домен, на котором ранее был поисковый спам или adult-ресурс, поэтому сайт сразу может быть под фильтром.

«В нашей практике был пример сайта на домене, на котором ранее был размещен белый каталог сайтов. Ресурс индексировался нормально и потом резко пропадал из индекса поисковых систем. Помогли письма в техподдержку Яндекса и отправка страниц на принудительную переиндексацию. Но даже после этого периодически сайт продолжал полностью вылетать из индекса, за этим приходилось отдельно следить. Чтобы таких моментов не было, перед покупкой домена лучше всего проверять его историю» — Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто

Как ускорить индексацию сайта в Яндексе и Google 🚀

Актуальные способы ускорить индексирование страниц в обоих поисковиках. Обновленный материал.

В статье:

Проблемы с индексацией сайта в ПС
Как ускорить индексацию страниц
FAQ: что влияет на скорость индексации сайта

Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи, и тем больше вероятность, что она будет считаться первоисточником контента.

Нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче. На частоту индексирования страниц ботами влияет:

Частота обновления контента страниц. Боты составляют краулинговый бюджет сайта на основе данных об обновлении контента. Если страницы не меняются, нет смысла их часто сканировать.

Поведенческие факторы, которые обрабатывают поисковые боты. Чем лучше ПФ, тем востребованнее сайт у аудитории, а это еще один сигнал к повышению внимания от робота.
Хостинг. На загруженном хостинге снижается скорость обработки запросов от робота.

Разберем типичные проблемы, с которыми сталкиваются оптимизаторы.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию. Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте бесплатно.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или проблема в чем-то другом. Способы ускорить индексацию мы разберем дальше.

Посмотреть динамику индексации страниц и найти ошибки в SEO можно в сервисе для анализа сайта от PR-CY:

График индексации в сервисе

Итак, если страницы не индексируются, то проверьте ограничения, если игнорирует поисковик, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования — создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный. 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастере найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Массовая отправка страниц на переиндексацию в Google

Есть способ отправлять на повторное сканирование не по одной ссылке за раз, а по 200 URL в день. В этом мог бы помочь бесплатный скрипт, который сделал SEO-отдел компании Journey Further на базе Indexing API Google. Проблема в том, что для его работы понадобится аккаунт в Google Cloud Platform, но в марте Google перестал регистрировать пользователей из России в своем облачном сервисе.

Если вы не из РФ, можете настроить скрипт для массовой переиндексации URL. Для этого нужно:

Установить node.js.
Создать сервисный аккаунт в Google Cloud Platform.
Создать закрытый JSON-ключ.
Скачать скрипт и вставить ключ вместо содержимого service_account.
Связать скрипт с Google Search Console: назначить владельцем client_email. Нужен не полный доступ, а именно роль «Владелец».
Перейти по ссылке, выбрать сервисный аккаунт, который вы создали, и включить Index API.
В папке скрипта открыть файл urls и внести в него до 100 URL. Если нужно больше, можно отправить еще до 100 во втором заходе. В день можно отправлять не больше 200 ссылок.
Вызвать PowerShell, зажав Shift и правую кнопку мыши в окне.
Прописать node index.js.
Готово, через несколько секунд появится 200 ОК.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Почитать по теме:
Как составить карту сайта (файл Sitemap)

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на Tilda, карта по умолчанию динамическая, для CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом < lastmod >. Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница-сирота в структуре сайта

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Александр Шестаков, руководитель продукта Links.Sape:

«Внутренняя перелинковка положительно влияет сразу на несколько параметров, например, увеличивает трафик и упрощает работу поисковых роботов. Также ускорению индексации способствуют внешние ссылки из качественных источников (сайтов с высоким трастом и уровнем трафика).
При этом любую внешнюю ссылку можно усилить, закупив дополнительные ссылки на страницу, с которой она исходит. Такая стратегия многоступенчатого усиления называется Tier 2.
Существуют и более сложные разветвленные стратегии, например Tier 3-5. Эти методы приводят к увеличению веса страницы, и не только качественно ускоряют индексацию сайта, но и влияют на рост позиций. При этом усиление ссылок не вызывает у поисковых систем подозрения в манипуляциях».

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Материал по теме:
Как переупаковать контент

Публиковать ссылки в соцсетях и на других площадках

Найдите сторонние сайты по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы.

CTO компании Pear Advert Иван Самохин:

«Вопрос индексации остается актуальным не только для вашего сайта, но и для страниц с ссылками на ваш ресурс. Убедитесь в том, что страницы с внешними ссылками находятся в индексе поисковых систем, иначе оказать положительное влияние на продвижение сайта они не смогут».

Вы можете договориться о партнерстве с площадкой, близкой вам по тематике, и обмениваться ссылками. Главное, что размещения ссылок должны выглядеть естественными и подходить по теме. К примеру, ссылка на магазин рыболовных снастей будет уместно выглядеть на форуме рыболовов или туристическом портале. Ищите справочники, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки для размещения.

Материал по теме:
Как получить ссылки на сайт бесплатно

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью ссылки в посте в ВКонтакте

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, если в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, а поисковые системы считают страницы некачественными и могут даже понизить сайт в выдаче, если проблема с загрузкой есть у всех страниц.

Материал по теме:
Полное руководство по ускорению сайта

Многое можно проверить на сайте автоматически. Поможет сервис для анализа сайта: он оценит загрузку сайта и отдельно найдет конкретные страницы, на которых есть проблема со скоростью.

Проверка скорости загрузкиПоиск медленных страниц на сайте

Аудит сайта с проверкой внутренних страниц доступен на всех платных тарифах.
Вы можете попробовать неделю бесплатно и оценить все возможности сервиса.

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите, какие способы ускорить попадание в индекс знаете вы? Добавьте в комментариях, если мы что-то упустили в материале.

отличия и особенности — SEO-словарь веб-студии Муравейник

Автор статьи
Андрей Буйлов

Подробнее об авторе

В данной статье рассмотрим различия в индексации Яндекса и Google и почему в разных поисковиках может быть проиндексировано разное количество страниц. Подписчик спрашивает: «По какой причине в индексе Яндекса и Google количество страниц моего сайта разное? К примеру, в Яндексе 155, а в Google 230. Насколько это плохо? Как определить, почему так случилось? Как исправить?».

Почему необходимо попадание страниц в индекс

Индекс — это некоторая поисковая база, из которой потом поисковая система выбирает старнички, чтобы они участвовали в ранжировании (то есть участвовали в конкуренции за первые места) по тем или иным запросам.

Если страница вылетела из индекса либо в него не попала, то, соответственно, нигде не будет участвовать — и это плохо. Потому что если она хоть как-то худо-бедно в индекс залетела, то какой-нибудь запрос все равно на себя притянет, по нему выйдет. Пусть он даже будет супермикрочастотный, все равно хоть какой-то трафик может на себя собирать.

Потому за этим действительно нужно следить. У каждой поисковой системы существуют разные критерии по добавлению страниц в индекс и сохранении их там.

Есть четкие, например, и Яндекс, и Google выбрасывают дубли, а также страницы, закрытые от индексации тем или иным способом (и это очевидно, вебмастеры сами сказали поисковиком, что их не надо индексировать) и т.д.

Но есть и более мягкие критерии:

в Яндексе — это те страницы, которые раньше называли недостаточно качественные, а сейчас — малополезные, малоценные либо невостребованные. И у Яндекса свой набор правил, по которым эти страницы вылетают;

в Google такие страницы попадают в «просканировано, но не проиндексировано». То есть поисковик об этих страницах узнал, но пока решил в индекс не добавлять.

В обе эти категории входят страницы, которые по этим «мягким», не всегда понятным критериям не попадают в индекс. И в основном различие в индексации Яндекса или Google относится к этим категориям страниц, которые вылетели и не попали в индекс по неоднозначным критериям.

Особенности индексирования в Яндексе и Google

В Яндексе «недостаточно качественное» поменялось на одтельные два блока — малополезное/малоценное и невостребованное — и две категории как бы объединены, но по факту это 2 разных проблемы.

Первая, когда они малополезны, малоценны — это про их качество: мало контента, либо он настолько некачественный или недостаточный по мнению Яндекса, что из-за этого страница не попадает в индекс. Обычно это карточки товаров без фотографий, документ практически без контента — только заголовок, а больше ничего нет, или заголовок и один комментарий. Вот такие часто вылетают. То есть просто страница настолько проигрывает конкурирующим, что не может быть показана по какому-либо запросу, потому что бесполезна.

А вот вторая часть — невостребованы — это абсолютно про другое. Такая страница не нужна, нет тех запросов, по которым она будет ранжироваться, люди такое не спрашивают, поэтому даже нет смысла ее добавлять. И здесь вопрос в спросе.

Например, у вас есть теговая страница на сайте. И вы берете и добавляете заголовок в Вордстат, можно даже без разметки (кавычек, восклицательных знаков), а просто в широком соответствии. Даже можно регион не выставлять, а выбрать всю страну. И смотрите, а есть ли в таком режиме хоть какой-то мизерный спрос на это. И если хотя бы 10-20 человек так спрашивают, то страницу можно оставлять и под «невостребована» она не попадет. Если там 0, то лучше такую теговую страницу вообще не создавать, не внедряйте искусственную семантику на сайт, это вам только навредит. В ряде случаев это может пройти, но потом все равно такие страницы вылетят и сайту будет плохо.

Иногда, конечно, бывает, что может повезти и получится. Есть опыт, когда сгенерировали всё на всё, немного доделали и оно все-таки зашло — но это довольно редкая ситуация.

В Google нет такой детализации. Данный поисковик не особо любит объяснять, почему он именно так решил и именно эти страницы в категорию «просканировано, но не проиндексировано» отправил. И, в общем, в справке у них это тоже описано довольно абстрактно. В Яндексе тоже раньше про недостаточно качественно толком написано не было, сейчас хоть расписали в новой формулировке, спасибо им за это. А вот у Google четких критериев нет.

Что делать

Таким образом, все отличие в количестве проиндексированных страниц заключается в том, что критерии отличаются у разных поисковиков. Так что вам нужно заходить и в отчет Яндекса по просканивроанным и проиндексирвоанным старницам, смотреть, почему вылетели именно они: недостаточно качественные, дубли или еще какие-то причины, они случайно стали закрыты или не случайно. И обратить внимание, есть ли проблемы, какие, и постараться исправить их: сделать документы более качественными, а если не востребованы (спроса нет), то просто удалить, и в Яндекс и Google они не должны попадать.

И в Google тоже заходить в отчет «просканировано, но не проиндексировано» и смотреть, какие страницы туда попали, затем пробовать их либо прокачать, либо закрыть от индексации.

Поэтому в целом такое отличие, как правило, не несет ничего плохого, но если очень сильно отличается количество страниц, то нужно проверять и там, и там и как-то исправлять.

Как ускорить индексацию сайта в Яндексе и Google?

#Оптимизация сайта #Индексация

Ноябрь’17

Индексация — сканирование сайта и добавление информации о нем поисковыми роботами в свою базу данных. Чем быстрее сайт обходят поисковые роботы, тем быстрее можно добиться результатов в поисковом продвижении. Есть несколько способов ускорить индексацию.

Правильная настройка файла robots.txt позволит роботам не индексировать лишний «мусор», что положительно отразится на времени индексации всего сайта.
Создание актуальной карты сайта также облегчит работу поисковых роботов, поскольку им не придется самостоятельно искать, какие страницы им необходимо вносить в индекс.
Добавление сайта в панели для вебмастеров Яндекса, Google, Mail позволит сообщить ботам о существовании сайта.
Добавление данных о файлах sitemap.xml, robots.txt в панели для вебмастеров упростит обход сайта поисковыми роботами.
Добавление измененных/новых страниц в инструменты «Переобход страниц» и «Просмотреть как Googlebot» уменьшает время их переиндексации.
Настройка внутренней перелинковки.
Наличие внешних ссылок на сайт (закупка ссылочной массы, посты в социальных сетях, ссылки на форумах). Ни для кого не секрет, что роботы индексируют сайт, переходя по всем ссылкам, которые находят на своем пути. Поэтому чем больше внутренних и внешних ссылок на страницы сайта, тем быстрее поисковик их просканирует.
Регулярное выставление уникального контента. Поисковые роботы быстрее сканируют сайты, на которых постоянно публикуется новый контент, нежели веб-ресурсы, которые с момента создания не обновляются.
Организованная структура сайта. Если вы не допустили никаких ошибок в структуре, то на каждую страницу сайта будет как минимум одна внутренняя ссылка. Это позволит ботам добраться до всех страниц сайта и добавить их в свою базу.

Данные способы помогут ускорить индексацию сайта в Яндексе и Google.

Похожее

Оптимизация сайта Индексация

Атрибут rel=canonical

Оптимизация сайта Индексация

Индексация ссылок

Оптимизация сайта Индексация

#133

Атрибут rel=canonical

Октябрь’22

10035

Оптимизация сайта Индексация

#119

Индексация ссылок

Апрель’19

4168

Оптимизация сайта Индексация

#111

Описание и настройка директивы Clean-param

Апрель’19

7704

Оптимизация сайта Индексация

#104

Как привлечь быстроробота Яндекс

Февраль’19

2048

Оптимизация сайта Индексация

#94

Проверка индекса сайта. Как найти мусорные или недостающие страницы

Декабрь’18

8027

Оптимизация сайта Индексация

#86

Как закрыть ссылки и текст от поисковых систем

Ноябрь’18

5081

Оптимизация сайта Индексация

#82

Почему Яндекс удаляет страницы из поиска

Ноябрь’18

2857

Оптимизация сайта Индексация

#60

Правильная индексация страниц пагинации

Февраль’18

7104

Оптимизация сайта Индексация

#47

Как узнать дату индексации страницы

Ноябрь’17

6948

Оптимизация сайта Индексация

#46

Какие страницы надо закрывать от индексации

Ноябрь’17

9313

Оптимизация сайта Индексация

#38

Как удалить страницу из индекса Яндекса и Google

Ноябрь’17

12432

Оптимизация сайта Индексация

#37

Как добавить страницу в поиск Яндекса и Google

Апрель’17

17785

Оптимизация сайта Индексация

Как закрыть сайт от индексации

Ноябрь’17

8413

Оптимизация сайта Индексация

Как проверить индексацию сайта в поисковых системах

Ноябрь’17

16028

Индексирование сайта с помощью тега Яндекс.

Метрики

Робот Яндекса узнает о страницах сайта из различных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу индексировать страницы с тегом.

Чтобы ускорить сканирование, привяжите тег Яндекс.Метрики к сайту, который вы проверили в Яндекс.Вебмастере, и включите индексацию сайта с данными тега.

Кто может запросить и подтвердить привязку


Куда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс.Вебмастер.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.
Яндекс. Метрика. Подробнее о том, как отправить запрос в Яндекс.Метрике.	Пользователь с правами редактирования тегов или представительским доступом.	Пользователь Яндекс.Вебмастер с правами на управление сайтом.

Когда робот закончит сканирование сайта, страницы могут быть включены в результаты поиска, если они не запрещены к индексации. Чтобы помочь роботу найти все страницы, также используйте файл Sitemap.

Шаг 1. В Яндекс.Вебмастере отправьте запрос на привязку.
Шаг 2. В Яндекс.Метрике подтвердите запрос.
Шаг 3. Включите индексацию сайта в Яндекс.Вебмастере
Часто задаваемые вопросы

Вы можете связать несколько доменов с одним тегом или несколько тегов с сайтом. Например, вы можете привязать один и тот же тег к основному домену и к поддомену. Для этого добавьте оба сайта в Яндекс.Вебмастер и подтвердите свои права на управление сайтом.

Выберите сайт для ссылки на тег.
Перейдите в раздел Настройки → Метки Яндекс.Метрики.
Нажмите кнопку Добавить тег.
Укажите ID тега для ссылки на сайт. Обратите внимание, сайт должен быть указан в Яндекс.Метрике в настройках тега.

После того, как вы отправите запрос на подтверждение привязки, владелец метки Яндекс.Метрики получит уведомление по электронной почте.

Примечание. Если вы одновременно являетесь владельцем сайта и счетчика, запрос подтверждается автоматически — счетчик привязывается к сайту. Перейти к следующему шагу.

После отправки запроса на связывание выполняется поиск совпадений в домене сайта. Протокол и префикс «www» при проверке игнорируются. Если совпадения найдены, подтвердите запрос:

Перейти на страницу настроек (вкладка Тег).
Нажмите кнопку «Подтвердить».

Статус привязки тега к сайту вы можете отслеживать:

В Яндекс. Метрике — на странице Настройки перейдите на вкладку Тег.

В Яндекс.Вебмастере — перейдите в Настройки → Метки Яндекс.Метрики.


Статус	Описание	Примечание
«Ожидание подтверждения»	Запрос на связывание отправлен. Домены проверяются на совпадения. После этого запрос ожидает подтверждения от пользователя Яндекс.Метрики.	Пользователь Яндекс.Метрики должен подтвердить запрос.
«Связано»	Пользователь Яндекс.Метрики подтвердил запрос на привязку.	Робот Яндекса начнет обход страниц сайта.
«Не подтверждено»	Пользователь Яндекс. Метрики или Яндекс.Вебмастер отменил привязку.	Вы можете повторно отправить запрос на привязку тега к сайту.
«Ошибка подтверждения»	Тег не привязан к сайту. Возможные причины: Сайт не добавлен в Яндекс.Вебмастер. Права на управление сайтом не подтверждены в Яндекс.Вебмастере. Неверно указан идентификатор тега на странице Настройки → Теги Яндекс.Метрики в Яндекс.Вебмастере.	Проверьте возможные причины и снова запросите подтверждение.

Перейдите в раздел Индексирование → Сканирование тегов.
Рядом с меткой Яндекс.Метрики, которую вы привязали к сайту, включите индексацию.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант применим ко всем версиям сайта: по протоколу HTTP или HTTPS, с префиксом «www» или без него.

Во время индексации робот ищет на сайте страницы, которые могут быть включены в результаты поиска. В некоторых случаях индексирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц, но Яндекс.Вебмастер покажет вам только примеры. Эти примеры помогут вам понять, какие группы страниц следует включать, а какие нет.

Вы получите уведомление о том, что список готов к проверке. В зависимости от ваших настроек уведомление будет иметь вид:

Отображается в Яндекс.Вебмастере на страницах Уведомления и Диагностика.
Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, который вы связали с сайтом.

Если вы считаете, что список включает:

Внимательно посмотрите на список — он может включать следующие типы страниц:


Тип страницы	Что делать?
Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запрет индексации страницы
Корзина с товаром.	Запрет индексации страницы
Личная информация. Например, адрес доставки и номер телефона клиента.	Ограничение доступа к данным путем аутентификации пользователей на сайте
Страница сайта, которая дублирует содержимое другой страницы того же сайта, но имеет другой URL.»}}»>. Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

Подождите, пока сервис обновит список. Вы получите электронное письмо об этом на адрес, который вы указали в настройках уведомлений.
Еще раз проверьте образцы страниц.
Включить индексирование.

Проверьте, готовы ли ваши страницы к показу в результатах поиска. (Полный ли контент? Правильно ли установлены элемент title и метатег Description?)
Включить индексирование.

Кроме того, мы рекомендуем добавлять страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы ускорить их появление в результатах поиска.

Вы можете проверить, какие страницы отображаются в результатах поиска, на странице Страницы в поиске.

При выключенной опции робот перестает получать информацию о новых страницах сайта из Яндекс.Метрики. Однако он может проиндексировать страницы, если узнает о них из других источников. Мы рекомендуем запретить индексирование закрытого контента. Чтобы узнать, включены ли в результаты поиска страницы, которые вы не хотите индексировать, перейдите на страницу Страницы в поиске.

Также имейте в виду, что отключение индексации не удаляет страницы из результатов поиска. См. Как исключить страницы из поиска?.

Нужно ли включать сканирование по тегам Яндекс.Метрики?

Сканирование по тегам Яндекс.Метрики ускоряет индексацию сайта. Используя этот метод, вы отправляете роботу сигнал посетить ваш сайт.

При включении обхода по тегам Яндекс.Метрики Яндер.Вебмастер предлагает примеры страниц, которые нужно скрыть от индексации (например, приватные страницы). Ознакомьтесь с нашими рекомендациями и заблокируйте ненужные страницы от индексации.

Как исключить из поиска ненужные страницы?

Даже если вы не включите сканирование по тегам Яндекс.Метрики, вероятность появления таких страниц в поиске все равно есть. Вот почему мы рекомендуем запретить их индексацию и включить сканирование.

Если у вас есть вопрос о работе инструмента, выберите подходящий:

См. рекомендации в разделе Почему страницы так долго не появляются в результатах поиска? раздел.

Страницы отправляются на переиндексацию, но не отображаются в поиске

Воспользуйтесь рекомендациями по удалению страниц сайта или отдельных разделов из результатов поиска. Результаты поиска обновляются в течение двух недель.

Страницы не исключались из поиска через две недели

Индексация сайта с тегом Яндекс.Метрики

Внимание. Этот метод не подходит для индексации:

Турбо-страниц. Они индексируются с помощью специального робота.
Публикации на Яндекс Дзен. Их регулярно сканирует основной робот Яндекса.

Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу сканировать страницы с тегом.

Если вы хотите, чтобы робот заходил на ваш сайт как можно быстрее, привяжите свою метку Яндекс. Метрики к сайту, проверенному в Яндекс.Вебмастере, и включите опцию обхода метки.

Кто может запросить и подтвердить привязку


Куда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс.Метрика.	Пользователь с правами редактирования тегов или с представительским доступом.	Пользователь Яндекс.Вебмастер с правами на управление сайтом.
Яндекс.Вебмастер. Подробнее о том, как отправить запрос в Яндекс.Вебмастере.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.

После того, как робот просканирует страницы сайта, они могут появиться в результатах поиска при условии, что индексация не запрещена. Чтобы дать роботу лучшее представление о страницах, используйте файл Sitemap.

Шаг 1. Добавить сайт в Яндекс.Вебмастер
Шаг 2. В Яндекс.Метрике отправить запрос на привязку сайта
Шаг 3. Подтвердить запрос в Яндекс.Вебмастер
Шаг 4. Включите сканирование тегов для вашего сайта в Яндекс.Вебмастере

Добавьте сайт с тегом Яндекс.Метрики в Яндекс.Вебмастер и подтвердите права на управление сайтом.

Перейти на страницу настроек (вкладка Тег).
Нажмите Ссылка на Яндекс.Вебмастер рядом с адресом сайта. Если в настройках тега указаны дополнительные адреса:
- Субдомен — В Яндекс.Вебмастере подтвердите свои права упрощенным способом и отправьте запрос на привязку сайта.
- Дополнительный адрес — Добавьте его в Яндекс. Вебмастер и отправьте запрос на привязку сайта.
- Зеркало — Привязка тега к основному зеркалу сайта (адрес, который должен участвовать в поиске).

После того, как вы отправили запрос на подтверждение привязки сайта, пользователю Яндекс.Вебмастера будет отправлено уведомление на адрес электронной почты, указанный в настройках уведомлений (если пользователь подписан на уведомления о запросах Яндекс.Метрики ).

Когда запрос на привязку сайта отправлен, Вебмастер начинает поиск совпадений с доменом сайта. Протокол и наличие префикса www игнорируются. Если совпадения найдены, подтвердите запрос:

Перейдите в Настройки → Ссылка на Яндекс.Метрику.
Щелкните Подтвердить рядом с соответствующим идентификатором тега.

Отследить статус привязки тега к сайту можно:

в Яндекс.Метрике, зайти в Настройки и открыть вкладку Тег.
в Яндекс. Вебмастере перейдите в Настройки → Ссылка на Яндекс.Метрику.


Состояние	Описание	Примечание
«Awaiting подтверждение» Выполняется проверка домена. После того, как домен найден, запрос ожидает подтверждения.	Пользователь Яндекс.Вебмастера должен подтвердить запрос.
«Связано»	Пользователь Яндекс.Вебмастера подтвердил запрос на привязку сайта.	Робот Яндекса начнет обход страниц сайта.
«Не проверено»	Пользователь Яндекс.Метрики или Яндекс.Вебмастер отменил привязку сайта.	Вы можете повторно отправить запрос на привязку тега к сайту.
«Ошибка подтверждения»	Тег не привязан к сайту. Возможные причины: Сайт не добавлен в Яндекс.Вебмастер. Не подтверждены права на управление сайтом в Яндекс.Вебмастере. Неверный идентификатор тега в Яндекс.Вебмастере на странице Настройки → Ссылка на Яндекс.Метрику.	Проверьте возможные причины и снова запросите подтверждение.

Перейдите в раздел Индексирование → Сканирование тегов.
Напротив метки Яндекс.Метрики, которую вы привязали к сайту, включите сканирование.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант будет применяться ко всем версиям сайта: как HTTP, так и HTTPS, а также с префиксом www или без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях сканирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц — Яндекс.Вебмастер показывает только примеры. Они могут помочь вам понять, какие группы страниц могут участвовать в поиске, а какие нет.

В зависимости от настроек может появиться уведомление о готовности списка к проверке:

В Яндекс.Вебмастере, на страницах Уведомления и Диагностика.
Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, с которым вы связали веб-сайт.

Если вы думаете, что в списке:

Проанализируйте список страниц — среди них могут быть, например:
Дождитесь обновления списка сервисом — на адрес электронной почты, который вы указали в настройках уведомлений, будет отправлено письмо.
Еще раз проверьте образцы страниц.
Включить сканирование.

Убедитесь, что они готовы к отображению в результатах поиска — например, проверьте полноту содержимого, а также проверьте наличие и правильность заголовка элемента и метатега Description.
Включить сканирование.

Кроме того, мы рекомендуем добавлять в файл Sitemap страницы, которые могут участвовать в поиске, чтобы они быстрее попадали в результаты поиска.

Проверить, какие страницы отображались в результатах поиска, можно в разделе Страницы в поиске.

Если эта опция отключена, робот перестает получать информацию о новых страницах сайта из Яндекс.Метрики. Но он по-прежнему может индексировать страницы, узнав о них из других источников. Поэтому мы рекомендуем блокировать индексацию закрытого контента. Узнать, включаются ли в поиск нежелательные страницы, можно в разделе Страницы в поиске.

Отключение сканирования также не удаляет страницы из результатов поиска. См. раздел Как исключить страницы из поиска?.

Статистика сканирования — Вебмастер. Справка

Робот-индексатор Яндекса регулярно просматривает страницы сайта и загружает их в базу поиска. Робот может не загрузить страницу, если она недоступна.

Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта сканирует робот. Вы можете просмотреть URL-адреса страниц, которые роботу не удалось загрузить из-за недоступности сервера хостинга или из-за ошибок в содержании страниц.

Информация о страницах доступна на странице Индексация → Статистика обхода в Яндекс.Вебмастере. Информация обновляется ежедневно в течение шести часов после посещения страницы роботом.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают известную Яндексу структуру сайта (кроме разделов, добавляемых вручную).

Если в списке нет страниц, которые должны быть включены в результаты поиска, сообщите о них Яндексу с помощью инструмента Переиндексация страниц.

Вы можете скачать информацию о страницах в формате XLS или CSV с помощью фильтров.

Примечание. Данные доступны с 20 февраля 2017 года.

Новое и измененное — количество страниц, просканированных роботом в первый раз, и страниц, статус которых изменился после того, как они были просканированы роботом.

Статистика сканирования — количество страниц, просканированных роботом, с кодом ответа сервера.

Изменения отображаются, если код ответа HTTP изменился при повторном доступе робота к странице. Например, 200 OK становится 404 Not Found. Если изменилось только содержимое страницы, то оно не будет отображаться в Яндекс.Вебмастере.

Чтобы просмотреть изменения, установите параметр Последние изменения. Может отображаться до 50 000 изменений.

Яндекс.Вебмастер показывает следующую информацию о страницах:

Дата последнего посещения страницы роботом (дата обхода).
Путь к странице из корневого каталога сайта.
Код ответа сервера, полученный при сканировании.

На основе этой информации можно узнать, как часто робот сканирует страницы сайта. Вы также можете увидеть, какие страницы были только что добавлены в базу данных, а какие были просканированы повторно.

Страниц добавлено в базу поиска

Если страница сканируется в первый раз, в столбце Был отображается статус Н/д, а в столбце Текущий отображается ответ сервера (например, 200 ОК).

После успешной загрузки страницы в базу данных поиска она может отображаться в результатах поиска после обновления базы данных поиска. Информация об этом отображается на странице Страницы в поиске.

Страницы переиндексированы роботом

Если робот просканировал страницу ранее, статус страницы может измениться при повторном просканировании: в столбце Был показан ответ сервера, полученный во время предыдущего посещения, в столбце В настоящее время показан полученный ответ сервера во время последнего обхода.

Предположим, что включенная в поиск страница стала недоступной для робота. В этом случае он исключается из поиска. Через некоторое время вы сможете найти его в списке исключенных страниц на странице Страницы в поиске.

Исключенная из поиска страница может оставаться в базе поиска, чтобы робот мог проверить ее доступность. Обычно робот продолжает запрашивать страницу до тех пор, пока на нее есть ссылки и это не запрещено в файле robots.txt.

Чтобы просмотреть список страниц, установите параметр Все страницы. Список может содержать до 50 000 страниц.

Вы можете просмотреть список просканированных роботом страниц сайта и следующую информацию о них:

Дата последнего посещения страницы роботом (дата обхода).
Путь к странице из корневого каталога сайта.
Код ответа сервера, полученный при последней загрузке страницы роботом.

Совет. Если в списке указаны страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов. Чтобы робот не заходил на ненужные страницы, запретите индексацию директивой Disallow в файле robots.txt.

С помощью значка можно отфильтровать информацию о страницах и изменениях в базе поиска по всем параметрам (дата сканирования, URL страницы, код ответа сервера). Вот несколько примеров:

По ответу сервера

Вы можете создать список страниц, которые робот просканировал, но не смог загрузить из-за ответа сервера 404 Not Found.

Можно фильтровать только новые страницы, которые были недоступны для робота. Для этого установите переключатель в положение Последние изменения.

Также вы можете получить полный список страниц, которые были недоступны для робота. Для этого установите переключатель на Все страницы.

По фрагменту URL

Вы можете создать список страниц, URL которых содержит определенный фрагмент. Для этого выберите из списка Содержит и введите фрагмент в поле.

По URL-адресу с использованием специальных символов

Можно использовать специальные символы для соответствия началу строки или подстроки, а также задавать более сложные условия с помощью регулярных выражений. Для этого выберите совпадения URL из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них на новой строке.

Для условий доступны следующие правила:

Соответствует любому из условий (соответствует оператору «ИЛИ»).
Соответствует всем условиям (соответствует оператору «И»).

символы, используемые для фильтрации
. с https://example.com/tariff/, включая указанную страницу: `/tariff/` Использование символа Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: `/news/*/2017/` .
@	Отфильтрованные результаты содержат указанную строку (но не обязательно точно соответствуют ей)	Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: `@tariff`
~	Условие является регулярным выражением	Отображение данных для страниц с URL-адресами, которые соответствуют регулярному выражению. Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент `~стол\|диван\|кровать` , повторяющийся один или несколько раз.
!	Негативное условие	Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: `!/tariff/*`

При использовании символов не учитывается регистр.

Символы @,!, ~ можно использовать только в начале строки. Доступны следующие комбинации:


Оператор	Пример
!@	исключает PAGES с URLS. страницы с URL-адресами, соответствующими регулярному выражению

Я создал сайт, но он до сих пор не проиндексирован.

Возможно, с момента создания сайта прошло слишком мало времени. Чтобы сообщить роботу о сайте, добавьте сайт в Яндекс.Вебмастер и подтвердите свои права на него. Также проверьте, не было ли сбоев сервера. В случае ошибки сервера робот Яндекса прекращает индексацию и делает новую попытку при следующем обходе сайта.

Сотрудники Яндекса не могут ускорить добавление страниц в базу поиска.

Как долго мне ждать, пока сайт попадет в поиск?

Мы не прогнозируем сроки индексации сайта и не можем гарантировать, что сайт будет проиндексирован. Обычно проходит от нескольких дней до двух недель с момента, когда робот находит сайт, до момента, когда страницы отображаются в результатах поиска.

Количество запросов на графике «История обхода» уменьшилось или увеличилось

Количество просканированных роботом Яндекса страниц в разные дни может быть больше или меньше. Эти изменения не влияют на индексацию сайта или ранжирование в результатах поиска.

Если вы заметили, что:

Страницы медленнее попадают в результаты поиска, см. Почему страницы появляются в результатах поиска так долго? раздел.
Робот создает дополнительную нагрузку на сайт и хочет ее снизить. Следуйте рекомендациям.

Вы пытаетесь загрузить конфиденциальную информацию с моего сервера. Что я должен делать?

Робот берет ссылки с других страниц. Это означает, что какая-то другая страница содержит ссылки на конфиденциальные разделы вашего сайта. Вы можете либо защитить их паролем, либо заблокировать от индексации роботом Яндекса в файл robots.txt . В обоих случаях робот не будет скачивать конфиденциальную информацию.

Чтобы сообщить об ошибке в статистике сканирования, заполните форму ниже.

Справочник по ошибкам индексирования — веб-мастер. Справка

Ошибки загрузки
Ошибки обработки

Список ошибок, которые выдает робот Яндекса, если ему не удается загрузить документ с вашего сайта.


Ошибка	Описание
Ошибка соединения	Соединение прервано при попытке загрузить документ. После нескольких попыток загрузка была остановлена.
Превышен лимит размера текста	Документ слишком длинный, попробуйте разбить его на части.
Документ заблокирован от индексации в robots.txt	Документ не проиндексирован, поскольку вы или другой администратор заблокировали его от сканирования в robots.txt.
Неверный адрес документа	Адрес документа не соответствует стандарту HTTP.
Формат документа не поддерживается	Сервер не указывает формат документа или указывает неверно, либо указанный формат не поддерживается Яндексом.
Ошибка DNS	Ошибка DNS. IP-адрес хоста не может быть определен по его имени.
Код состояния HTTP не соответствует стандарту	Сервер возвращает код состояния, который не соответствует стандарту HTTP.
Недопустимый HTTP-заголовок	HTTP-заголовок не соответствует стандарту (включая расширение от Яндекса).
Не удалось подключиться к серверу	Не удалось подключиться к серверу.
Недопустимая длина сообщения	Длина сообщения не указана или указана неправильно.
Неверная кодировка	Заголовок Transfer-Encoding задан неправильно или кодировка неизвестна.
Неверный объем переданных данных	Длина передаваемых данных не соответствует указанной. Передача данных завершается до или продолжается после получения указанного объема данных.
Превышена максимальная длина заголовка HTTP	Превышен предел длины заголовков HTTP. Это может быть вызвано попыткой передать слишком много файлов cookie.
Превышена максимальная длина URL-адреса	Длина URL-адреса превышает ограничение.

Список ошибок, возвращаемых роботами в случае, если они успешно скачали документ, но дальнейшая обработка невозможна.


Ошибка	Описание
Документ содержит `, потому что It Soverse` Meta	. 0728 noindex метатег.
Неверная кодировка	Документ содержит символы, не соответствующие заявленной кодировке.
Документ является журналом сервера	Документ распознан как журнал сервера. Если это страница, созданная для посетителей веб-сайта, попробуйте изменить ее так, чтобы она не была похожа на журнал сервера.
Недопустимый формат документа	Робот обнаружил, что документ не соответствует заявленному формату (HTML, PDF, DOC, RTF, SWF, XLS, PPT).
Кодировка не распознана	Кодировка документа не распознана. Возможно, документ не содержит текста или содержит текст в разных кодировках.
Язык не поддерживается	Язык документа не распознан или не поддерживается. Для получения подробной информации обо всех поддерживаемых языках перейдите в соответствующий раздел справки.
Документ не содержит текста	Сервер возвращает пустой документ.
Слишком много ссылок	Количество ссылок на странице превышает лимит.
Ошибка извлечения	Произошла ошибка при распаковке потока данных GZIP или DEFLATE с сервера.
Пустой ответ сервера	Сервер вернул ответ нулевой длины. Свяжитесь с администратором хостинг-сервера.
Документ не является каноническим	Элемент `link` в коде документа содержит `rel` атрибут установлен на `канонический` и указывает на другой (канонический) документ. Канонический документ был проиндексирован вместо текущего документа.

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Яндекс — Технологии — Как работает поиск Яндекса

Яндекс поисковая система отвечает на запросы пользователей соответствующими веб-документами, которые она находит в Интернете. Однако размер Интернета в настоящее время исчисляется эксабайтами — квинтиллионами или миллиардами миллиардов байтов информации. Излишне говорить, что Яндекс Поиск не просматривает эту огромную кучу данных каждый раз, когда отвечает на новый поисковый запрос. Система, так сказать, делает свою домашнюю работу.

Для выполнения поиска Яндекс использует поисковый индекс, который представляет собой базу данных всех слов и их местоположений, известных поисковой системе. Расположение слова — это комбинация его положения на веб-странице и адреса веб-страницы в Интернете. Индекс поиска похож на глоссарий или телефонный справочник. В отличие от глоссария, который содержит только избранные термины, индекс поиска регистрирует каждое слово, с которым когда-либо сталкивалась поисковая система. И, в отличие от телефонной книги, в которой перечислены имена и адреса, поисковый индекс содержит более одного «зарегистрированного адреса» для каждого слова.

Механизм веб-поиска работает в два этапа. Во-первых, он сканирует Интернет, сохраняя свою «копию» на своих серверах. Во-вторых, он отвечает на поисковый запрос пользователя, получая ответ со своих серверов.

Прежде чем поисковая система сможет начать поиск, она должна подготовить информацию, которую она находит в Интернете, для поиска. Этот процесс называется индексацией. Специальная компьютерная система — поисковый робот — регулярно просматривает Интернет, загружает новые веб-страницы и обрабатывает их. Он создает своего рода «точную копию» Интернета, которая хранится на серверах поисковой системы и обновляется после каждого сканирования.

У Яндекса есть два краулера: один из них, основной краулер, индексирует все попадающиеся ему веб-страницы, а другой, известный как Orange, выполняет экспресс-индексацию, чтобы гарантировать, что самые последние документы, включая те, которые появились на веб-минуты или даже секунды до сканирования доступны в индексе поисковой системы. У обоих сканеров есть «списки ожидания» веб-страниц, которые необходимо проиндексировать. В списки постоянно добавляются новые ссылки, которые поисковые роботы находят на страницах, которые они посещают. Новые ссылки также могут появиться в листах ожидания после того, как владельцы сайтов добавят свои страницы в индекс с помощью сервиса Яндекс.Вебмастер. Администраторы веб-сайтов также могут предоставить дополнительную информацию, например, как часто обновляется их веб-сайт и т. д.

Прежде чем начать сканирование, специальная программа – планировщик – создает расписание, порядок посещения веб-страниц. Планирование основано на ряде факторов, необходимых для поиска информации, таких как популярность ссылок или частота обновления страниц. После составления расписания за дело берется другой компонент поисковой системы — паук. Паук регулярно посещает страницы по расписанию. Если веб-сайт доступен для паука и функционирует, программа загружает страницы веб-сайта по расписанию. Он определяет формат (html, pdf, swf и т. д.), код и язык загруженного документа, а затем отправляет эту информацию на серверы для хранения.

На сервере хранения другая программа очищает веб-документ от html-разметки, оставляя только текст. Затем он извлекает информацию о расположении каждого слова и добавляет все слова в этом веб-документе в индекс. Исходный документ также хранится на сервере до следующего сканирования. Это позволяет Яндексу предлагать своим пользователям возможность просмотра веб-документов, даже если сайт временно недоступен. Если сайт закрывается, веб-документ удаляется или обновляется, Яндекс удаляет его со своих серверов или заменяет более новой версией.

Индекс поиска вместе с копиями всех проиндексированных документов, включая их тип, код и язык, образует базу данных поиска. Чтобы не отставать от постоянно меняющегося характера интернет-контента и убедиться, что поисковая система может находить самую свежую и наиболее актуальную информацию в ответ на поисковые запросы пользователей, базу данных поиска необходимо регулярно обновлять. Прежде чем поисковая система сможет найти и вернуть результаты конечным пользователям, каждое новое обновление базы данных сначала отправляется на серверы «базового поиска». Базовые поисковые серверы содержат только существенную часть базы данных поиска — без спама, зеркальных сайтов или других нерелевантных документов. Это часть базы данных поиска, непосредственно отвечающая на запросы пользователей.

Обновления базы данных поиска отправляются с серверов хранения основного сканера на основные поисковые серверы в «пакетах» раз в несколько дней. Это очень ресурсоемкий процесс. Чтобы снизить нагрузку на серверы, данные передаются ночью — когда поисковый трафик на Яндексе минимален. Новые части базы данных сравниваются по ряду параметров с последней версией, доступной при предыдущем обходе, чтобы гарантировать, что обновление не ухудшит качество результатов поиска. После успешной проверки качества старая версия заменяется последней версией.

Поисковый робот Orange предназначен для поиска в реальном времени. И его планировщик, и паук настроены на поиск последних веб-документов и выбор из огромного количества страниц тех, которые могут представлять интерес. Эти документы мгновенно обрабатываются и отправляются прямо на основные поисковые серверы. Поскольку количество этих документов относительно невелико, обновление может происходить в режиме реального времени даже в течение дня без риска перегрузки серверов.

Веб-поисковик, грубо говоря, работает в два этапа. Первый — сканирование сети, индексация страниц, подготовка их к поиску. Другой — поиск ответа на конкретный запрос пользователя в ранее созданной поисковой базе.

новая инициатива Microsoft и Яндекс по доставке контента в поисковые системы

Search Engine Land » Channel » SEO » IndexNow — новая инициатива Microsoft и Яндекс по доставке контента в поисковые системы

Сегодня Microsoft и Яндекс объявили о новой инициативе под названием IndexNow , протокол, в котором может участвовать любая поисковая система, позволяющий владельцам сайтов мгновенно индексировать свои страницы и контент поисковой системой. В настоящее время Microsoft Bing и Yandex являются двумя поисковыми системами, полностью участвующими в инициативе, но другие могут принять этот открытый протокол.

IndexNow позволяет «веб-сайтам легко уведомлять поисковые системы о создании, обновлении или удалении содержимого их веб-сайтов», — написала Microsoft в своем блоге. По словам компании, цель состоит в том, чтобы сделать Интернет «более эффективным», уменьшив зависимость от роботов поисковых систем, которые вынуждены выходить в Интернет и сканировать каждый найденный URL-адрес. Вместо этого целью владельцев сайтов является передача этих деталей и изменений URL-адресов поисковым системам напрямую. «Сообщая поисковым системам, был ли изменен URL-адрес, владельцы веб-сайтов дают четкий сигнал, помогая поисковым системам расставить приоритеты при сканировании этих URL-адресов, тем самым ограничивая потребность в исследовательском сканировании для проверки того, изменилось ли содержимое», — пишет Microsoft.

Как это работает. Протокол очень прост — все, что вам нужно сделать, это создать ключ на своем сервере, а затем опубликовать URL-адрес в поисковой системе, чтобы уведомить поисковые системы, участвующие в IndexNow, об изменении. Шаги включают:

Сгенерируйте ключ, поддерживаемый протоколом, с помощью онлайн-инструмента генерации ключей.
Разместите ключ в текстовом файле с именем, содержащим значение ключа в корневом каталоге вашего веб-сайта.
Начните отправлять URL-адреса, когда ваши URL-адреса будут добавлены, обновлены или удалены. Вы можете отправить один URL-адрес или набор URL-адресов за вызов API.

Отправить один URL-адрес просто, отправив простой HTTP-запрос, содержащий измененный URL-адрес и ваш ключ.
https://www.bing.com/IndexNow?url=url-changed&key=your-key, и то же самое будет работать при использовании https://yandex.com/indexnow?url=url-changed&key=your-key

Более подробные инструкции можно найти на сайте Microsoft Bing IndexNow или на веб-сайте протокола IndexNow.

Они работают вместе. Если вы используете метод Bing, то и Bing, и Яндекс (или другие участвующие поисковые системы) получат обновление. Вам не нужно отправлять URL-адреса как Bing, так и Яндекса, вам просто нужно выбрать один, и все поисковые системы, которые являются частью этой инициативы, уловят это изменение.

Поисковые системы совместно используют эту систему IndexNow, поэтому, если вы уведомите одну из них, эта поисковая система немедленно повторно пропингует друг друга в фоновом режиме, уведомив их всех. Фактически, требованием IndexNow является то, что любые поисковые системы, использующие протокол IndexNow, должны согласиться с тем, что представленные URL-адреса будут автоматически переданы всем другим участвующим поисковым системам. Чтобы участвовать, поисковые системы должны иметь заметное присутствие по крайней мере на одном рынке, сообщила Microsoft Search Engine Land.

Аналогично API отправки URL-адресов Bing. Похоже ли это на API отправки URL-адресов Bing? Да, в том смысле, что цель состоит в том, чтобы снизить требования к сканированию и повысить эффективность. Но отличается тем, что это совершенно другой протокол. Если вы используете API отправки URL-адресов Bing или API отправки контента Bing, технически Bing немедленно получит ваши URL-адреса и изменения контента, но эти два API не работают с протоколом IndexNow, поэтому другие поисковые системы не получат изменений.

Исчезнут ли эти API, если и когда инициатива IndexNow станет более популярной? Это неясно. API отправки URL будет несколько избыточным для IndexNow, но API отправки контента уникален.

Интеграция. IndexNow получает поддержку сторонних веб-сайтов, таких как eBay, а также принадлежащих Microsoft LinkedIn, MSN и GitHub, для интеграции с IndexNow API. Microsoft заявила, что многие из них приняли API отправки URL-адресов Microsoft Bing Webmaster и планируют переход на IndexNow.

Корпорация Майкрософт рекомендует всем системам управления веб-контентом использовать IndexNow, чтобы помочь своим пользователям мгновенно индексировать последний контент своих веб-сайтов и свести к минимуму нагрузку сканирования на свои веб-сайты. Фактически, Microsoft предоставила код WordPress, который она может использовать для интеграции IndexNow в свою CMS. Wix, Duda и другие компании также планируют вскоре интегрироваться с IndexNow. CDN, такие как CloudFlare и Akamai, также работают с протоколом IndexNow, как и инструменты SEO, такие как Botify, OnCrawl и другие.

Как насчет Google. Нам сказали, что Google известно об инициативе IndexNow, и компанию попросили принять участие. На данный момент Google не является активным участником IndexNow.

Почему это нас волнует. Мгновенная индексация — это мечта SEO-специалистов, когда речь идет о предоставлении поисковым системам самого свежего контента на сайте. Google очень строго относится к API индексации своих приложений, который только сейчас используется для объявлений о вакансиях и контента прямых трансляций. Таким образом, хотя кажется, что Google может не участвовать в IndexNow в ближайшем будущем, поисковые системы, такие как Microsoft Bing и Yandex, стремятся активно продвигать эту инициативу.

Яндекс индексация: Индексирование сайта — Вебмастер. Справка

Быстрый старт — Вебмастер. Справка

Индексирование сайта с помощью счетчика Метрики

Что такое индексация сайта в поисковых системах Google и Яндекс

Что значит индексация сайта и почему она важна

Как происходит индексация сайта

Сканирование страниц

Обработка страниц

Как проверить индексацию

Поисковая строка

Бесплатные плагины

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Управление индексацией сайта

Что делать, если сайт не индексируется

Технические причины

Контентные причины

Иные причины

Заключение

Как ускорить индексацию сайта в Яндексе и Google 🚀

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Страницы не индексируются одним из поисковиков

Страницы индексируются, но долго

Как ускорить индексацию страниц

Отправить страницу на переобход

Массовая отправка страниц на переиндексацию в Google

Проверить разрешения в robots.txt

Создать Sitemap — Карту сайта

Проверить структуру и перелинковку разделов

Взять за правило обновлять контент

Публиковать ссылки в соцсетях и на других площадках

Ускорить загрузку сайта

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Тег noindex может влиять на индексацию страницы после его снятия?

Как редирект влияет на индексацию страниц?

Как ускорить индексацию страниц, которые были 404?

Как поисковики относятся к URL c хэшами?

отличия и особенности — SEO-словарь веб-студии Муравейник

Почему необходимо попадание страниц в индекс

Особенности индексирования в Яндексе и Google

Что делать

Как ускорить индексацию сайта в Яндексе и Google?

Индексирование сайта с помощью тега Яндекс.

Индексация сайта с тегом Яндекс.Метрики

Статистика сканирования — Вебмастер. Справка

Справочник по ошибкам индексирования — веб-мастер. Справка

Яндекс — Технологии — Как работает поиск Яндекса

новая инициатива Microsoft и Яндекс по доставке контента в поисковые системы

Добавить комментарий Отменить ответ

Рубрики

Рубрики