Индексирование сайта — Вебмастер. Справка

  1. Добавьте сайт в Яндекс Вебмастер.

  2. Sitemap. Для удобства вебмастеров и поисковых систем был разработан специальный формат карты сайта — sitemap. Это список ссылок на внутренние страницы сайта, представляемый в формате XML. Этот формат поддерживает и Яндекс. На специальной странице сервиса можно загрузить Sitemap для вашего сайта. Это позволит влиять на приоритет обхода роботом некоторых страниц вашего сайта. Например, если какие-то страницы обновляются гораздо чаще, чем другие, следует указать эту информацию, чтобы робот Яндекса правильно планировал свою работу.

  3. Robots.txt — файл, предназначенный для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. Рассмотрим наиболее важные параметры, которые можно указать в этом файле:

    Disallow
    Эта директива используется для запрета от индексирования отдельных разделов сайта. С ее помощью необходимо закрывать от индексирования технические и не представляющие ценности ни для пользователя, ни для поисковых систем страницы. К ним относятся:
    Подробнее об этом см. в разделе Использование файла robots.txt.
    Clean param
    С помощью этой директивы можно указать роботу, какие cgi-параметры в адресе страницы следует считать незначащими. Иногда адреса страниц содержат идентификаторы сессий — формально страницы с разными идентификаторами различаются, однако их содержимое при этом одинаково. Если таких страниц на сайте много, индексирующий робот может начать индексировать такие страницы, вместо того чтобы скачивать полезное содержимое. Подробнее об этом см. в разделе Использование файла robots.txt.

  4. Яндекс индексирует основные типы документов, распространенных в Сети. Но существуют ограничения, от которых зависит, как будет проиндексирован документ, и будет ли проиндексирован вообще:

    • Большое количество cgi-параметров в URL, большое количество повторяющихся вложенных директорий и слишком большая общая длина URL может привести к ухудшению индексирования документов.

    • Для индексирования важен размер документа — документы больше 10Мб не индексируются.

    • Индексирование flash:

      1. индексируются файлы *.swf, если на них есть прямая ссылка или они встроены в html тегами object или embed ;

      2. если flash содержит полезный контент, исходный html документ может быть найден по контенту, проиндексированному в swf файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде картинок, не индексируется.

    • Яндекс корректно индексирует документы в формате Open Office XML и OpenDocument (в частности, документы Microsoft Office и Open Office). Но следует учитывать, что внедрение поддержки новых форматов может занимать некоторое время.

    • Допустимо использование тегов <frameset> и <frame>, робот Яндекса индексирует контент, подгружаемый в них, и позволяет найти исходный документ по содержимому фреймов.

  5. Если вы переопределили поведение сервера для несуществующих URL, убедитесь, что сервер возвращает код ошибки 404. Получив код ответа 404, поисковая система удалит данный документ из индекса. Следите, чтобы все нужные страницы сайта отдавали код 200 OK.

  6. Следите за корректностью HTTP-заголовков. В частности, важно содержание ответа, который сервер отдает на запрос «if-modified-since» . Заголовок Last-Modified должен отдавать корректную дату последнего изменения документа.

  7. Версии сайта, адаптированные для просмотра на мобильных устройствах, лучше выносить на поддомен, так же, как и версии сайта на различных языках.

Примечание.

Запрещайте для индексирования не предназначенные для пользователей страницы, управляйте поисковым роботом Яндекса.

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

Быстрый старт — Вебмастер.

Справка

Войдите в Вебмастер с Яндекс ID или зарегистрируйтесь.

Примечание. В Вебмастер можно добавить только сайт с собственным доменом.

  1. Перейдите в Вебмастер.

  2. Нажмите кнопку Добавить сайт.

  3. В поле укажите адрес сайта, по которому он будет участвовать в поиске:

    • по протоколу HTTP или HTTPS;

    • с префиксом www или без него.

    Например, https://www.example.com. Кириллический адрес будет автоматически перекодирован в Punycode. В этом случае кодировка URL страницы должна соответствовать кодировке самой страницы.

  4. Нажмите кнопку Добавить. После этого сайт отобразится на странице Мои сайты.

На странице Права доступа выберите один из способов подтверждения. Чтобы подтвердить права, внесите изменения на сайт.

Если вы добавили в Вебмастер сайт и его поддомены, используйте упрощенное подтверждение прав.

После подтверждения прав на управление сайтом вы можете передать права другим пользователям Вебмастера.

Пользователь, которому вы делегируете права, сможет использовать все возможности сервиса. Делегировать свои права другому пользователю он при этом не сможет. Подробно см. раздел Делегирование прав.

Примечание. Добавление сайта в Вебмастер не гарантирует, что сайт появится в результатах поиска. О том, что необходимо для появления сайта в результатах поиска, см. раздел Как добавить сайт в поиск.

Чтобы ваш вопрос быстрее попал к нужному специалисту, уточните тему:

Для добавления сайта в Вебмастер необходимо, чтобы сервер отвечал основному роботу Яндекса и роботу Вебмастера HTTP-кодом 200 OK (или перенаправлением на страницу, отвечающую HTTP-кодом 200 OK).

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Запись DNS не найдена

Данная ошибка произошла из-за того, что требуемая запись не была найдена в DNS вашего сайта. Это могло произойти по следующим причинам:

  • Информация в DNS еще не успела обновиться (это может занять некоторое время). Попробуйте подтвердить права на следующий день.

  • В DNS была создана запись не txt-типа;

  • В DNS была создана запись для другого сайта. Домены http://www.site.ru и site.ru с точки зрения поисковой системы являются разными, поэтому txt-запись для каждого из них создается отдельно.

  • Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если вы не знаете, как сделать txt-запись в DNS, обратитесь в службу поддержки сервиса, на DNS которого делегирован ваш сайт. Например, это может быть регистратор доменных имен.

Содержимое полученного HTML-файла отличается от требуемого

Для подтверждения прав на управление сайтом с помощью HTML-файла необходимо учитывать, что содержимое файла должно быть строго таким, как указано на сервисе. Если в коде файла будут присутствовать элементы дизайна страницы, метатеги или любой другой дополнительный код, то права подтвердить не удастся.

Если по каким-то причинам вам не удается создать HTML-файл со строго определенным содержимым, то необходимо проверить настройки сервера. Возможно, он автоматически добавляет код при создании страницы. В этом случае воспользуйтесь другим способом подтверждения прав.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Не удалось загрузить главную страницу

Робот Вебмастера не смог просмотреть главную страницу вашего сайта. Это могло произойти по следующим причинам:

  • Главная страница вашего сайта перенаправляет на другую страницу (например, на страницу /index.html). В таком случае рекомендуем изменить настройки сервера таким образом, чтобы роботу с именем Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) сервер отвечал HTTP-кодом 200 OK.

  • Главная страница вашего сайта недоступна. Проверьте, открывается ли она в браузере.

  • Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Если перенаправлений с главной страницы нет и она свободно открывается в браузере, но права на управление сайтом подтвердить не получается, напишите нам об этом.

Метатег не найден

Проверьте следующее:

  • Метатег, который необходим для подтверждения прав на управление сайтом, должен располагаться в HTML-коде главной страницы сайта, в элементе head.

    <head>
...
<meta name='yandex-verification' content='XXXXXXXXXXXXXX' />
...
</head>

    Если вы добавите метатег в другое место главной страницы, то права подтвердить не удастся.

  • Сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

При проверке прав робот получил ответ, отличный от 200 OK

При обращении основного робота Яндекса или робота Вебмастера к документам на вашем сайте сервер отвечает кодом, отличным от 200 OK. Поэтому права не могут быть подтверждены.

Проверьте настройки вашего сервера. В логах роботы Яндекса представляются следующим образом.

Необходимо настроить сервер таким образом, чтобы на запрос файла он отвечал роботам HTTP-кодом 200 ОК — в этом случае права на сайт в Вебмастере должны подтвердиться успешно.

Если сайт работает по IPv4 и IPv6. Убедитесь, что по всем IP-адресам сайт отвечает корректно.

Ошибки при делегировании прав

При делегировании прав сайт не добавится автоматически в учетную запись пользователя, которому делегируют права. Необходимо сделать это вручную. После того, как сайт будет добавлен, делегированные права подтвердятся автоматически.

Также нужно учитывать, что с точки зрения поисковой системы сайты https://www.example.com, https://example.com, http://www.example.com и http://example.com являются разными. Поэтому адрес сайта нужно добавлять в точности так, как он был добавлен пользователем, который делегирует права.

Другая ошибка

Уже подтвержденные права на управление сайтом могут быть аннулированы, если при очередной проверке робот сервиса не обнаружит код подтверждения, либо если сайт будет недоступен.

Наличие кода подтверждения проверяется регулярно и автоматически. Поэтому рекомендуем не допускать удаления кода — тогда ваши права не сбросятся. Чтобы вернуть аннулированные права, достаточно подтвердить их заново любым способом. При этом уже собранная статистика по сайту сохранится.

Информация, которая предоставляется на сервисе, является конфиденциальной и предназначена для владельцев сайтов или иных уполномоченных лиц, поэтому для управления сайтом в Вебмастере требуется подтверждение. Если вы не хотите подтверждать права, то вы не сможете воспользоваться данным сервисом.

Индексация — Вебмастер. Справка

  1. Добавить сайт в Яндекс.Вебмастер.

  2. Карта сайта. Карта сайта — это специальный формат, разработанный для веб-мастеров и поисковых систем для описания структуры сайта. Представляет собой список ссылок на внутренние страницы сайта, представленный в формате XML. Яндекс также поддерживает этот формат. Вы можете загрузить карту сайта для своего сайта на специальной странице в Яндекс.Вебмастере. Используйте его, чтобы установить приоритет сканирования определенных страниц для робота. Например, если какие-то страницы обновляются чаще, сообщите об этом, чтобы робот правильно планировал сканирование.

  3. Robots.txt — это файл для роботов поисковых систем. В этом файле вебмастер может указать параметры индексации для всех роботов или для каждой поисковой системы отдельно. Вот три наиболее важных параметра, указанные в этом файле:

    Disallow
    Эта директива используется для запрета индексации определенных разделов сайта. Используйте его, чтобы предотвратить индексацию технических страниц и страниц, которые не важны для пользователей и поисковых систем. В том числе:
    Дополнительные сведения см. в разделе Использование robots. txt.
    Очистить параметр
    Используйте эту директиву, чтобы указать роботу, какие параметры CGI в URL-адресе страницы не важны. Иногда URL-адреса страниц содержат идентификаторы сеансов. Формально страницы с разными ID разные, но содержание у них одинаковое. Если на сайте много таких страниц, робот может начать индексировать такие страницы, а не скачивать полезный контент. Дополнительные сведения см. в разделе Использование robots.txt.

  4. Яндекс индексирует основные типы документов, распространяемых в сети. Но существуют ограничения, которые влияют на то, как документ индексируется и индексируется ли он вообще:

    • Большое количество параметров CGI в URL-адресе, большое количество вложенных каталогов и слишком длинные URL-адреса могут мешать индексированию документа.

    • Размер документа важен для индексации. Документы размером более 10 МБ не индексируются.

    • Indexing Flash:

      1. Робот индексирует файлы *. swf, если на них есть прямая ссылка или они встроены в HTML с тегами object или embed.

      2. Если Flash содержит полезное содержимое, исходный HTML-документ можно найти по содержимому, проиндексированному в swf-файле.

    • В документах PDF индексируется только текстовое содержимое. Текст, представленный в виде изображений, не индексируется.

    • Яндекс индексирует документы в форматах Open Office XML и OpenDocument (включая документы Microsoft Office и Open Office). Но поддержка новых форматов может занять некоторое время.

    • Вы можете использовать теги и. Робот Яндекса индексирует загруженный в них контент и находит исходный документ по содержимому фреймов.

  5. Если вы задали другое поведение сервера для несуществующих URL-адресов, убедитесь, что сервер возвращает код ошибки 404. Как только поисковая система получает код 404, она удаляет документ из индекса. Убедитесь, что все необходимые страницы на сайте отвечают кодом 200 OK.

  6. Убедитесь, что заголовки HTTP указаны правильно. Ответ сервера на запрос «if-modified-since» важен. Заголовок Last-Modified должен содержать правильную дату последнего изменения документа.

  7. Размещать версии сайта, адаптированные для мобильных устройств, а также языковые версии в поддоменах.

Примечание.

Управлять роботом Яндекса и запрещать индексацию страниц, не предназначенных для пользователей.

Далее

Если страницы доступны для робота и отправлены на переиндексацию, но не появляются в поиске более двух недель, заполните форму ниже:

Индексация сайта с помощью тега Яндекс.Метрики

Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу индексировать страницы с тегом.

Чтобы ускорить сканирование, привяжите тег Яндекс.Метрики к сайту, который вы проверили в Яндекс.Вебмастере, и включите индексацию сайта с данными тега.

Who can request and confirm the linking

Where the request is sent from Who sends the request Who confirms the request
Yandex.Webmaster.

Пользователь с правами управления сайтом.

Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.

Яндекс.Метрика. Подробнее о том, как отправить запрос в Яндекс.Метрике.

Пользователь с правами редактирования тегов или представительским доступом.

Пользователь Яндекс.Вебмастер с правами на управление сайтом.

Когда робот закончит сканирование сайта, страницы могут быть включены в результаты поиска, если они не запрещены к индексации. Чтобы помочь роботу найти все страницы, также используйте файл Sitemap.

  1. Шаг 1. В Яндекс.Вебмастере отправьте запрос на привязку.
  2. Шаг 2. В Яндекс.Метрике подтвердите запрос.
  3. Шаг 3. Включите индексацию сайта в Яндекс.Вебмастере
  4. FAQ

Вы можете привязать несколько доменов к одному тегу или несколько тегов к сайту. Например, вы можете привязать один и тот же тег к основному домену и к поддомену. Для этого добавьте оба сайта в Яндекс.Вебмастер и подтвердите свои права на управление сайтом.

  1. Выберите сайт для ссылки на тег.

  2. Перейдите в раздел Настройки → Метки Яндекс.Метрики.

  3. Нажмите кнопку Добавить тег.

  4. Укажите ID тега для ссылки на сайт. Обратите внимание, сайт должен быть указан в Яндекс.Метрике в настройках тега.

После того, как вы отправите запрос на подтверждение привязки, владелец метки Яндекс.Метрики получит уведомление по электронной почте.

Примечание. Если вы одновременно являетесь владельцем сайта и счетчика, запрос подтверждается автоматически — счетчик привязывается к сайту. Перейти к следующему шагу.

После отправки запроса на связывание выполняется поиск совпадений в домене сайта. Протокол и префикс «www» при проверке игнорируются. Если совпадения найдены, подтвердите запрос:

  1. Перейти на страницу настроек (вкладка Тег).

  2. Нажмите кнопку «Подтвердить».

Статус привязки тега к сайту вы можете отслеживать:

  • В Яндекс.Метрике — на странице Настройки перейдите на вкладку Тег.

  • В Яндекс. Вебмастере — Настройки → Метки Яндекс.Метрики.

    Статус Описание Примечание
    «Awausting About»1109 «Awaiting»1109 «Awaiting». Домены проверяются на совпадения. После этого запрос ожидает подтверждения от пользователя Яндекс.Метрики. Пользователь Яндекс.Метрики должен подтвердить запрос.
    «Связанный» Пользователь Яндекс.Метрики подтвердил запрос на привязку. Робот Яндекса начнет обход страниц сайта.
    «Не подтверждено» Пользователь Яндекс.Метрики или Яндекс. Вебмастер отменил привязку. Вы можете повторно отправить запрос на привязку тега к сайту.
    «Ошибка подтверждения» Тег не привязан к сайту. Возможные причины:

    • Сайт не добавлен в Яндекс.Вебмастер.

    • Не подтверждены права на управление сайтом в Яндекс.Вебмастере.

    • Неверно указан ID тега на странице Настройки → Теги Яндекс.Метрики в Яндекс.Вебмастере.

    		 Проверьте возможные причины и снова запросите подтверждение.

  1. Перейдите в раздел Индексирование → Сканирование тегов.

  2. Рядом с меткой Яндекс.Метрики, которую вы привязали к сайту, включите индексацию.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант применим ко всем версиям сайта: по протоколу HTTP или HTTPS, с префиксом «www» или без него.

Во время индексации робот ищет на сайте страницы, которые могут быть включены в результаты поиска. В некоторых случаях индексирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц, но Яндекс.Вебмастер покажет вам только примеры. Эти примеры помогут вам понять, какие группы страниц следует включать, а какие нет.

Вы получите уведомление о том, что список готов к проверке. В зависимости от ваших настроек уведомление будет иметь вид:

  • Отображается в Яндекс.Вебмастере на страницах Уведомления и Диагностика.

  • Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, который вы связали с сайтом.

Если вы считаете, что список включает:

  1. Внимательно посмотрите на список — он может включать следующие типы страниц:

    Тип страницы Что делать?
    Страницы действий. Например, добавление товара в корзину или сравнение товаров. Запрет индексации страницы
    Корзина с товаром.
    Личная информация. Например, адрес доставки и номер телефона клиента. Ограничение доступа к данным путем аутентификации пользователей на сайте
    Страница сайта, которая дублирует содержимое другой страницы того же сайта, но имеет другой URL.»}}»>. Например, URL с дополнительными параметрами (https://example.com/page?id=1). Укажите, какая страница предпочтительнее для включения в результаты поиска

  2. Подождите, пока служба обновит список. Вы получите электронное письмо об этом на адрес, который вы указали в настройках уведомлений.

  3. Еще раз проверьте образцы страниц.

  4. Включить индексацию.

  1. Проверьте, готовы ли ваши страницы к показу в результатах поиска. (Полный ли контент? Правильно ли установлены элемент title и метатег Description?)

  2. Включить индексирование.

Дополнительно мы рекомендуем добавлять в файл Sitemap страницы, которые могут участвовать в поиске, чтобы ускорить их появление в результатах поиска.

Вы можете проверить, какие страницы отображаются в результатах поиска, на странице Страницы в поиске.

При выключенной опции робот перестает получать информацию о новых страницах сайта из Яндекс.Метрики. Однако он может проиндексировать страницы, если узнает о них из других источников. Мы рекомендуем запретить индексирование закрытого контента. Чтобы узнать, включены ли в результаты поиска страницы, которые вы не хотите индексировать, перейдите на страницу Страницы в поиске.

Также имейте в виду, что отключение индексации не удаляет страницы из результатов поиска. См. Как исключить страницы из поиска?.

Нужно ли включать сканирование по тегам Яндекс.Метрики?

Сканирование по тегам Яндекс.Метрики ускоряет индексацию сайта. Используя этот метод, вы отправляете роботу сигнал посетить ваш сайт.

При включении обхода по тегам Яндекс.Метрики Яндер.Вебмастер предлагает примеры страниц, которые нужно скрыть от индексации (например, приватные страницы). Ознакомьтесь с нашими рекомендациями и заблокируйте ненужные страницы от индексации.

Как исключить из поиска ненужные страницы?

Даже если вы не включите сканирование по тегам Яндекс.Метрики, вероятность появления таких страниц в поиске все равно есть. Вот почему мы рекомендуем запретить их индексацию и включить сканирование.

Если у вас есть вопрос о работе инструмента, выберите подходящий:

См.

No related posts.