Индексация яндексом сайта: Структура сайта — Вебмастер. Справка

Содержание

Структура сайта — Вебмастер. Справка

Основой интернета являются ссылки, по которым можно переходить со страницы на другую страницу, с сайта на другой сайт. Работа поискового робота Яндекса основана на переходах по ссылкам и анализе этих ссылок. Если на вашем сайте есть документы, на которые не ссылаются другие страницы, робот Яндекса никогда не узнает про их существование, и они не будут учитываться при поиске. Поэтому важно следить за тем, как страницы вашего сайта связаны друг с другом. Вот несколько советов по организации структуры сайта:

Поддерживайте четкую ссылочную структуру на сайте. Каждый документ должен относиться к своему разделу. Следите, чтобы на каждый документ можно было попасть по обычной ссылке, обозначающейся в HTML-коде страницы тегом <A>: <a href=…>…</a>. Вообще говоря, время, которое необходимо роботу Яндекса, чтобы проиндексировать какую-либо внутреннюю страницу сайта, зависит, в том числе, от глубины вложенности этой страницы. Поэтому чем глубже страница, тем больше времени может пройти до включения ее в индекс.
При создании ссылок между документами сайта нужно учитывать еще один момент. Часто входной точкой на ваш сайт является именно главная страница. Ведь людям гораздо проще запомнить название (имя домена) сайта, но не конкретную внутреннюю страницу, URL которой может быть довольно замысловатым. Организация навигации по сайту должна позволять пользователю быстро сориентироваться в его структуре и легко находить нужные документы, чтобы не возникало ситуации, когда, не найдя нужной информации, разочарованный посетитель покидает сайт.
Используйте карту сайта. Для крупных проектов, содержащих множество страниц, рекомендуется использовать Sitemap (карту сайта). Это поможет поисковому роботу проиндексировать и проанализировать документы вашего сайта.
Ограничивайте индексирование служебной информации. Многочисленные страницы-дубликаты, результаты поиска по сайту, статистика посещений и тому подобные страницы могут тратить ресурсы робота и мешать индексированию основного содержимого сайта. Такие страницы не имеют ценности для поисковой системы, так как пользователям в выдаче они не предоставляют какой-то уникальной информации. Рекомендуем запрещать индексирование таких страниц в файле robots.txt. Если их не исключить из индексирования, то может получиться так, что регулярно добавляющиеся или обновляющиеся технические страницы будут хорошо индексироваться, а факт обновления важной информации на основных страницах сайта для робота останется незамеченным.
Каждая страница должна иметь уникальный адрес (URL). Желательно, чтобы вид URL давал представление о том, что содержится на соответствующей странице. Использование транслитерации в адресах страниц также позволит роботу понять, о чем может быть страница. Например, один только URL http://download.yandex.ru/company/experience/Baitin_Korrekciya%20gramotnosti.pdf дает поисковому роботу множество информации о документе: его можно скачать; формат, скорее всего, PDF; документ, вероятно, релевантен запросу «коррекция грамотности» и так далее.
Делайте ссылки на другие разделы сайта текстовыми, чтобы предоставить роботу больше информации о материалах, которые в них размещены.
Проверяйте корректность symlink-ов, чтобы при движении по сайту у страниц не получался бесконечно растущий URL. Страницы, у которых в пути содержится много повторений одного и того же токена, например, example.com/vasya/vasya/vasya/vasya/ могут не индексироваться.

Совет.

Запрещайте индексирование не предназначенных для пользователей страниц в файле robots.txt.
Используйте одинаковую кодировку для страниц сайта и кириллических адресов в его структуре, так как встретив ссылку href=»/корзина» на странице с кодировкой, например, UTF-8 робот сохранит ее именно в этой кодировке, а значит она должна быть доступна по адресу «/%D0%BA%D0%BE%D1%80%D0%B7%D0%B8%D0%BD%D0%B0».

К следующему разделу

Если страницы доступны для робота, отправлены на переобход, но не появляются в поиске больше двух недель, заполните форму ниже:

что это такое, как происходит, как ускорить и проверить индексацию

Нравится статья?

Понравится и работать с нами.

Начать

Что такое индексация и как она происходит
Как быстрее попасть в индекс
Как проверить индексацию сайта
Почему сайт не индексируется и как это исправить
Как закрыть сайт от индексации и когда это нужно

Индексация сайта в поисковых системах – это то, без чего SEO продвижение невозможно. Если страниц вашего сайта нет в индексе, они не выводятся в поисковой выдаче, а значит, в конкуренции за верхние позиции вы пока не участвуете, и пользователи из поиска не могут перейти к вам.

Разбираемся, как Яндекс и Google индексируют сайты, можно ли ускорить и проконтролировать процесс и каким страницам индексация не нужна.

Что такое индексация и как она происходит

Поисковые системы по запросу выдают пользователям подходящие страницы за пару секунд. Естественно, в это время роботы не перебирают реальные сайты – такой поиск тянулся бы часами. Для ускорения поисковики обращаются к собственной, заранее собранной базе данных. Эта база – и есть индекс.

Поисковики индексируют сайт автоматически, с помощью поисковых роботов – их называют пауками или краулерами. Упрощенно это выглядит так:

Пауки постоянно отслеживают новые сайты и страницы в интернете.
Попав на сайт, робот сканирует его. Если в корневой папке лежит правильно заполненный файл robots.txt (а мы настоятельно советуем его прописать и поместить туда), краулер быстрее поймет, какие страницы нужно индексировать, а какие – нет.
На каждой странице робот в автоматическом режиме оценивает важнейшие элементы, от которых зависит позиция при ранжировании (ключевые запросы, текст, структуру, метатеги и пр.).

Что еще почитать: Как составить семантическое ядро сайта: пошаговое руководство

Проиндексированные страницы передаются в базу данных. В каждый визит робот обрабатывает не так много страниц, до 30 штук, чтобы не перегружать ваш сервер.
После индексации сайта страницы начинают отображаться в выдаче, ведь теперь поисковая система знает о них.
В дальнейшем робот продолжает посещать ваш сайт, чтобы просканировать и добавить в базу новые страницы. Также поисковики могут удалять страницы из индекса, обнаружив на них технические ошибки. Если вы ежедневно публикуете контент, робот может заходить к вам несколько раз в день, а если сайт долго остается без изменений, то и поисковики будут реже обращать на него внимание (до 3 раз в месяц).

Индексация сайта в Яндексе сразу после запуска может занять до 1 месяца, а в Гугл – до 1 недели.

Как быстрее попасть в индекс

Для успешного продвижения в Яндексе и Google важно, чтобы новые страницы как можно скорее попадали в индекс и начинали ранжироваться. Поэтому советуем использовать возможности для ускоренной индексации сайта.

Как привлечь внимание поисковиков и быстрее занять место в выдаче:

Обязательно составить служебный файл robots.txt и карту сайта Sitemap в помощь поисковым ботам.
Войти в панели управления Google Search Console и «Яндекс. Вебмастер» и оставить заявку на индексацию конкретных страниц.
Обеспечить надежность и скорость работы сайта – робот при обнаружении проблем на сайте снижает частоту обхода.
Позаботиться о качественных внешних ссылках, которые добавят вам «веса» и повысят шансы на быструю индексацию сайта по ключевым словам.
Регулярно добавлять новые страницы и публиковать свежие материалы – тогда поисковики будут чаще обращать внимание на ваш ресурс. Обязательно добавлять новые материалы в «Оригинальные тексты» в Яндекс.Вебмастере.
Оптимизировать сайт в плане удобства для пользователей – юзабилити. В первую очередь, важны понятный каталог и система навигации, сеть перекрестных внутренних ссылок (перелинковка) – всё, что ускоряет перемещение бота по вашему сайту и помогает ему проиндексировать больше страниц за один раз.

Что еще почитать: Идеальный каталог для продвижения сайта

Кстати, быстро индексировать страницы нужно не только новым сайтам. Если вы обновили цены или описания в каталоге, прописали привлекательные метатеги Description или загрузили в блог горячую новость, вам тоже важно, чтобы индексацию не пришлось ждать месяцами.

Как проверить индексацию сайта

В первые недели после запуска нового сайта важно проверить, попали ли нужные страницы в индекс поисковых систем и сколько вообще страниц проиндексировано. Но и в дальнейшем советуем держать руку на пульсе.

Вот основные способы проверить индексацию сайта в поисковых системах:

Вручную через брендовые запросы

Вводим в строке поиска название компании и просматриваем первую пару страниц выдачи. Способ самый простой, без технических сложностей, но не быстрый и не очень удобный.

Через оператор site в поисковой строке

Чуть сложнее, но точнее: вбиваем в поиске Яндекса или Гугл оператор site, а после него – адрес сайта.

Например, наберем URL zamkitut.ru для проверки индексации сайта.

В Яндекс.Вебмастере или Search Console в Гугл

Способ для тех, у кого есть доступ к панели вебмастера. В Гугл нужно открыть вкладку «Индекс Google» и выбрать «Статус индексирования», а в Яндекс.Вебмастере развернуть меню «Индексирование сайта», а затем «Страницы в поиске». Здесь можно посмотреть не только текущее количество страниц в индексе, но и динамику.

Автоматически с помощью плагинов, скриптов или специальных сервисов

Сервисы и программы – быстрый и надежный способ проверить индексацию сайта онлайн. Не вручную вбивать запросы: небольшие программы для проверки обычно можно сохранить в браузере, как закладки, и запускать при необходимости.

Советуем попробовать плагин RDS bar для разных браузеров, а также программы наподобие Netpeak Spider или Netpeak Checker.

Так выглядит рабочее окно Netpeak Spider: программа выдает много дополнительной информации, помимо количества страниц в индексе.

3 и 4 способ – самые информативные и удобные, мы советуем мониторить индексацию по ходу продвижения сайта именно так. В специальной программе или на панели вебмастера вы увидите, когда последний раз Яндекс индексировал сайт, какие именно страницы попали в индекс, какие проблемы выявили поисковики и т.д.

Почему сайт не индексируется и как это исправить

Иногда с индексацией возникают проблемы: сайт целиком или отдельные страницы перестают выводиться в поисковой выдаче. Почему Яндекс не индексирует сайт и как это исправить:

Прошло недостаточно времени. Если сайт или группа страниц появились недавно, поисковой робот мог просто не успеть их проиндексировать – используйте наши приемы ускорения из списка выше.
Неправильно заполнен файл robots.txt. Лучше доверить работу с этим служебным файлом программистам, потому что случайная ошибка в нем может запретить индексировать сайт без вашего ведома.
Критичные для поисковиков ошибки на сайте – их важно находить и вовремя исправлять.
Нет карты сайта (SiteMap). Обязательно пропишите ее и добавьте в корневую папку – карта поможет ускорить индексацию сайта.
На сайте есть дубли страниц или контент, полностью скопированный с других ресурсов – такие страницы принципиально не индексируются.
Сервер работает с перебоями. Если сайт периодически недоступен или загружается слишком медленно, могут быть проблемы с индексацией, так что есть смысл переехать на более надежный хостинг.

Что еще почитать: Выбор хостинга для SEO продвижения. Рейтинг 2019

Как закрыть сайт от индексации и когда это нужно

Иногда бывает нужно запретить индексацию сайта или отдельных страниц.

Зачем это делается:

Чтобы в выдачу не попадали служебные страницы сайта: личный кабинет пользователя, корзина, панель управления и прочее.
Чтобы поисковой робот быстрее добрался до целевых страниц и проиндексировал их, а не тратил время на малозначительный контент, который не нужно продвигать.
Чтобы в индекс не попали дубли страниц (поисковики это не любят).

Пример страницы, которую нужно закрыть от индексации – корзина в интернет-магазине дверной фурнитуры.

Основные способы «спрятать» ненужные страницы или разделы от поисковиков:

В файле robots.txt закрыть сайт от индексации позволяет директива Disallow – она прописывается рядом с адресами страниц, которые не должны попасть в выдачу.
В коде страницы можно использовать тег «noindex» – он закрывает от индексации не ссылки, а только часть текста, заключенную внутри тега.

Важно: «noindex» считывает и понимает только Яндекс. Для управления индексацией в Google применяйте другие способы из этого списка.

Атрибут rel=«nofollow» – применяется к конкретной ссылке и указывает поисковым роботам, что по ней не нужно переходить. Этот атрибут понимают все поисковики.
Мета-тег robots – он дает поисковым системам указания насчет индексации. Если в содержимом этого мета-тега прописать «noindex, nofollow», страница не будет индексироваться.

Мы в «Эврике» контролируем индексацию сайтов, которые разрабатываем, запускаем и продвигаем в поисковиках. Нашим клиентам не приходится вникать в технические детали, ведь для этого в команде проекта есть все необходимые специалисты.

Продвижение сайтов в «Эврике»

Технологии, кейсы, стоимость

Обсудить проект

Поделитесь с друзьями

Еще по теме

Как распределить ключевые запросы по страницам сайта

Основы SEO: определяем, по каким запросам будем продвигать конкретные страницы сайта

Мобильная адаптация сайта и SEO продвижение в 2019 году

Как подняться в мобильной выдаче Яндекса и Google. Чек-лист по адаптации сайта

Продвижение сайтов в ТОП 10 Яндекса

Специфика продвижения сайта в поисковой системе Яндекс. Особенности и отличия от Google

Новый поиск Яндекса – конец SEO продвижению?

Большое обновление Яндекс.Поиска «Андромеда» и последствия для SEO

ИКС: новый показатель качества сайта от Яндекса

Суть нововведения и комментарии специалиста «Эврики»

Почему важно знать о хаосе в топе Яндекса

С начала лета позиции сайтов в результатах поиска Яндекса стали «прыгать». Что случилось?

Отзывы клиентов

zamkitut.ru
Фурнитура для дверей
Компания вышла на новый этап в интернет направлении
ООО «Замки Тут» в лице Соболевской Ирины Петровны выражает благодарность коллективу ООО «Эврика» за продуктивное и долгосрочное сотрудничество. Во время этого сотрудничества наша компания вышла на новый этап в интернет направлении, в чем, безусловно, есть заслуга «Эврики». Было выполнено очень много разнообразных задач, которые помогли нам убедиться в компетенции этой организации. Другими словами ребята подходят к процессу с полной отдачей и креативностью. Все эти плюсы в совокупности привели к росту продаж, а это один из главных факторов…
Читать полностью
www.veselodetkam.ru
Агентство детских праздников
Вышли в лидеры отрасли
Сайт находится в ТОП-10 Яндекса по основным профильным поисковым запросам. В том, что наша компания получила почетное звание «Лидер отрасли 2017» в области зрелищных мероприятий, есть и заслуга наших высокопрофессиональных партнеров.
Читать полностью
eurotech-group.ru
Аэродромная техника
Рекомендуем!
Компания «ЕвроТэк» благодарит компанию «Эврика» за оказанные услуги и быстрый отклик на любую проблему. За период работы сайт eurotech-group.ru поднялся в ТОП по отрасли.
Читать полностью
mir-nagrad.ru
Магазин наград
Благодаря «Эврике» не закрыл магазин
Я доволен своим интернет-магазином и уверен, что он полностью удовлетворяет запросы моих дорогих покупателей! Понравилось отношение ко мне и моему проекту, очень дружелюбное, и некоторые нюансы (правки по сайту, консультации по непонятной мне теме) проходят быстро, гладко, без нервов и без ударов по карману.
Читать полностью
www.sunmed.ru
Медицинские товары
Мы благодарны компании «Эврика» за профессиональный подход
Сотрудничаем несколько лет, полностью удовлетворены достигнутыми результатами за этот период и оперативной, «человеческой» схемой взаимодействия с нами со стороны нашего менеджера Ирины.
Читать полностью

Оставьте заявку

Ваше имя

Электронная почта

Телефон *

Нажимая на кнопку Отправить, я даю согласие на обработку персональных данных

Как запретить индексацию сайта или страниц?

Иногда необходимо, чтобы страницы сайта или размещенные на них ссылки не отображались в результатах поиска. Вы можете использовать файл robots.txt, HTML-разметку или авторизацию на сайте, чтобы скрыть содержимое сайта от индексации,

Если некоторые страницы или разделы сайта не должны индексироваться (например, те, которые содержат технические или конфиденциальные информации), для ограничения доступа к ним используйте следующие способы:

В файле robots.txt укажите директиву Disallow.
Укажите метатег robots с директивой noindex или none в HTML-коде страниц сайта. Дополнительные сведения см. в разделе Метатег Robots и заголовок HTTP X-Robots-Tag.
Воспользоваться авторизацией на сайте. Мы рекомендуем этот метод, чтобы скрыть домашнюю страницу от индексации. Если главная страница запрещена в файле robots.txt или метатегом noindex, но есть ссылки, ведущие на нее, страница может быть включена в результаты поиска.

Скрыть часть текста страницы от индексации

Добавить элемент noindex в HTML-код страницы. Примеры:
```
 текст, который не нужно индексировать 
```
Элемент не чувствителен к вложенности — может располагаться в любом месте HTML-кода страницы. Если на странице нет закрывающего тега, все содержимое страницы считается скрытым. Не создавайте несколько вложенных тегов noindex, потому что разметка будет игнорировать все, что находится после первого закрывающего тега.
Вы можете использовать тег в следующем формате, если необходимо сделать код сайта действительным:
```
 текст, который не должен индексироваться 
```
Добавьте элемент noscript в HTML-код страницы. Примеры:
```
  
```
Элемент noscript, как и noindex, запрещает индексацию, но скрывает содержимое сайта от пользователя, если его браузер поддерживает JavaScript.
Примечание. JavaScript поддерживается всеми популярными браузерами, если эта функция специально не отключена пользователем.
Вы можете просмотреть отчет о поддержке JavaScript в Яндекс.Метрике.

Скрыть ссылку на странице от индексации

Чтобы скрыть все ссылки на странице от индексации, в HTML-коде страницы укажите метатег robots с директивой nofollow. Робот не будет переходить по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах.

Вы также можете добавить к ссылке атрибут rel=»nofollow». Примеры:

 текст ссылки

Атрибут rel=»nofollow» воспринимается роботом как рекомендация игнорировать ссылку.

При использовании любой из перечисленных инструкций ссылка может быть обработана роботом и отображаться в Яндекс.Вебмастере как внутренняя или внешняя. Отображение или отсутствие ссылки в Яндекс.Вебмастере не означает, что поисковые алгоритмы ее никак не учитывают.

Индексация сайта с тегом Яндекс.Метрики

Внимание. Этот метод не подходит для индексации:

Турбо-страниц. Они индексируются с помощью специального робота.
Публикации на Яндекс Дзен. Их регулярно сканирует основной робот Яндекса.

Робот Яндекса узнает о страницах на сайте из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу сканировать страницы с тегом.

Если вы хотите, чтобы робот как можно скорее зашел на ваш сайт, привяжите свою метку Яндекс.Метрики к проверенному в Яндекс.Вебмастере сайту и включите опцию обхода метки.

Кто может запросить и подтвердить привязку


Откуда отправляется запрос	Кто отправляет запрос	Кто подтверждает заявку
Яндекс. Метрика.	Пользователь с правами редактирования тегов или представительским доступом.	Пользователь Яндекс.Вебмастер с правами на управление сайтом.
Яндекс.Вебмастер. Подробнее о том, как отправить запрос в Яндекс.Вебмастере.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или с правами представителя.

После того, как робот просканирует страницы сайта, они могут появиться в результатах поиска при условии, что индексация не запрещена. Чтобы дать роботу лучшее представление о страницах, используйте файл Sitemap.

Шаг 1. Добавить сайт в Яндекс.Вебмастер
Шаг 2. В Яндекс.Метрике отправить запрос на привязку сайта
Шаг 3. Подтвердить запрос в Яндекс.Вебмастер
Шаг 4. Включить тег возможность сканирования вашего сайта в Яндекс.Вебмастере

Добавьте сайт с меткой Яндекс.Метрики в Яндекс.Вебмастер и подтвердите права на управление сайтом.

Перейти на страницу настроек (вкладка Тег).
Нажмите Ссылка на Яндекс.Вебмастер рядом с адресом сайта. Если в настройках тега указаны дополнительные адреса:
- Субдомен — В Яндекс.Вебмастере подтвердите свои права упрощенным способом и отправьте запрос на привязку сайта.
- Дополнительный адрес — Добавьте его в Яндекс.Вебмастер и отправьте запрос на привязку сайта.
- Зеркало — Привязка тега к основному зеркалу сайта (адрес, который должен участвовать в поиске).

После того, как вы отправили запрос на подтверждение привязки сайта, пользователю Яндекс.Вебмастера будет отправлено уведомление на адрес электронной почты, указанный в настройках уведомлений (если пользователь подписан на уведомления о запросах Яндекс.

Метрики ).

Когда запрос на привязку сайта отправлен, Вебмастер начинает поиск совпадений с доменом сайта. Протокол и наличие префикса www игнорируются. Если совпадения найдены, подтвердите запрос:

Перейдите в Настройки → Ссылка на Яндекс.Метрику.
Щелкните Подтвердить рядом с соответствующим идентификатором тега.

Отследить статус привязки тега к сайту можно:

в Яндекс.Метрике, зайти в Настройки и открыть вкладку Тег.
в Яндекс.Вебмастере перейдите в Настройки → Привязать к Яндекс.Метрике.

9010 3


Статус	Описание	Примечание
«Ожидает подтверждения»	Запрос на привязку сайта отправлен. Выполняется проверка домена. После того, как домен найден, запрос ожидает подтверждения.	Пользователь Яндекс.Вебмастера должен подтвердить запрос.
«Связано»	Пользователь Яндекс.Вебмастер подтвердил запрос на привязку сайта.	Робот Яндекса начнет обход страниц сайта.
«Не проверено»	Пользователь Яндекс.Метрики или Яндекс.Вебмастер отменил привязку сайта.	Вы можете повторно отправить запрос на привязку тега к сайту.
«Ошибка подтверждения»	Тег не привязан к сайту. Возможные причины: Сайт не добавлен в Яндекс.Вебмастер. Не подтверждены права на управление сайтом в Яндекс. Вебмастере. Неверный идентификатор тега в Яндекс.Вебмастере на странице Настройки → Ссылка на Яндекс.Метрику.	Проверьте возможные причины и снова запросите подтверждение.

Перейдите в раздел Индексирование → Сканирование тегов.
Напротив метки Яндекс.Метрики, которую вы привязали к сайту, включите сканирование.

Робот сможет сканировать страницы, на которых установлен тег. Этот вариант будет применяться ко всем версиям сайта: как HTTP, так и HTTPS, а также с префиксом www или без него.

Во время обхода робот ищет на сайте страницы, которые могут участвовать в поиске. В некоторых случаях сканирование может быть остановлено, чтобы вы могли проверить страницы. Робот может найти много страниц — Яндекс.Вебмастер показывает только примеры. Они могут помочь вам понять, какие группы страниц могут участвовать в поиске, а какие нет.

В зависимости от настроек может появиться уведомление о готовности списка к проверке:

В Яндекс.Вебмастере, на страницах Уведомления и Диагностика.
Отправлено на адрес электронной почты, который вы указали в настройках уведомлений.

Чтобы просмотреть примеры, перейдите в раздел Индексирование → Сканирование тегов и нажмите Примеры страниц рядом с тегом, с которым вы связали веб-сайт.

Если вы думаете, что в списке:

Проанализируйте список страниц — среди них могут быть, например:
Подождите, пока сервис обновит список — на адрес электронной почты, который вы указали в настройках уведомлений, будет отправлено письмо.
Еще раз проверьте образцы страниц.
Включить сканирование.

Убедитесь, что они готовы к отображению в результатах поиска — например, проверьте полноту содержимого, а также проверьте наличие и правильность заголовка элемента и метатега Description.
No related posts.