Что такое индексация сайта (Как улучшить индексацию в Google)
Индексация сайта — это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.
Сайт должен быть проиндексирован чтобы отображаться в поиске
Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется «поисковой индекс». Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.
Важно понимать:
Если страницы нет в поисковом индексе — ее невозможно найти в поисковой системе.
Индексация нужна чтобы участвовать в поиске.
У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
Поисковой бот от Google называется Googlebot.
Настройка индексации сайта, это базовый уровень работ по SEO.
Содержание статьи
Как проверить индексацию страницы?
Самый быстрый способ — написать в строку поиска команду site:[адрес страницы]. Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.
Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.
Как проверить индексацию всего сайта
Для проверки индексации сайта нужно выполнить 2 простых шага:
Узнать сколько страниц на сайте. Для этого просканируйте свой сайт специальными инструментами. Если ваш сайт до 500 страниц вам подойдет бесплатная версия Screaming Frog , если этого недостаточно используйте, бесплатный Site Analyzer. В разделе «HTML» вы увидите общее количество страниц вашего сайта.
Зайдите в инструменты для вебмастеров или Google Search Console
(Что такое Google Search Consol ) откройте отчет «Покрытие» и просмотрите количество страниц в статусе «Без ошибок». Количество страниц в сканере Site Analyzer и страниц в Google Search Console должно приблизительно совпадать. Это, будет означать, что основные страницы сайта сканируются. Если часть страниц попала в группу «Исключено» вы можете изучить причины исключения страниц. В этом же отчете вы можете познакомиться с историей индексации вашего сайта за последние 3, 6 или 12 месяцев.
Довольно часто в отчете «Покрытие» вы можете увидеть большое количество страниц в статусе
«Страница просканирована, но пока не проиндексирована» — это означает, что поисковая система уже получила данные о ваших страницах но пока не обработала их до конца. Так же, страницы могут находиться в этом статусе по причине низкого качества: пустые страницы или страницы с повторяющимся содержанием. Если количество «пока не проиндексированных» страниц не сокращается попробуйте уникализировать, добавить содержание или увеличить количество качественных внешних ссылок на свой сайт.
Если вам нужно массово проверить индексацию страниц вашего сайта, воспользуйтесь онлайн инструментом https://indexchecking.com
Хорошая идея проверить свой сайт с помощью инструментов https://en.ryte.com — это поможет вам понять какие страницы закрыты от индексации. А так же, обнаружить страницы на которых есть технические проблемы.
Проверяем не закрыта ли отдельная страница от индексации
Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент «Проверка URL на ресурсе».
В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.
Как добавить новый сайт в индекс поисковиков?
Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex. Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.
Узнайте больше о работе поисковой системы
Что делать, если сайт плохо индексируется?
Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:
Создайте карту сайта и загрузите в инструменты для вебмастеров.
Обновите старые страницы.
Удалите пустые страницы.
Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.
Как происходит индексация сайта
Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:
Сканирование страниц.
Обработка страниц.
Этап 1: Сканирование
Сканирование или “обход” страниц — это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:
Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
Перечень ссылок, которые находятся на странице.
Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список — “очередь сканирования”, для дальнейшей обработки.
Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта — увеличить количество ссылок на нужные страницы.
Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты. Второй способ улучшить индексацию — создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта — самый простой способ отправить на индексацию все страницы в рамках нашего домена.
Есть несколько способов создать карту сайта:
Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com.
Программа для сканирования сайта, с возможностью создания sitemap — xenu links.
Библиотека приложений для создания sitemap.
Самый популярный плагин для создания карты сайта для WordPress.
Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt
Добавление карты сайта в Search Console:
Зайдите в https://search.google.com/search-console/
Добавьте свой сайт или выберите из списка.
Перейдите в раздел Сканирование — Файлы Sitemap.
Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.
Добавление sitemap в robots.txt:
Зайдите в корневой каталог сайта через ftp.
Откройте файл robots.txt
Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.
Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.
Инструмент проверки заголовка lastmod и ответа сервера not modify.
Наличие настроек lastmod и not modify позволяют поисковой системе быстро получить информацию о том, изменилась ли страница с даты последнего сканирования. Благодаря этому поисковой бот ставит в приоритет новые и измененные страницы, а новые страницы быстрее индексируются.
Для настройки lastmod и not modify вам нужно будет обратиться к веб разработчику.
Этап 2: Обработка данных
Перед тем как сохранить информацию в базу данных, она проходит обработку и структуризацию, которая необходима для ускорения дальнейшего поиска.
В первом шаге обработки программа-индексатор формирует страницу с учетом всех стилей, скриптов и эффектов. В этот момент программа-индексатор понимает расположение элементов на странице, определяет видимые и невидимые пользователю части, разделяет страницу на навигацию и содержание.
Важно чтобы google bot имел полный доступ к css и js файлам, ведь без них индексатор не сможет понять структуру страницы. Для проверки доступности всех служебных файлов зайдите в Google Search Console, отчет “Посмотреть как Googlebot” в разделе “Сканирование”. Проверьте с помощью этого инструмента основные страницы сайта, обратите внимание на различия между тем, как вашу страницу видит поисковой бот и как ее видит пользователи. Изучите таблицу из отчета. Все ресурсы, которые размещены на вашем домене, должны быть открыты для сканирования.
Сейчас Google использует алгоритм индексации, который называется
Caffeine. Он был запущен в 2009 году. Основные задачи этого алгоритма:
Обработка современных страниц, использующих сложные js и css элементы.
Максимально быстрое сканирование всех страниц в Интернете.
Анализ текста при индексации
После разделения страницы на зоны и определения их важности, алгоритм выделяет из содержания основные элементы для дальнейших расчетов. Так одним из самых популярных показателей, которые поисковая система извлекает из страницы, является частота упоминания ключевого слова.
Стоит отметить, что перед расчетом частоты упоминания слова, индексатор проводит упрощение слов к элементарной форме. Этот процесс называется стеминг. Такое упрощение позволяет учитывать слово в разных словоформах как одно слово.
Частота упоминания (Term frecency, ТА) слова рассчитывается как отношение упоминания слова к общему количеству слов страницы. Пример: если на странице 100 слов и слово “машина” встречалось на ней 2 раза — частота упоминания слова “машина” будет равна TF=0,02
Самый простой поисковой индекс легко представить в виде огромной таблицы, в столбцах которой перечислены все слова языка, а в строках — адреса всех страниц. При этом в ячейках указаны частоты слов на соответствующих страницах.
Именно такая таблица позволяет поисковой системе быстро находить страницы, которые содержат нужные слова. Конечно современные поисковые системы учитывают не только частоту упоминания слов, но и более сложные факторы. Поисковой индекс Google значительно сложнее чем приведенный пример.
Анализируя содержание поисковая система проверяет уникальность страницы. Тексты и прочее содержание, которое уже было проиндексировано на других страницах, не несет ценности для системы, так как не добавляет в базу новой информации. А это значит, что страницы с низкой уникальностью могут быть не проиндексированы. Проверить уникальность достаточно просто с помощью бесплатных инструментов. Старайтесь создавать максимально уникальный и полезный контент и он точно будет проиндексирован.
От чего зависит индексация сайта?
Доступность сайта для индексации — если сканирование сайта запрещено поисковая система не сможет получить его страницы. Подробнее о инструментах управления индексацией: youtube.com Внутренняя оптимизация: robots.txt, sitemap
Количество ссылок на ваш сайт — ссылки, это пути которые приводят поисковых роботов к вам на сайт. Чем больше ссылок с популярных ресурсов вы получаете, тем чаще будут сканироваться страницы вашего сайта.
Частота обновления сайта. Поисковые системы всегда ищут новый интересный контент, чем чаще вы публикуете новое уникальное содержание, тем быстрее поисковая система будет его сканировать.
Наличие сайта в инструментах поисковых систем. Видео в тему: Как зарегистрировать сайт в Google Search Console.
Подведем итоги
Индексация — это процесс сканирования и обработки содержания для хранения в базе данных поисковой системы.
Ускорить индексацию можно с помощью ссылок, карты сайта и настроек сервера. Чтобы поисковая система понимала ваши страницы, все ресурсы вашего сайта должны быть доступны поисковому боту.
Мы можем проверить и настроить индексацию вашего сайта за вас.
SEO аудит с рекомендациями за 10 дней.
Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.
Руководитель отдела продвижения SEO7. Ведущий Youtube канала Школа SEO. Автор блога о поисковой оптимизации seo-sign.com
Какие страницы сайта следует закрывать от индексации поисковых систем
Индексирование сайта – это процесс, с помощью которого поисковые системы, подобные Google и Yandex, анализируют страницы веб-ресурса и вносят их в свою базу данных. Индексация выполняется специальным ботом, который заносит всю необходимую информацию о сайте в систему – веб-страницы, картинки, видеофайлы, текстовый контент и прочее. Корректное индексирование сайта помогает потенциальным клиентам легко найти нужный сайт в поисковой выдаче, поэтому важно знать обо всех тонкостях данного процесса.
В сегодняшней статье я рассмотрю, как правильно настроить индексацию, какие страницы нужно открывать для роботов, а какие нет.
Почему важно ограничивать индексацию страниц
Заинтересованность в индексации есть не только у собственника веб-ресурса, но и у поисковой системы – ей необходимо предоставить релевантную и, главное, ценную информацию для пользователя. Чтобы удовлетворить обе стороны, требуется проиндексировать только те страницы, которые будут интересны и целевой аудитории, и поисковику.
Прежде чем переходить к списку ненужных страниц для индексации, давайте рассмотрим причины, из-за которых стоит запрещать их выдачу. Вот некоторые из них:
Уникальность контента – важно, чтобы вся информация, передаваемая поисковой системе, была неповторима. При соблюдении данного критерия выдача может заметно вырасти. В противном случае поисковик будет сначала искать первоисточник – только он сможет получить доверие.
Краулинговый бюджет – лимит, выделяемый сайту на сканирование. Другими словами, это количество страниц, которое выделяется каждому ресурсу для индексации. Такое число обычно определяется для каждого сайта индивидуально. Для лучшей выдачи рекомендуется избавиться от ненужных страниц.
В краулинговый бюджет входят: взломанные страницы, файлы CSS и JS, дубли, цепочки редиректов, страницы со спамом и прочее.
Что нужно скрывать от поисковиков
В первую очередь стоит ограничить индексирование всего сайта, который еще находится на стадии разработки. Именно так можно уберечь базу данных поисковых систем от некорректной информации. Если ваш веб-ресурс давно функционирует, но вы не знаете, какой контент стоит исключить из поисковой выдачи, то рекомендуем ознакомиться с нижеуказанными инструкциями.
PDF и прочие документы
Часто на сайтах выкладываются различные документы, относящиеся к контенту определенной страницы (такие файлы могут содержать и важную информацию, например, политику конфиденциальности).
Рекомендуется отслеживать поисковую выдачу: если заголовки PDF-файлов отображаются выше в рейтинге, чем страницы со схожим запросом, то их лучше скрыть, чтобы открыть доступ к наиболее релевантной информации. Отключить индексацию PDF и других документов вы можете в файле robots.txt.
Разрабатываемые страницы
Стоит всегда избегать индексации разрабатываемых страниц, чтобы рейтинг сайта не снизился. Используйте только те страницы, которые оптимизированы и наполнены уникальным контентом. Настроить их отображение можно в файле robots.txt.
Копии сайта
Если вам потребовалось создать копию веб-ресурса, то в этом случае также необходимо все правильно настроить. В первую очередь укажите корректное зеркало с помощью 301 редиректа. Это позволит оставить прежний рейтинг у исходного сайта: поисковая система будет понимать, где оригинал, а где копия. Если же вы решитесь использовать копию как оригинал, то делать это не рекомендуется, так как возраст сайта будет обнулен, а вместе с ним и вся репутация.
Веб-страницы для печати
Иногда контент сайта требует уникальных функций, которые могут быть полезны для клиентов. Одной из таких является «Печать», позволяющая распечатать необходимые страницы на принтере. Создание такой версии страницы выполняется через дублирование, поэтому поисковые роботы могут с легкостью установить копию как приоритетную. Чтобы правильно оптимизировать такой контент, необходимо отключить индексацию веб-страниц для печати. Сделать это можно с использованием AJAX, метатегом <meta name=»robots» content=»noindex, follow»/> либо в файле robots.txt.
Формы и прочие элементы сайта
Большинство сайтов сейчас невозможно представить без таких элементов, как личный кабинет, корзина пользователя, форма обратной связи или регистрации. Несомненно, это важная часть структуры веб-ресурса, но в то же время она совсем бесполезна для поисковых запросов. Подобные типы страниц необходимо скрывать от любых поисковиков.
Страницы служебного пользования
Формы авторизации в панель управления и другие страницы, используемые администратором сайта, не несут никакой важной информации для обычного пользователя. Поэтому все служебные страницы следует исключить из индексации.
Личные данные пользователя
Вся персональная информация должна быть надежно защищена – позаботиться о ее исключении из поисковой выдачи нужно незамедлительно. Это относится к данным о платежах, контактам и прочей информации, идентифицирующей конкретного пользователя.
Страницы с результатами поиска по сайту
Как и в случае со страницами, содержащими личные данные пользователей, индексация такого контента не нужна: веб-страницы результатов полезны для клиента, но не для поисковых систем, так как содержат неуникальное содержание.
Сортировочные страницы
Контент на таких веб-страницах обычно дублируется, хоть и частично. Однако индексация таких страниц посчитается поисковыми системами как дублирование. Чтобы снизить риск возникновения таких проблем, рекомендуется отказаться от подобного контента в поисковой выдаче.
Пагинация на сайте
Пагинация – без нее сложно представить существование любого крупного веб-сайта. Чтобы понять ее назначение, приведу небольшой пример: до появления типичных книг использовались свитки, на которых прописывался текст. Прочитать его можно было путем развертывания (что не очень удобно). На таком длинном холсте сложно найти нужную информацию, нежели в обычной книге. Без использования пагинации отыскать подходящий раздел или товар также проблематично.
Пагинация позволяет разделить большой массив данных на отдельные страницы для удобства использования. Отключать индексирование для такого типа контента нежелательно, требуется только настроить атрибуты rel=»canonical», rel=»prev» и rel=»next». Для Google нужно указать, какие параметры разбивают страницы – сделать это можно в Google Search Console в разделе «Параметры URL».
Помимо всего вышесказанного, рекомендуется закрывать такие типы страниц, как лендинги для контекстной рекламы, страницы с результатами поиска по сайту и поиск по сайту в целом, страницы с UTM-метками.
Какие страницы нужно индексировать
Ограничение страниц для поисковых систем зачастую становится проблемой – владельцы сайтов начинают с этим затягивать или случайно перекрывают важный контент. Чтобы избежать таких ошибок, рекомендуем ознакомиться с нижеуказанным списком страниц, которые нужно оставлять во время настройки индексации сайта.
В некоторых случаях могут появляться страницы-дубликаты. Часто это связано со случайным созданием дублирующих категорий, привязкой товаров к нескольким категориям и их доступность по различным ссылкам. Для такого контента не нужно сразу же бежать и отключать индексацию: сначала проанализируйте каждую страницу и посмотрите, какой объем трафика был получен. И только после этого настройте 301 редиректы с непопулярных страниц на популярные, затем удалите те, которые совсем не эффективны.
Страницы смарт-фильтра – благодаря им можно увеличить трафик за счет низкочастотных запросов. Важно, чтобы были правильно настроены мета-теги, 404 ошибки для пустых веб-страниц и карта сайта.
Соблюдение индексации таких страниц может значительно улучшить поисковую выдачу, если ранее оптимизация не проводилась.
Как закрыть страницы от индексации
Мы детально рассмотрели список всех страниц, которые следует закрывать от поисковых роботов, но о том, как это сделать, прошлись лишь вскользь – давайте это исправлять. Выполнить это можно несколькими способами: с помощью файла robots.txt, добавления специальных метатегов, кода, сервисов для вебмастеров, а также с использованием дополнительных плагинов. Рассмотрим каждый метод более детально.
Способ 1: Файл robots.txt
Данный текстовый документ – это файл, который первым делом посещают поисковики. Он предоставляет им информацию о том, какие страницы и файлы на сайте можно обрабатывать, а какие нет. Его основная функция – сократить количество запросов к сайту и снизить на него нагрузку. Он должен удовлетворять следующим критериям:
наименование прописано в нижнем регистре;
формат указан как .txt;
размер не должен превышать 500 Кб;
местоположение – корень сайта;
находится по адресу URL/robots.txt, при запросе сервер отправляет в ответ код 200.
Прежде чем переходить к редактированию файла, рекомендую обратить внимание на ограничивающие факторы.
Директивы robots.txt поддерживаются не всеми поисковыми системами. Большинство поисковых роботов следуют тому, что написано в данном файле, но не всегда придерживаются правил. Чтобы полностью скрыть информацию от поисковиков, рекомендуется воспользоваться другими способами.
Синтаксис может интерпретироваться по-разному в зависимости от поисковой системы. Потребуется узнать о синтаксисе в правилах конкретного поисковика.
Запрещенные страницы в файле могут быть проиндексированы при наличии ссылок из прочих источников. По большей части это относится к Google – несмотря на блокировку указанных страниц, он все равно может найти их на других сайтах и добавить в выдачу. Отсюда вытекает то, что запреты в robots.txt не исключают появление URL и другой информации, например, ссылок. Решить это можно защитой файлов на сервере при помощи пароля либо директивы noindex в метатеге.
Файл robots.txt включает в себя такие параметры, как:
User-agent – создает указание конкретному роботу.
Disallow – дает рекомендацию, какую именно информацию не стоит сканировать.
Allow – аналогичен предыдущему параметру, но в обратную сторону.
Sitemap – позволяет указать расположение карты сайта sitemap.xml. Поисковый робот может узнать о наличии карты и начать ее индексировать.
Clean-param – позволяет убрать из индекса страницы с динамическими параметрами. Подобные страницы могут отдавать одинаковое содержимое, имея различные URL-страницы.
Crawl-delay – снижает нагрузку на сервер в том случае, если посещаемость поисковых ботов слишком велика. Обычно используется на сайтах с большим количеством страниц.
Теперь давайте рассмотрим, как можно отключить индексацию определенных страниц или всего сайта. Все пути в примерах – условные.
Пропишите, чтобы исключить индексацию сайта для всех роботов:
User-agent: *
Disallow: /
Закрывает все поисковики, кроме одного:
User-agent: *
Disallow: /
User-agent: Google
Allow: /
Я рассмотрел один из главных файлов, просматриваемых поисковыми роботами. Он использует лишь рекомендации, и не все правила могут быть корректно восприняты.
Способ 2: HTML-код
Отключение индексации можно осуществить также с помощью метатегов в блоке <head>. Обратите внимание на атрибут «content», он позволяет:
активировать индексацию всей страницы;
деактивировать индексацию всей страницы, кроме ссылок;
разрешить индексацию ссылок;
индексировать страницу, но запрещать ссылки;
полностью индексировать веб-страницу.
Чтобы указать поискового робота, необходимо изменить атрибут «name», где устанавливается значение yandex для Яндекса и googlebot – для Гугла.
Пример запрета индексации всей страницы и ссылок для Google:
Также существует метатег под названием Meta Refresh. Он предотвращает индексацию в Гугле, однако использовать его не рекомендуется.
Способ 3: На стороне сервера
Если поисковые системы игнорируют запрет на индексацию, можно ограничить возможность посещения ботов-поисковиков на сервере.Yandex» search_bot
Способ 4: Для WordPress
На CMS запретить индексирование всего сайта или страницы гораздо проще. Рассмотрим, как это можно сделать.
Как скрыть весь сайт
Открываем административную панель WordPress и переходим в раздел «Настройки» через левое меню. Затем перемещаемся в «Чтение» – там находим пункт «Попросить поисковые системы не индексировать сайт» и отмечаем его галочкой.
В завершение кликаем по кнопке «Сохранить изменения» – после этого система автоматически отредактирует файл robots.txt.
Как скрыть отдельную страницу
Для этого необходимо установить плагин Yoast SEO. После этого открыть страницу для редактирования и промотать в самый низ – там во вкладке «Дополнительно» указать значение «Нет».
Способ 5: Сервисы для вебмастеров
В Google Search Console мы можем убрать определенную страницу из поисковика. Для этого достаточно перейти в раздел «Индекс Google» и удалить выбранный URL.
Процедура запрета на индексацию выбранной страницы может занять некоторое время. Аналогичные действия можно совершить в Яндекс.Вебмастере.
На этом статья подходит к концу. Надеюсь, что она была полезной. Теперь вы знаете, что такое индексация сайта и как ее правильно настроить. Удачи!
Принципы работы Google Поиска | Сканирование и индексирование
Чтобы пользователи могли быстро найти нужные сведения, наши роботы собирают информацию на сотнях миллиардов страниц и упорядочивают ее в поисковом индексе.
При очередном сканировании наряду со списком веб-адресов, полученных во время предыдущего сканирования, используются файлы Sitemap, которые предоставляются владельцами сайтов. По мере посещения сайтов робот переходит по указанным на них ссылкам на другие страницы. Особое внимание он уделяет новым и измененным сайтам, а также неработающим ссылкам. Он самостоятельно определяет, какие сайты сканировать, как часто это нужно делать и какое количество страниц следует выбрать на каждом из них.
При помощи Search Console владельцы сайтов могут указывать, как именно следует сканировать их ресурсы, в частности предоставлять подробные инструкции по обработке страниц, запрашивать их повторное сканирование, а также запрещать сканирование, используя файл robots.txt. Google не увеличивает частоту сканирования отдельных ресурсов за плату. Чтобы результаты поиска были максимально полезными для пользователей, все владельцы сайтов получают одни и те же инструменты.
Поиск информации с помощью сканирования
Интернет похож на библиотеку, которая содержит миллиарды изданий и постоянно пополняется, но не располагает централизованной системой учета книг. Чтобы находить общедоступные страницы, мы используем специальное программное обеспечение, называемое поисковыми роботами. Роботы анализируют страницы и переходят по ссылкам на них – как обычные пользователи. После этого они отправляют сведения о ресурсах на серверы Google.
Систематизация информации с помощью индексирования
Во время сканирования наши системы обрабатывают материалы страниц так же, как это делают браузеры, и регистрируют данные по ключевым словам и новизне контента, а затем создают на их основе поисковый индекс.
Индекс Google Поиска содержит сотни миллиардов страниц. Его объем значительно превышает 100 миллионов гигабайт. Он похож на указатель в конце книги, в котором есть отдельная запись для каждого слова на всех проиндексированных страницах. Во время индексирования данные о странице добавляются в записи по всем словам, которые на ней есть.
Как узнать правильную дату индексации страницы?
В процессе сканирования сайта поисковыми системами можно выделить четыре ключевые даты для страниц:
Дата первой индексации, она определяет возраст страницы.
Дата последнего обхода поисковым роботом.
Дата последней индексации страницы, которая выложена в индекс.
Дата формирования сохраненной копии страницы (не всегда совпадает с датой индексации страницы при построении индекса).
Первая дата обхода
Два метода получения даты первой индексации страницы перестали работать:
оператор date работает некорректно;
добавление к строке запроса параметра &how=tm перестало отображать даты индексации.
Но эту информацию все еще можно получить через Яндекс XML. Для этого необходимо перейти по ссылке https://xml.yandex.ru/test/ и в поле «&query» ввести запрос вида url:%page%, где %page% — адрес страницы. Далее нажимаем на «Найти» и в полученном результате ищем тег , который и укажет дату первой индексации страницы.
Дата обхода поисковым роботом и статуса в поисковой базе
Чтобы узнать дату последнего обхода страницы и информацию о том, какая версия находится при построении поисковой выдачи, необходимо в сервисе Яндекс.Вебмастер в разделе «Индексирование» выбрать «Проверить статус URL». Далее указываем необходимый адрес и получаем данные. Этот способ работает лишь для подтвержденного сайта.
Дата формирования сохраненной копии
Чтобы узнать дату формирования сохраненной копии, необходимо в поисковой выдаче кликнуть на выпадающее меню (рядом с название адреса страницы).
Просмотр сохраненных копий в поисковых системах Bing и Mail позволит показать старые версии страниц, поскольку они переиндексируют их медленнее, чем поисковые роботы Яндекс и Google.
Вывод
Как показано на примере выше, не всегда сохраненная копия страницы используется для построения базы индекса. Но, зачастую, это действительно так.
Кроме того, если вы внесли какие-либо правки на странице и ждете, когда эти изменения переиндексируются, то не стоит делать вывод о том, что правки учтены, по дате последнего обхода поисковым роботом.
#104
Февраль’19
1229
21
#94
Декабрь’18
3064
28
#60
Февраль’18
3751
19
Что такое индексация — самый полный гайд
Часто происходит путаница в терминологии: под индексацией иногда подразумевают сканирование сайта или совокупность и сканирования и индексации. В этом нет большой ошибки, часто путаницу вносят сами мануалы поисковых систем. Иногда в текстах Яндекса и Гугла можно увидеть использование термина индексация в разных контекстах, например:
Индексация сайта простыми словами
Так что же такое индексация: если кратко, то индексация (или индексирование, indexing) – один из процессов работы поисковых систем по построению поисковой базы в результате которого содержимое страниц попадает в индекс поисковой системы.
Для большей ясности приведу терминологию, а потом опишу все процессы.
Терминология
Планировщик (Scheduler) – программа, которая выстраивает маршрут обхода интернета роботами исходя из характеристик страниц, таких как частота обновления документов, востребованность этих страниц, цитируемость.
Crawler, Spider (Паук) Googlebot, YandexBot. Робот, ответственный за обход и скачивание страниц из интернета в порядке очередности, который задается планировщиком. Подразделяются на:
Основной робот, обходящий контент в порядке общей очереди.
Быстрый робот (быстроробот или быстробот). Робот, который использует свежий индекс, на основе группы заданных хабовых страниц с важной, часто обновляемой информацией, например, с новостями популярных СМИ.
Сканирование (Crawling) – процесс загрузки страниц краулером в результате чего они попадают в хранилище, в виде сохраненных копий.
Краулинговый спрос: это то, как часто и в каком объеме робот бы хотел сканировать конкретные страницы.
Краулинговый лимит: ограничения скорости сканирования на стороне сайта, связанные с производительностью сайта или заданным вручную ограничением.
Краулинговый бюджет – это совокупность краулингового спроса и доступной скорости сканирования сайта (краулингового лимита). Простыми словами – это то сколько робот хочет и может скачать страниц.
Сохраненная копия – необработанная копия документа на момент последнего сканирования.
Поисковый индекс – информация со страниц, приведенная в удобный для работы поисковых алгоритмов формат. Список всех терминов и словопозиций где и на каких страницах они упоминаются. Информация хранится в базе в виде инвертированного индекса. Схематический пример:
Индексация – процесс загрузки, анализа содержимого документа документа с последующим включением в поисковый индекс.
Поисковая база – это совокупность поискового индекса, сохраненных страниц и служебной информации о документах, таких как заголовки, типы и кодировка документов, коды ответов страниц, мета теги и др.
Как происходит сканирование сайта
Так как ресурсы поисковых систем не безграничны, планировщик составляет очередь обхода страниц, исходя критериев их полезности, востребованности, популярности и др.Каждый сайт получает свой краулинговый бюджет исходя из скоростных характеристик сайта и таких критериев как:
Доля полезных/мусорных страниц на сайте, дубликаты
Спамные и малополезные страницы
Наличие бесконечной генерации страниц, например, некорректной фасетной навигации
Популярность страниц
Насколько актуальные версии страниц сайта, содержащиеся в поисковой базе
Робот в постоянном режиме скачивает страницы и помещает их в хранилище, заменяя старые версии. Мы можем увидеть их в виде сохраненных копий. Далее уже происходит индексация страниц.
Как проходит индексация сайта
Индексацию можно условно разбить на следующие процессы:
Загрузка и разбор страницы по элементам: текст, мета-теги, микроразметка, изображения, видео и другой контент и служебные данные.
Анализ страницы по определенным параметрам, например: разрешена ли она к индексации, сканированию, является ли неглавной копией другой страницы, содержит ли страница малополезный, спамный контент и др.
Если страница успешно прошла все проверки, она добавляется в индекс.
Как проходит индексация сайта в Яндексе
Все описанное в предыдущем пункте справедливо и для Яндекса и для Google. Какие есть особенности индексации у Яндекса?
У Google обновление поисковой базы – непрерывный процесс. В Яндексе обновление происходит во время Апдейтов, примерно раз в три дня. О том что произошло обновление можно узнать по уведомлениям в Яндекс.Вебмастере
Как проверить индексацию
Есть разные способы для проверки статуса индексации сайтов и отдельных его страниц:
Вебмастер Яндекса
Панель Google Search Console
API панели для вебмастеров Yandex/Google
SEO-сервисы, например Rush Analytics
Плагины и расширения для браузеров
Поисковые операторы ПС
GA/Метрика
Серверные логи
Выбор сервиса зависит от поисковой системы, а также задачи: узнать сколько страниц всего в индексе, получить список проиндексированных страниц или проверить статус индексации конкретной страницы или списка страниц. Подробнее расписано ниже.
Как узнать сколько страниц проиндексировано на сайте
Расширения для браузера
Быстрые способы проверить статус индексации сайта – расширения и букмарклеты для браузера, например RDS-бар
Сервисы для анализа сайтов
Так же можно проверить с помощью сервисов, таких как pr-cy.ru
Яндекс.Вебмастер и Google Search Console
Если есть доступы к панелям вебмастеров, можно получить количество проиндексированных страниц в панелях вебмастеров:
Яндекс Вебмастер – http://webmaster.yandex.ru
Google Search Console – https://search.google.com/search-console/
С помощью специализированных программ для SEO, например Allsubmitter, Netpeak Checker.
Это может понадобиться когда нужна пакетная проверка параметров чужих сайтов.
Пример проверки числа проиндексированных страниц в Netpeak Checker. Проверка индексации сайтов в Яндекс:
Проверка индексации сайтов в Google:
Пример проверки индексации сайтов в Яндекс и Google в Allsubmitter.
Как выгрузить список проиндексированных страниц сайта в Яндексе и Google
Яндекс Вебмастер: Отчет индексирование -> Страницы в поиске -> Все страницы
Внизу страницы ссылки на скачивание файла – cуществует ограничение в 50 000 страниц.
Google Search Console: в отчете Покрытие – выбираем нужные типы страниц
Переходим в нужный отчет и скачиваем список страниц в удобном формате. Google отдает только 1 000 страниц.
Поисковые операторы Яндекса
Запрос для поиска страниц в пределах одного домена – url:www.site.ru/* | url:site.ru/* | url:site.ru | url:www.site.ru.
Запрос для поиска с учетом всех поддоменов – site:site.ru
Список операторов и инструкцию по работе с ними можно посмотреть в справке Яндекса.
Ограничение: можно получить только 1000 результатов. Нужны специальные инструменты чтобы скопировать список страниц SERP: расширения браузера, букмарклеты или программы для парсинга выдачи.
Поисковые операторы Google
Запрос для поиска страниц в пределах одного сайта – site:site.ru
Получение списка страниц входа из систем веб-аналитики
Списки страниц входа из органики Яндекса в системах аналитики Яндекс.Метрика и Google.Analytics. Страницы по которым идут переходы с органической выдачи с большой вероятностью индексируются, но для точности рекомендуется проверять индексацию собранных страниц – индекс не статичен и страницы могут выпадать из индекса.
Список страниц по которым сайт показывается в выдаче в Яндекс.Вебмастере
Для выгрузки большого списка страниц из Яндекс.Вебмастера потребуется специальный скрипт.
Плагин для API Google Webmasters: Google Search Analytics for Sheets Отображает страницы по которым были показы сайта в выдаче.
Преимущества выгрузки списка страниц через API в том что можно получить десятки тысяч страниц, которые с большой вероятностью проиндексированы, в отличие от веб-интерфейса где установлено ограничение по выгрузкам в 1000 страниц.
Серверные логи сайта
Получить список страниц которые посещает робот можно из логов, например с помощью программы SEO Log File Analyser от создателей Screaming Frog.
Как проверить индексацию конкретной страницы в Яндексе и Google
Сервис Яндекс.Вебмастер: Индексирование -> Проверить статус URL
Проверка с помощью оператора: пример запроса url:https://site.com/page/
Сервис Google Search Console: инструмент “Покрытие”
Нужно ввести в указанной на скрине строке поиска URL-адрес своего сайта и откроется отчет о статусе страницы.
Проверка с помощью оператора: пример запроса site:https://habr.com/ru/news/t/468361/
После отмены оператора info остался оператор site, но он выдает не всегда точные данные, можно сократить список результатов с помощью указания уникального текста проверяемой страницы.
Как массово проверить индексацию списка страниц
Для проверки можно использовать SEO-сервисы, например Rush Analytics. Это позволяет массово проверить индексацию до десятков-сотен тысяч страниц
Как проверить разрешена индексация/сканирование страницы в Robots.txt
В Яндексе Проверить доступна ли роботам страница или содержит запрет можно через. Инструменты -> Анализ robots.txt
В Google Инструмент проверки файла robots.txt
Важно:если файл robots.txt отдает 404 ошибку, боты считают что разрешено сканирование всего сайта без ограничений. Если файл отдает ошибку 5хх, то Googlebot считает это полным запретом на сканирование сайта, но если ошибка отдается более 30 дней – считает что разрешено сканировать весь сайт без ограничений. Яндекс любые серверные ошибки считает отсутствием файла robots.txt и отсутствием ограничений на обход и индексацию сайта.
Как узнать динамику числа проиндексированных страниц
С помощью специализированных сервисов, например: https://be1.ru/
С помощью Яндекс Вебмастера: в разделе Индексирование -> Страницы в поиске.
С помощью Google Search Console: в отчете Покрытие.
Почему число проиндексированных страниц может отличаться в разных сервисах?
Нужно понимать что проиндексированные страницы и страницы в поиске это разные сущности. Не все проиндексированные страницы будут включены в поиск и не все страницы в поиске будут показываться через операторы поиска – операторы лишь выводят результаты пустого поиск по сайту а не список всех страниц. Но этого в большинстве случаев достаточно чтобы оценить порядок числа проиндексированных страниц сайта.
Запрет индексации страниц
Запрет индексации с помощью Meta Noindex/X-Robots-Tag
Для гарантированного исключения попадания страниц в индекс можно использовать атрибут Noindex Мета Тега Robots или HTTP-заголовка X-Robots-Tag. Подробнее про этот атрибут можно прочитать тут.
Важно:Использование запрета индексации в через Meta/X-Robots-Tag Noindex вместе с запретом в Robots.txt
При добавлении директивы Noindex в мета-тег Robots и http-заголовок X-Robots-Tag, чтобы ее прочитать, робот должен просканировать страницу, поэтому она должна быть разрешена в файле Robots.txt. Следовательно для точечного запрета индексации страниц иногда требуется снять запрет в robots.txt или добавить директиву Allow, чтобы робот смог переобойти эти страницы.
Несмотря на вышеописанное, запрет в robots.txt в большинстве случаев все таки приведет к тому, что страницы не будут индексироваться, но его нельзя использовать для закрытия персональных данных или страниц с конфиденциальной информацией.
Как запретить индексацию страницы в robots.txt
Стоит сразу упомянуть что запрет в robots.txt не является надежным методом закрытия страниц от индексации.
В файле robots.txt указываются основные директивы для запрета или разрешения обхода/индексации отдельных страниц или разделов сайта.
Важно: Многие ошибочно считают что директива Disallow в Robots.txt служит для запрета индексации страниц, это не совсем так. Основная цель файла Robots.txt – управление трафиком поисковых роботов на сайте, а не индексацией / переиндексацией и разные поисковые системы по разному интерпретируют запрет.
Многие вебмастера не понимают почему после запрета страницы в robots.txt она продолжает находиться в индексе и приносить трафик. Запрет посещения и обновления страницы роботом не означает, что он обязан удалить уже присутствующую в индексе страницу. К тому же для индексации не всегда обязательно физически сканировать страницу, информацию о ней можно собирать из различных источников, например, из анкоров входящих ссылок.
Почему заблокированные в robots.txt страницы отображаются в выдаче?
В Яндексе и Google различается механизм обработки директив файла Robots.txt. Для Google директива Disallow в robots.txt запрещает лишь обход страниц, но не их индексацию из-за чего часто появляются страницы со статусом:
Для запрета индексации в Google через файл Robots.txt ранее использовалась незадокументированная директива Noindexв Robots.txt, но с сентября 2019 года Google перестал поддерживать ее.
На данный момент для надежного запрета индексации страниц в Google рекомендуется использовать атрибут NoindexМета Тега Robots и HTTP-заголовка X-Robots-Tag.
Яндекс же, наоборот, воспринимает запрет в Robots.txt Disallow: как сигнал к запрету и сканирования и индексирования сайта и после добавления директивы Disallow:страницы будут удалены из индекса.
Использование атрибута canonical для запрета индексации дубликатов
Для консолидации дубликатов или похожих страниц страниц используется атрибут canonical, который указывает поисковикам по какому адресу рекомендуется индексировать страницу. Носит рекомендательный нестрогий характер.
Два типа использования:
Тег <link> с атрибутом rel=”canonical”
HTTP-заголовок rel=canonical
Использование директивы clean-param для удаления из индекса
Директива clean-param файла Robot.txt используется только Яндексом. Указывает незначащие параметры, которые будут по возможности вырезаться из URL-адресов при обходе сайта. Страницы, запрещенные в Clean-Param будут исключены из индекса.Yandex” search_bot
Запрет сканирования, индексации с помощью кодов ответа сервера 3хх/4хх
Чтобы гарантированно запретить роботам скачивать страницы, можно отдавать ботам при сканировании страниц коды:
301 редирект: особенно подходит для запрета дубликатов и склейки их с основными страницами;
403 Forbidden: доступ запрещен;
404 Not Found: не найдено;
410 Gone: удалено;
Удаление страниц из индекса
Удаление страниц или каталогов через Search Console
Инструмент не запрещает страницы к индексации или сканированию – он лишь временно скрывает страницы из поисковой выдачи. Рекомендуется использовать только для экстренного удаления страниц, случайно попавших в выдачу, после этого уже физически удалить их или запретить сканирование/индексацию.
Ускоренное удаление из индекса страниц в Яндексе
На сайт должны быть подтверждены права. Можно удалить только страницы, которые недоступны для робота: запрещенные в robots.txt или отдавать код 3хх, 4хх.
Для удаления из индекса Яндекса страниц чужого сайта можно воспользоваться формой – https://webmaster.yandex.ru/tools/del-url/.
Требования к URL-адресам такие же: запрет в robots.txt или коды ответа 301, 403, 404, 410 и т.п.
Как добавить страницы в индекс Яндекса или Google
Роботы постоянно ходят по ссылкам на сайтах. Для ускорения добавления существуют инструменты:
Sitemap.xml. Добавьте и регулярно обновляйте актуальный список страниц в сайтмапах сайта.
В Яндексе: инструменты -> переобход страниц
В Google: Проверка URL -> Запросить индексирование
Как проверить обход / сканирование сайта поисковыми системами
Яндекс:
Общее количество загруженных (просканированных) Яндексом страниц можно увидеть на главной странице вебмастера.
Динамику обхода страниц можно увидеть на странице Индексирование -> Статистика обхода.
Google: отчет: статистика сканирования сайта.
Также можно проверить обход сайта всеми поисковыми роботами с помощью анализа серверных логов сайта (Access logs). Например, через программу SEO Log File Analyser.
Как часто происходит индексация сайта
Поисковые боты постоянно равномерно загружают страницы сайта, далее выкладывая их в обновленный индекс: Google обновляет индекс в постоянном режиме, Яндекс во время апдейтов поисковой базы, примерно раз в три дня.
Частота сканирования и переиндексации каждого отдельного сайта различается, и зависит от факторов:
объем контента/страниц сайта
краулинговый спрос поисковой системы для текущего сайта
настройки скорости сканирования в вебмастерах
скорость работы сайта
Как улучшить и ускорить индексацию сайта
Рекомендации для увеличения охвата страниц индексом поисковых систем:
все основные страницы должны быть в валидных сайтмапах sitemap.xml
оптимизация вложенности страниц
оптимизация краулингового спроса/бюджета
хорошая скорость сайта
закрывать лишние страницы, чтобы не тратить на них ресурсы роботов
внутренняя перелинковка
создание ротарора на сайте (Ловец ботов)
Как ограничить скорость сканирования сайта
Обычно если требуется ограничить нагрузку, которую создают роботы, то у сайта большие проблемы и это негативно скажется на его индексации. Боты стараются быть “хорошими” юзерами и сканируют сайт равномерно, стараясь не перегружать сервера.
То что сайт от этого испытывает проблемы с нагрузкой, в 90% случаев может быть сигналом к смене хостинга/сервера или оптимизации производительности CMS. Но в случае крайней необходимости все таки можно задать рекомендуемую скорость сканирования сайта.
Для ограничения скорости обхода сайта можно воспользоваться инструментами Яндекс.Вебмастер и Google
Яндекс:
Google: В старой версии консоли можно было временно ограничить максимальную скорость сканирования сайта
В обновленной консоли такой возможности нет, но можно отправить сообщение о проблеме с активностью GoogleBot’а на сайте – https://www.google.com/webmasters/tools/googlebot-report
10 действенных способов заставить Google индексировать ваш сайт
Если ваш сайт не индексируется Google, то он практически невидим. Он не будет попадать в результаты поиска и получать естественный трафик. Совсем. Вообще. Ничего.
Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.
Эта статья поможет вам решить три проблемы:
Ваш сайт вообще не индексируется.
Часть страниц сайта индексируется, а часть — нет.
Свежеопубликованные статьи индексируются недостаточно быстро.
Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».
Что такое краулинг и индексирование?
Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).
Запутались? Давайте дадим определения основным терминам.
Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
Поисковый робот — Программа, которая выполняет краулинг.
Googlebot — поисковый робот Google.
Вот видео от Google, в котором этот процесс подробно объясняется:
