Индексация страниц сайта в гугле: Sorry, this page can’t be found.

Что такое индексация сайта в Google?

Категории

Olga Borzenko

14 сентября | 2021

Olga Borzenko

14 сентября | 2021

Вы задумывались, как быстро появляются результаты в Google после ввода поискового запроса? Сколько времени уходит у поисковика на отображение списка ссылок? Стоит только нажать Enter и моментально собираются миллионы релевантных результатов. 

На самом деле, Google не ищет результаты по всем сайтам в Интернете. Он ищет их в своем индексе. Если владелец сайта не добавил страницы в индекс поисковой системы, пользователи не смогут их найти.

Индекс Google. Что это?

Индекс проще сравнить с огромной библиотекой. В ее каталоге содержатся миллиарды страниц. Когда пользователи хотят что-то найти, Google из своей библиотеки выбирает наиболее подходящие ссылки и формирует из них выдачу.

«Проиндексированная» веб-страница потенциально может появиться в результатах поиска. Без индексации в Google никто не сможет найти страницу, даже если она на 100% подходит под запрос пользователя.

Как Google индексирует страницы?

Процесс индексирования Google сложен. В нем много влияющих друг на друга этапов, но можно выделить три основных:

1. Обнаружение — владелец сайта отправляет поисковому роботу файл XML sitemaps. В нем записаны все адреса страниц, размещенных на вашем сайте. Если Google видит новые адреса, он ставит их в очередь на сканирование.
2. Сканирование — поисковик просматривает каждую обнаруженную страницу. Проводится сканирование контента для определения, на какие релевантные запросы он отвечает. Найденная информация передается в каталог индексации.
3. Индексация — выполняется анализ содержимого и визуализация страницы. Google определяет, на какую позицию в рейтинге поместить вас. Далее страница отправляется в соответствующий каталог или индекс.

Цель поисковой системы Google — найти наилучшие ответы на запросы пользователей. 

Как проверить, проиндексирована ли страница в Google?

Самый простой способ — ввести в поисковую строку Google URL-адрес страницы, которую нужно проверить. Если страница проиндексирована, она появится на первой позиции. Второй способ  —  использовать команду «site:» перед ссылкой (это узкий поиск только по вашему сайту).

Если страница не появилась, значит еще находится в «очереди на сканирование».

Полный список непроиндексированных страниц можно найти в Google Search Console.

Как ускорить индексацию?

Если на сайте часто публикуется контент, поисковик сам периодически сканирует его страницы. Это хорошо видно по новостным ресурсам. Изменения в поисковой выдаче появляются в первые несколько часов после публикации.

Скорее всего, на вашем сайте нет такого объема контента. Поэтому Google уделяет сайту меньше внимания, а автоматическая индексация занимает 1-2 недели. Хотите быстрее? Есть несколько способов.

Google Search Console

Если нужно проиндексировать одну страницу, введите ее URL в верхней строке Search Console. Система выполнит поиск адреса в своей базе. Если он новый, вы увидите сообщение «URL нет в Google».

Нажмите кнопку «Запросить индексирование» и если робот не найдет ошибок, запустится процесс индексации. Это займет от суток до нескольких недель. Конкретнее сказать сложно. Зависит от репутации сайта и плановой работы, которую предстоит выполнить Google.

Если обнаружится, что URL является неиндексируемым, запросить индексирование будет невозможно. В таком случае используйте файл Sitemap.xml.

Файл Sitemap.xml

Чтобы ускорить индексацию большого количества нового контента или новых страниц сайта, добавьте их в файл Sitemap.xml. Готовый файл также нужно отправить в Google из Search Console на индексацию.  

Для этого необходимо набрать в браузере: 

https://www.google.com/ping? sitemap = https://www.ваш сайт.xxx/sitemap_index.xml 

(Вместо sitemap_index.xml может быть sitemap.xml. Это зависит от вашего SEO-специалиста или веб-мастера. Просто нужен путь к вашему файлу Sitemap)

Search Console показывает общее количество URL-адресов, включенных в Sitemap, и дату их последнего сканирования. 

Перелинковка (внутренние ссылки)

Индексация контента пройдет быстрее, если создать на него ссылки с других страниц. Важно! Они должны быть уже проиндексированными и регулярно приводить органический трафик.

Как это правильно сделать? Найдите в Google Analytics страницы с регулярным органическим трафиком. Откройте нужную в админке и добавьте в текст ссылку на новую страницу.

Google Adwords

Еще один вариант, с помощью которого вы можете попытаться «обнаружить» URL-адрес в Google, это использовать инструмент Google Adwords.

В планировщике ключевых слов сделайте подборку ключей через вкладку «Указать сайт». Рекламный кабинет тесно связан с поисковым роботом, поэтому добавление в него новой ссылки поможет обратить на себя внимание Google.

Сайты статистики и пинга

В Интернете существует множество статистических служб. Они занимаются сканированием сайтов, чтобы собирать данные типа регистратора домена, хостинг и т.д. Эти службы можно использовать, чтобы распространять ваш URL-адрес и получать временные бэклинки:

1. Indexkings.com.
2. Linkcentaur.com (нужно создать учетную запись).
3. Pingfarm.com.
4. Bulklink.org.

Еще попробуйте расширение для браузера Chrome: Mass Fast Pinger.

Социальные сети

Переходы пользователей по новой ссылке помогут обратить внимание поискового робота. Для этого отлично подойдут социальные сети с платным и бесплатным трафиком. Можно размещать URL в собственных аккаунтах и в чужих блогах, но тут стоит осторожничать. Можно попасть под бан модераторов.

Для корпоративных сайтов хорошо подойдут:

1. Facebook.
2. Linkedin.
3. Twitter.

Для творчества и увлечений:

1. Pinterest.
2. Instagram (ссылка в шапке профиля).
3. Behance.

Если есть собственный SMM-щик, а контент гибкий, никто не мешает комбинировать оба списка. Главное — живые переходы. 

YouTube

Опубликуйте видео на YouTube со ссылкой на страницу, которую Google нужно проиндексировать. Лучше всего это работает в популярных каналах с регулярной публикацией новых роликов.

Если ваш аккаунт не популярен, можно пойти через сторонние каналы. Есть друзья-блогеры? Отлично, возможно они бесплатно добавят ссылку. Нет друзей-блогеров? Можно поискать тематические каналы договориться о платном размещении. Правда это уже из области рекламы 😉

5 ошибок, которые мешают индексации страниц

Google открыто говорит — даже если поисковая система найдет и полностью просканирует URL-адрес, это не гарантия включения страницы в «каталог». Вот несколько причин, почему страницы не попадают в индекс:

1. Качество — отсутствие уникального, ценного контента, который Google хочет показать пользователям.
2. Дублированные страницы — если на сайте есть дубли, используйте атрибут canonical или 301 редирект. Атрибут canonical указывает, какие страницы являются основными, каноничными. Он сделает так, что поисковик не будет ругаться на повторы и выдаст пользователю страницу только с каноничным тегом.
3. Краулинговый бюджет (Crawl Budget) — Googlebot, сканирует только определенное (неизвестное) количество URL-адресов на каждом сайте. Потратив «бюджет» на ненужные страницы, бот может уйти, так и не посетив страницы с важным контентом. Этот параметр стоит учитывать, если нужно проиндексировать сразу много страниц.
4. Страницы с ответом сервера 404 — ошибка 404 означает, что на индексацию отправлена удаленная или несуществующая страница. 
5. Проблемы индексации — часто с самим сайтом есть технические проблемы, которые не позволяют провести сканирование. Одной из важных является проблема с robots.txt. Если Googlebot находит robots.txt, но не может получить к нему доступ, он игнорирует сайт вообще.

Какие страницы необходимо исключать из индекса?

В ваших интересах исключить некоторые страницы из индексации. К ним относятся: старые URL-адреса, неактуальные статьи, страницы с личными данными пользователей, все возможные дубли и т.д. Попадание таких страниц в список индексации ухудшит ее качество.

Закрыть страницы от индекса можно двумя способами:

1. Файл robots.txt. — он расположен в корневом каталоге сайта. Через директивы «Allow» и «Disallow» он разрешает или запрещает поисковым системам индексировать страницы сайта.
2. Тег «NoIndex» — это строка кода, которая добавляется в HTML-код страницы сайта. Например: <meta name=»robots» content=»noindex,follow» />. Для правильной работы он должен размещаться в разделе head.

 

Выводы

Индексация поисковым роботом — необходимое условие для получения органического трафика от Google. Нехитрыми манипуляциями этот процесс можно ускорить.

Хоть мы все представляем Google как поискового монополиста, он постоянно конкурирует с менее развитыми поисковиками. Ему нужен полезный контент, чтобы показать его пользователям. Если вы его сделаете и будете следовать вышеописанным инструкциям, органический трафик придет на страницы очень быстро.

• #SEO
• #индексация сайта

Подписаться

Блог

Vacancy

Подписаться

Блог

Vacancy

Получить спецпредложение

Некорректно введен Email

Пожалуйста, заполните поля отмеченные

UP

Что такое индексация сайта в поисковых системах Google и Яндекс

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

«Индексирование сайта — это процесс, в ходе которого поисковые системы получают информацию о страницах ресурса. Полученные данные хранятся в базе, которую называют поисковым индексом. Так Яндекс, Google и другие поисковики узнают, что ваш сайт существует и наполнен полезным контентом. Индексация нужна для того, чтобы юзеры могли найти ваши страницы при поиске» — так определяет индексацию Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group.

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка. 

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

• Содержание, информацию о сервере и служебные данные.
• Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml. 

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией. 

Чтобы добавить файл Sitemap в Google Search Console, зайдите в сервис, добавьте свой сайт и перейдите в раздел «Сканирование». В пункте «Файлы Sitemap» выберите  «Добавить файл Sitemap» и вставьте ссылку на файл Sitemap.

В Яндекс.Вебмастере путь похож: зайдите в ваш аккаунт, выберите нужный сайт. Затем в левом меню нажмите на раздел  «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» вставьте ссылку файла и нажмите «Добавить». Кстати, если вы внесли изменения в карту сайта, то просто отправьте карту на перепроверку, нажав на стрелочки рядом с файлом Sitemap.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру. 

Вы можете посмотреть, одинаково ли видят страницу пользователи и поисковой робот. Для этого зайдите в Google Search Console, выберите отчет «Посмотреть как Googlebot» в разделе «Сканирование». 

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию 

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров.  

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.

Дарья Каблаш, основатель маркетингового агентства Dvizh

Поисковая строка

Роман Огрин, руководитель группы оптимизации в Kokoc Group, называет специальные операторы самым быстрым и простым способом проверки индексации. Яндекс и Google поддерживают оператор site, который помогает отображать проиндексированные страницы. Базовый синтаксис использования: site:sitename.com

Например: site:gosuslugi.ru

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации. 

Бесплатные плагины

«Можно использовать специальные бесплатные сервисы, например, be1.ru и pr-cy.ru. Для проверки введите адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, помимо количества страниц в индексе популярных поисковиков, предоставляют еще много интересных данных» — Николай Полушкин, директор веб-студии DIUS.

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев. 

Эксперт Роман Огрин рассказывает, как именно посмотреть индексацию в Яндекс.Вебмастере и Google Search Console. Оба сервиса сначала надо «привязать» к исследуемому домену и только потом смотреть точную статистику.

В Яндекс.Вебмастере есть раздел «Индексирование» с подразделом «Страницы в поиске». По клику на вкладку «Все страницы» сервис выдает список проиндексированных на данный момент документов. В Search Console аналогичный инструмент — отчет «Покрытие».

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации. 

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

• Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
• User-Agent указывает поисковую систему для индексации по написанной инструкции.
• Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
• Clean-param закрывает индексирование с конкретными динамическими параметрами.
• Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

1. Директиву Disallow в файле robots.txt. Как мы писали выше, эта директива закрывает конкретные страницы от индексации.
2. Мета-теги в разделе <head> HTML-документа, например, <meta name=»robots» content=»noindex» />. Они определяют отношение к сканированию контента в документе.
3. HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
4. Код ответа сервера. В индекс попадают только доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
5. Настройки сервера. Для разных IP адресов, User-agent и других параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
6. Наличие входящих внутренних или внешних ссылок. Индекс может исключать такие страницы.
7. Низкий трафик. Это может быть следствием малополезной страницы или отсутствием семантического спроса со стороны пользователей по данному контенту.

Николай Полушкин, директор веб-студии DIUS, делится недавним случаем из практики. «Пришел сайт на бесплатный аудит. Клиент жаловался на резкую просадку трафика. SEO-специалист сразу открыл файл robots.txt и нашел строчку  Disallow. Мы сообщили об этом клиенту и объяснили, что сайт закрыт от индексации, и страницы постепенно удаляются из поиска. Заказчик был удивлен и попросил выяснить, кто и когда это сделал. Недавно компания делала редизайн и наш специалист предположил, что страницы на время работ закрыли от индексации, а потом забыли убрать запрещающую директиву».

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

1. Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
2. Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
3. Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Мы удалили дублирующиеся страницы, перейдя на utm-метки, и отправили сайт на переиндексацию. Через несколько дней проблема решилась, сайт стал отображаться в Яндексе» — Дарья Каблаш, основатель маркетингового агентства Dvizh.

Иные причины

Более редкие случаи неиндексации могут быть связаны, например, с фильтром  «для взрослых».

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: «<Название оператора> тарифы» в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Это значит, что страница перешла из основного индекса в специальный “Фильтр для взрослых” или «Adult-фильтр». После обращения в службу поддержки Яндекса обнаружилось, что это ошибка на стороне поисковой системы, так как на странице не было какой-либо специфичной информации».

Также возможен редкий случай неиндексации — «плохая история» домена. В этом случае был куплен домен, на котором ранее был поисковый спам или adult-ресурс, поэтому сайт сразу может быть под фильтром.

«В нашей практике был пример сайта на домене, на котором ранее был размещен белый каталог сайтов. Ресурс индексировался нормально и потом резко пропадал из индекса поисковых систем. Помогли письма в техподдержку Яндекса и отправка страниц на принудительную переиндексацию. Но даже после этого периодически сайт продолжал полностью вылетать из индекса, за этим приходилось отдельно следить. Чтобы таких моментов не было, перед покупкой домена лучше всего проверять его историю» — Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто

Систематизация информации – Как работает поиск Google

Как Google
Поиск систематизирует информацию

Когда вы выполняете поиск, Google просматривает сотни миллиардов веб-страниц и другого контента, хранящегося в нашем поисковом индексе, чтобы найти полезную информацию – больше информации, чем во всех библиотеках мира.

Поиск информации путем сканирования

Большая часть нашего поискового индекса создается с помощью программного обеспечения, известного как сканеры. Они автоматически посещают общедоступные веб-страницы и переходят по ссылкам на этих страницах, как если бы вы просматривали контент в Интернете. Они переходят со страницы на страницу и сохраняют информацию о том, что они находят на этих страницах, и другой общедоступный контент в поисковом индексе Google.

Организация информации путем индексирования

Когда поисковые роботы находят веб-страницу, наши системы отображают содержимое страницы так же, как это делает браузер. Мы принимаем к сведению ключевые сигналы — от ключевых слов до свежести веб-сайта — и отслеживаем все это в поисковом индексе.

Индекс поиска Google содержит сотни миллиардов веб-страниц и имеет размер более 100 000 000 гигабайт. Это похоже на индекс в конце книги — с записью для каждого слова, увиденного на каждой веб-странице, которую мы индексируем. Когда мы индексируем веб-страницу, мы добавляем ее в записи для всех слов, которые она содержит.

Постоянный поиск новой информации

Поскольку Интернет и другое содержимое постоянно меняется, наши процессы сканирования постоянно работают, чтобы не отставать. Они узнают, как часто контент, который они видели раньше, меняется и пересматривается по мере необходимости. Они также обнаруживают новый контент по мере появления новых ссылок на эти страницы или информацию.

Google также предоставляет бесплатный набор инструментов под названием Search Console, который авторы могут использовать, чтобы помочь нам лучше сканировать их контент. Они также могут использовать установленные стандарты, такие как карты сайта или robots.txt, чтобы указать, как часто контент следует посещать или его вообще не следует включать в наш поисковый индекс.

Google никогда не принимает плату за более частое сканирование сайта — мы предоставляем одни и те же инструменты для всех веб-сайтов, чтобы обеспечить наилучшие результаты для наших пользователей.

Больше, чем веб-страницы

Наш поисковый индекс содержит не только информацию из Интернета, поскольку полезную информацию можно найти в других источниках.

На самом деле, у нас есть несколько указателей различных типов информации, которая собирается путем сканирования, через партнерские отношения, через потоки данных, отправляемые нам, и через нашу собственную энциклопедию фактов, Граф знаний.

Эти многочисленные указатели означают, что вы можете искать среди миллионов книг из крупных библиотек, узнавать время в пути от местного агентства общественного транспорта или находить данные из общедоступных источников, таких как Всемирный банк.

Узнать больше

Результаты рейтинга

Узнайте, как определяется порядок результатов поиска.

Строгие испытания

Узнайте о процессах и инструментах Google, позволяющих находить полезную и актуальную информацию.

Обнаружение спама

Узнайте о шагах, которые Google предпринимает для защиты ваших поисковых запросов.

SEO: Как проиндексировать страницу в Google

5 января 2023 г. • Энн Смарти

Google создает списки обычных результатов поиска на основе своей базы данных, содержащей сотни миллиардов веб-страниц. Добавление страницы в эту базу данных — первый шаг Google в определении рейтинга.

«Индексация» на языке Google означает добавление URL-адреса в базу данных вместе с ключевой информацией — на странице (заголовки, основной текст, метатеги) и вне ее (внутренние и внешние ссылки, текст вокруг этих ссылок, информация об авторе). ). Google использует эту информацию в результатах поиска и регулярно обновляет индекс.

Компания может заблокировать страницу из индекса Google с помощью команды robots.txt, хотя это не является надежным, и Google все равно может проиндексировать ее, используя информацию за пределами страницы.

Учитывая огромный объем индекса, Google может потребоваться несколько дней, чтобы обнаружить и добавить новую страницу. И новые страницы индексируются быстрее, чем обновления.

Как проиндексировать страницу?

Как правило, Google обнаруживает и быстро индексирует страницы веб-сайтов с менее чем несколькими тысячами URL-адресов, при условии наличия внутренних ссылок на каждую из этих страниц. Внешние ссылки ускорят поиск, как и отправка XML-карты сайта в Search Console.

После индексации Google регулярно проверяет сайт на наличие изменений.

Google разрешает запросы на повторное сканирование сайта. Но частые запросы часто указывают на технические проблемы. Поэтому вместо повторного сканирования проверьте свой сайт, чтобы убедиться, что внутренние ссылки действительны и легко сканируются. Может помочь сторонний инструмент сканирования, такой как Screaming Frog.

Карты сайта в формате XML особенно полезны для крупных сайтов, управляемых базами данных, с тысячами страниц продуктов и сотнями категорий. Файлы Sitemap позволят Google легче получать доступ к более глубоким страницам и сообщать (через Search Console) о структурных проблемах или проблемах с индексацией.

Как подтвердить индексацию?

Есть два способа узнать, проиндексировал ли Google страницу:

• Найдите в Google site:full-url — например, site:practicalecommerce.com. Если он проиндексирован, URL-адрес появится в органических результатах.
• Проверьте отчет «Страницы» в Search Console.

Обратите внимание, что Google может индексировать страницу, но не кэшировать ее.

Следите за вкладкой «Страницы» на предмет ошибок индексации. Прокрутите вниз до отчета «Просканировано — в настоящее время не проиндексировано», чтобы увидеть список страниц, не включенных в индекс Google, и причину. Отчет обычно включает несколько неиндексированных страниц. Однако, если их число растет или их больше нескольких, проверьте свой сайт на наличие основных проблем.

При просмотре этого отчета я часто нахожу URL-адреса, которые действительно проиндексированы, что указывает на то, что отчет устарел.

Тем не менее, неиндексированный URL-адрес может сигнализировать о более широкой проблеме. Итак, еще раз исключите эту возможность, прежде чем запрашивать повторное сканирование.

В отчете «Просканировано — в настоящее время не проиндексировано» перечислены страницы, не входящие в индекс Google, и причина. Щелкните изображение, чтобы увеличить его.

Как ускорить индексацию?

Самая распространенная (и действительная) причина более быстрого индексирования — проверка исправления, т. е. Google сообщил об ошибке через консоль поиска, а вы ее исправили. В этом случае запросите индексацию с помощью инструмента «Проверка URL» в Search Console.

Google отправит электронное письмо, когда проверит исправление и проиндексирует страницу. Обычно это занимает пару дней.

Используйте инструмент только изредка, но не каждый день. При переносе всего сайта на новый домен или систему управления контентом не пытайтесь использовать этот инструмент для переиндексации страницы за страницей. Вместо этого отправьте обновленную карту сайта в Search Console.