Содержание

Индексация сайта: объяснили, что это такое

Что такое индексация страниц сайта и что о ней стоит знать маркетологу

Индексация сайта — это добавление информации о сайте или его страницах в базы данных поисковых систем. Процесс можно сравнить с внесением информации в библиотечный каталог.

За индексацию отвечают поисковые роботы — специальные алгоритмы, которые автоматически проверяют сайт и обрабатывают информацию.

Онлайн-обзор платформы Roistat

В прямом эфире расскажем, как сделать маркетинг эффективным

Подключиться

Поисковые роботы проверяют всё: тексты, картинки, видео, ссылки, аудио и многое другое. Если проверка пройдена успешно, сайт становится проиндексированным и добавляется в базу поисковой системы. Теперь пользователи могут найти сайт в поисковиках, если контент на проиндексированном сайте релевантен запросу.

Если роботы обнаружили проблему — например, у контента страницы низкая уникальность — на сайт накладываются санкции. Он может попасть в базу, но не будет отображаться в поисковой выдаче или получать органический трафик.

Что такое органический трафик и как использовать в маркетинге — рассказали в нашем блоге.

Индексация сайта в поисковых системах влияет на качество и количество трафика. Без неё невозможно попасть в поисковую выдачу. Сайт может быть красивым и удобным, но если не пройти индексацию, об этом не узнают пользователи.

Специалистам необходимо проверять, индексируется ли сайт и его страницы. Все ли страницы отображаются в выдаче? Нет ли дублей? Не закрыты ли целевые страницы, из-за чего компания теряет трафик и прибыль?

Как проверить индексацию сайта в поисковых системах

У каждой поисковой системы — свои алгоритмы для сбора данных о сайте. Методами индексации они не делятся. Однако SEO-специалисты знают основные параметры, на которые смотрят роботы, а также определили методы, чтобы проверить индексацию сайта онлайн.

Самый простой способ

Зайдите в любой поисковик и укажите один из запросов:

  • site:[URL сайта] — увидите все проиндексированные страницы сайта;
  • cache:[адрес нужной страницы] — узнаете, когда страницу в последний раз сканировали роботы;
  • site:[адрес нужной страницы] — поймёте, индексировала ли поисковая система эту страницу.

Важно: сравнивайте число проиндексированных страниц с количеством реальных страниц на сайте. Если у вас 200 страниц, а проверка индексации сайта показала только 150, значит, поисковик не знает о существовании ещё 50 страниц.

Индексация сайта в Google

Google сразу сканирует весь сайт, обрабатывая и полезные страницы, и те, где есть ошибки или нарушения. Но в поисковую выдачу попадают только качественные сайты. Из-за этого сайт может быть проиндексирован Google, но не получить места в выдаче.

Для проверки индексации нужно открыть сервис Google Search Console. В разделе «Индекс Google» найти блок «Статус индексирования» и посмотреть информацию об индексации.

Индексация сайта в Яндексе

Яндекс регулярно сканирует страницы и добавляет новые 3-4 раза в месяц. Для надёжных сайтов с отличной репутацией действуют исключение. Роботы Яндекса доверяют таким сайтам, их страницы индексируются ежедневно.

Чтобы проверить индексацию, нужно открыть Вебмастер и перейти в раздел «Индексирование сайта». Нажмите на «Страницы в поиске» и посмотрите, какие страницы проиндексированы Яндексом.

Что сканируют поисковики и сколько времени уходит на индексацию

Поисковые роботы анализируют множество параметров, но основных всего три:

  • наличие работоспособных внешних ссылок;
  • объём трафика;
  • вовлеченность пользователей на сайте.

Если роботы не находят ошибок и нарушений, индексация проходит быстро — через 24 часа или несколько дней сайт появляется в поисковой выдаче.

Как закрыть сайт от индексации и зачем это делать

Поисковые роботы не будут индексировать страницы, которые вы закрыли для доступа. Эти страницы не попадут в поисковую выдачу, о них не узнают поисковики.

Например, сайт скрывают от поисковиков, когда страницы сайта полностью или почти полностью меняются. Сайт не будет виден, пока не будет полностью готов.

Чаще закрывают отдельные страницы — например, страницы с технической информацией, служебные страницы, конфиденциальные данные, дубли, страницы, над которыми ведётся работа. Если проиндексировать такие страницы, можно не попасть в поисковую выдачу.

Запретить сканирование можно двумя способами:

1. Через файл robots.txt. Закрыть сайт или несколько страниц от индексации проще всего в специальном файле — robots.txt. Там прописывают правила для поисковых роботов — то есть указывают поисковикам, как должна проходить индексация сайта. Для запрета индексации страницы, файла или целой папки достаточно прописать рядом с путём директиву Disallow. И не забудьте прописать директиву User-agent в начале правила. С помощью неё поисковый робот будет понимать к какому именно поисковому роботу относятся правила. Ниже приведен пример, в котором для всех поисковых роботов — знак звёздочки (*) в директиве User-agent означает «все» — запрещена индексация всего сайта:

User-agent: *
Disallow: /

2. Через метатег robots на странице. Подходит, когда нужно скрыть одну страницу. На выбранной странице в метатеге  robots необходимо добавить в атрибут content значения noindex и nofollow. Noindex — закрывается страницу от индексации, nofollow — запрещает роботу переходить по ссылкам на странице:

<meta name="robots" content="index,follow">

Как ускорить индексацию сайта

Чем быстрее поисковые роботы сканируют новые страницы, тем быстрее контент сайта появляется в поисковой выдаче и начинает привлекать трафик. На скорость индексации можно повлиять, если следовать этим правилам.

  1. Зарегистрировать сайт на быстром хостинге.
  2. Самостоятельно отправить сайт на индексацию в Яндекс и Google — это можно сделать в Вебмастере и Google Search Console соответственно.
  3. Корректно сформировать файл robots.txt — запретите индексацию технических и служебных страниц.
  4. Создать файл sitemap.xml — это карта сайта, которая помогает роботам быстрее проверить структуру сайта и проиндексировать новые страницы. Sitemap должен находиться в корневой папке сайта.
  5. Проверить страницы на наличие дублей.
  6. Проверить контент на количество ключевых слов — если их недостаточно или слишком много, сайт будут дольше проверять.
  7. Регулярно публиковать новый контент на сайте, который заинтересует пользователей. Настройте перелинковку — свяжите ссылками страницы внутри одного сайта.
  8. Сократить вес изображений и видео — тяжёлая графика снижает скорость загрузки сайта и плохо сказывается на индексировании.
  9. Улучшить юзабилити сайта — сделайте удобную навигацию, простой дизайн, расставьте нужные кнопки и формы, которые упростят процесс покупки, добавьте оплату в один клик, раздел с информацией о компании и доставке. Всё это — поведенческие факторы. Они виляют на позицию сайта в поисковой выдаче.

Как юзабилити влияет на бизнес-показатели и что нужно для проверки сайта — объяснили в блоге Roistat.

Почему индексация страниц сайта так важна

Когда сайт попадает в базу Яндекса и Google, их видят и обычные пользователи, которые вводят запросы в поисковиках. Без трафика сайт или лендинг не имеет ценность. Если на сайт не заходят пользователи, компания ничего не зарабатывает. Итог — нулевая посещаемость, нулевая прибыль.

Чем выше сайт в выдаче, тем больше посетителей и покупателей. Индексация — первый шаг на пути к привлечению органического трафика.

Что такое индексация сайта (Как улучшить индексацию в Google)

Индексация сайта — это процесс сбора информации поисковой системой о содержимом вашего сайта. Во время индексации поисковые роботы (пауки) сканирую и обрабатывают web страницы, изображения, видео и другие доступные для сканирования файлы. Чтобы поисковая система быстро проиндексировала сайт: создайте карту сайта и добавьте ее в Google Search Console.

Сайт должен быть проиндексирован чтобы отображаться в поиске

Страницы, которые прошли сканирование и обработку, сохраняются в базу данных. Такая база называется “поисковой индекс”. Именно в этой базе данных поисковая система ищет результаты, отвечающие на запросы пользователей.

Важно понимать:

  • Если страницы нет в поисковом индексе — ее невозможно найти в поисковой системе.
  • Индексация нужна чтобы участвовать в поиске.
  • У каждой поисковой системы свой поисковой индекс, свои поисковые боты.
  • Поисковой бот от Google называется Googlebot.
  • Настройка индексации сайта, это базовый уровень работ по SEO.

Содержание статьи

  • Как проверить индексацию страницы
  • Как проверить индексацию всего сайта
  • Как добавить новый сайт в индекс поисковиков?
  • Что делать, если сайт плохо индексируется
  • Как происходит индексация сайта
  • Этап 1: Сканирование
  • Этап 2: Обработка данных
  • От чего зависит индексация

Как проверить индексацию страницы?

Самый быстрый способ — написать в строку поиска команду site:[адрес страницы]. Такой поиск найдет все проиндексированные страницы сайта. Для того, чтобы просмотреть дату последнего сканирования страницы, напишите в строку поиска cache:[адрес проверяемой страницы]. Если вам нужно проверить индексацию конкретной страницы просто скопируйте ее адрес и введи в поиск запрос site:[адрес страницы]. Этот метод будет работать как в Google так и в Yandex или Bing.

Совет: Сравните количество проиндексированных страниц с реальным количеством страниц на сайте. Это поможет быстро оценить есть ли у вашего сайта проблемы с индексацией. К примеру: если на сайте 100 товаров, 10 разделов и 10 информационных страниц (в сумме 120), а в индексе только 50 страниц, это означает, что поисковая система не знает о большей части вашего сайта.

Как проверить индексацию всего сайта

Для проверки индексации сайта нужно выполнить 2 простых шага:

  1. Узнать сколько страниц на сайте. Для этого просканируйте свой сайт специальными инструментами. Если ваш сайт до 500 страниц вам подойдет бесплатная версия Screaming Frog , если этого недостаточно используйте, бесплатный Site Analyzer. В разделе “HTML” вы увидите общее количество страниц вашего сайта.
  2. Зайдите в инструменты для вебмастеров или Google Search Console (Что такое Google Search Consol )  откройте отчет “Покрытие” и просмотрите количество страниц в статусе “Без ошибок”.
    Количество страниц в сканере Site Analyzer и страниц в Google Search Console должно приблизительно совпадать. Это, будет означать, что основные страницы сайта сканируются. Если часть страниц попала в группу “Исключено” вы можете изучить причины исключения страниц. В этом же отчете вы можете познакомиться с историей индексации вашего сайта за последние 3, 6 или 12 месяцев.
  3. Довольно часто в отчете “Покрытие” вы можете увидеть большое количество страниц в статусе “Страница просканирована, но пока не проиндексирована” — это означает, что поисковая система уже получила данные о ваших страницах но пока не обработала их до конца. Так же, страницы могут находиться в этом статусе по причине низкого качества: пустые страницы или страницы с повторяющимся содержанием. Если количество “пока не проиндексированных” страниц не сокращается попробуйте уникализировать, добавить содержание или увеличить количество качественных внешних ссылок на свой сайт.
  4. Если вам нужно массово проверить индексацию
    страниц вашего сайта, воспользуйтесь онлайн инструментом https://indexchecking.com
  5. Хорошая идея проверить свой сайт с помощью инструментов https://en.ryte.com — это поможет вам понять какие страницы закрыты от индексации. А так же, обнаружить страницы на которых есть технические проблемы.

Проверяем не закрыта ли отдельная страница от индексации

Если перед вами появилась задача, проверить запрет индексации конкретной страницы проще всего использовать инструменты для вебмастеров. Скопируйте адрес страницы которую вы хотите проверить и вставьте в инструмент “Проверка URL на ресурсе”.

В результате проверки вы получите информацию о запретах индексации. Обратите внимание на информацию о запретах, статусе страницы и канонический адрес.

 

Как добавить новый сайт в индекс поисковиков?

Сообщите поисковой системе о своем сайте в специальном инструменте Google или Yandex. Поделитесь своим сайтом в социальной сети или создайте на него ссылку с другого, уже проиндексированного сайта.

Узнайте больше о работе поисковой системы

Что делать, если сайт плохо индексируется?

Прежде всего нужно проверить не закрыт ли сайт от индексации. Это можно сделать по инструкции в этой статье чуть выше. Основные способы улучшить индексацию:

  • Создайте карту сайта и загрузите в инструменты для вебмастеров.
  • Обновите старые страницы.
  • Удалите пустые страницы.
  • Поставьте дополнительные ссылки на сайт с сторонних сайтов и соц. сетей.

Как происходит индексация сайта

Для решения проблем нужно разобраться в процессе индексации подробнее. С технической точки зрения “индексацию сайта” правильнее рассматривать как два отдельных процесса:

  1. Сканирование страниц.
  2. Обработка страниц.

Этап 1: Сканирование

Сканирование или “обход” страниц — это основная задача, которую выполняет поисковой бот. Попадая на новую страницу, бот получает со страницы два набора данных:

  1. Содержание самой страницы, информацию о сервере и служебные данные. А именно: ответ сервера, html код страницы, файлы css стилей, скриптов, изображений.
  2. Перечень ссылок, которые находятся на странице.

Полученное содержание передается для дальнейшей обработки и сохранения в базу. Просканированные ссылки так же сохраняются в специальный список — “очередь сканирования”, для дальнейшей обработки.

Когда бот добавляет в очередь индексации страницу, которая уже есть в очереди, эта страница занимает более высокое место в списке и индексируется быстрее. А это значит, что первый способ ускорить сканирование сайта — увеличить количество ссылок на нужные страницы.

Создавая очередь сканирования, google bot, как и другие поисковые боты, изучает карту сайта sitemap и добавляет в очередь ссылки из этой карты.

Второй способ улучшить индексацию — создать карту сайта sitemap.xml и сообщить о ней поисковой системе. Карта сайта – самый простой способ отправить на индексацию все страницы в рамках нашего домена.

Есть несколько способов создать карту сайта:
  • Бесплатный онлайн инструмент для сайтов до 500 страниц www.xml-sitemaps.com.
  • Программа для сканирования сайта, с возможностью создания sitemap — xenu links.
  • Библиотека приложений для создания sitemap.
  • Самый популярный плагин для создания карты сайта для WordPress.

Чтобы Google узнал о вашем sitemap, нужно добавить ссылку на карту сайта в инструментах search console или файле robots.txt

Добавление карты сайта в Search Console:
  1. Зайдите в https://search.google.com/search-console/
  2. Добавьте свой сайт или выберите из списка.
  3. Перейдите в раздел Сканирование – Файлы Sitemap.
  4. Выберите “добавить файл sitemap”, вставьте ссылку и добавьте карту сайта.

Добавление sitemap в robots.txt:
  1. Зайдите в корневой каталог сайта через ftp.
  2. Откройте файл robots.txt
  3. Добавьте в конец файла строку “Sitemap: [адрес сайта]/sitemap.xml” и сохраните файл.

Третий способ ускорить индексацию — сообщить поисковому боту о дате последнего изменения страницы. Для получения даты и времени изменения страницы боты используют данные из заголовка ответа сервера lastmod. Сообщить наличие изменений на странице можно с помощью кода ответа not modify.

Инструмент проверки заголовка lastmod и ответа сервера not modify.

Наличие настроек lastmod и not modify позволяют поисковой системе быстро получить информацию о том, изменилась ли страница с даты последнего сканирования. Благодаря этому поисковой бот ставит в приоритет новые и измененные страницы, а новые страницы быстрее индексируются.

Для настройки lastmod и not modify вам нужно будет обратиться к веб разработчику.

Этап 2: Обработка данных

Перед тем как сохранить информацию в базу данных, она проходит обработку и структуризацию, которая необходима для ускорения дальнейшего поиска.

В первом шаге обработки программа-индексатор формирует страницу с учетом всех стилей, скриптов и эффектов. В этот момент программа-индексатор понимает расположение элементов на странице, определяет видимые и невидимые пользователю части, разделяет страницу на навигацию и содержание.

Важно чтобы google bot имел полный доступ к css и js файлам, ведь без них индексатор не сможет понять структуру страницы. Для проверки доступности всех служебных файлов зайдите в Google Search Console, отчет “Посмотреть как Googlebot” в разделе “Сканирование”. Проверьте с помощью этого инструмента основные страницы сайта, обратите внимание на различия между тем, как вашу страницу видит поисковой бот и как ее видит пользователи. Изучите таблицу из отчета. Все ресурсы, которые размещены на вашем домене, должны быть открыты для сканирования.

Сейчас Google использует алгоритм индексации, который называется Caffeine. Он был запущен в 2009 году. Основные задачи этого алгоритма:

  • Обработка современных страниц, использующих сложные js и css элементы.
  • Максимально быстрое сканирование всех страниц в Интернете.
Анализ текста при индексации

После разделения страницы на зоны и определения их важности, алгоритм выделяет из содержания основные элементы для дальнейших расчетов. Так одним из самых популярных показателей, которые поисковая система извлекает из страницы, является частота упоминания ключевого слова.

Стоит отметить, что перед расчетом частоты упоминания слова, индексатор проводит упрощение слов к элементарной форме. Этот процесс называется стеминг. Такое упрощение позволяет учитывать слово в разных словоформах как одно слово.

Частота упоминания (Term frecency, ТА) слова рассчитывается как отношение упоминания слова к общему количеству слов страницы. Пример: если на странице 100 слов и слово “машина” встречалось на ней 2 раза — частота упоминания слова “машина” будет равна TF=0,02

Самый простой поисковой индекс легко представить в виде огромной таблицы, в столбцах которой перечислены все слова языка, а в строках — адреса всех страниц. При этом в ячейках указаны частоты слов на соответствующих страницах.

Именно такая таблица позволяет поисковой системе быстро находить страницы, которые содержат нужные слова. Конечно современные поисковые системы учитывают не только частоту упоминания слов, но и более сложные факторы. Поисковой индекс Google значительно сложнее чем приведенный пример.

Анализируя содержание поисковая система проверяет уникальность страницы. Тексты и прочее содержание, которое уже было проиндексировано на других страницах, не несет ценности для системы, так как не добавляет в базу новой информации. А это значит, что страницы с низкой уникальностью могут быть не проиндексированы. Проверить уникальность достаточно просто с помощью бесплатных инструментов.
Старайтесь создавать максимально уникальный и полезный контент и он точно будет проиндексирован.

От чего зависит индексация сайта?

  1. Доступность сайта для индексации — если сканирование сайта запрещено поисковая система не сможет получить его страницы. Подробнее о инструментах управления индексацией: youtube.com Внутренняя оптимизация: robots.txt, sitemap
  2. Количество ссылок на ваш сайт — ссылки, это пути которые приводят поисковых роботов к вам на сайт. Чем больше ссылок с популярных ресурсов вы получаете, тем чаще будут сканироваться страницы вашего сайта.
  3. Частота обновления сайта. Поисковые системы всегда ищут новый интересный контент, чем чаще вы публикуете новое уникальное содержание, тем быстрее поисковая система будет его сканировать.
  4. Наличие сайта в инструментах поисковых систем. Видео в тему: Как зарегистрировать сайт в Google Search Console.

Подведем итоги

  • Индексация — это процесс сканирования и обработки содержания для хранения в базе данных поисковой системы.
  • Ускорить индексацию можно с помощью ссылок, карты сайта и настроек сервера.
    Чтобы поисковая система понимала ваши страницы, все ресурсы вашего сайта должны быть доступны поисковому боту.

Мы можем проверить и настроить индексацию вашего сайта за вас.

SEO аудит с рекомендациями за 10 дней.

Надеюсь у вас больше не возникнет вопрос: “Что такое индексация сайта”.

Артем Пилипець

Керівник відділу пошукової оптимізації SEO7. Ведучий Youtube каналу Школа SEO

Что такое индексация сайта и как её проверить — SEO на vc.ru

Чем бы вы ни занимались, интернет-магазином, корпоративным порталом или лендингом, сделать сайт — лишь полдела. Дальше начинается самое интересное — продвижение. Индексация в этом деле — первый шаг на пути к топу поисковой выдачи. Рассказываем о том, как она происходит, как её проверить и ускорить.

25 731 просмотров

Как работает индексация

Продвижение начинается с попадания страниц сайта в индекс поисковых систем (ПС). В эти базы данных Яндекс, Google и другие сервисы заносят информацию о содержимом страниц: использованных на них ключевых словах, размещённом на них контенте и другую информацию. Затем, когда пользователь обращается к ПС с запросом, сервис анализирует собранные данные и подбирает наиболее подходящие варианты ответа из списка проиндексированных страниц.

Как попасть в индекс поисковых систем

Чтобы ваш сайт проиндексировали, о нём нужно сообщить поисковикам. Это можно сделать несколькими способами.

1. С помощью инструментов поисковых систем. Почти у всех поисковиков есть собственные сервисы для веб-мастеров. У самых популярных из них на территории СНГ — Google и Яндекс — это Search Console и Яндекс.Вебмастер. В последнем даже есть специальный инструмент, позволяющий отправлять от 20 ссылок в день на страницы, которые нужно проиндексировать в приоритетном порядке.

Однако когда речь заходит не о нескольких десятках страниц, а об индексации сайта в целом, более эффективным решением будет добавить его в Яндекс и Google, а затем указать ссылку на карту сайта (файл Sitemap) в Search Console и Яндекс.Вебмастер. Тогда поисковики начнут самостоятельно и регулярно посещать ваш сайт и его новые страницы, чтобы затем добавить их в индекс. О том, как составить карту сайта вы можете узнать в руководстве Google. Что касается скорости попадания в выдачу, она зависит от многих факторов, но в среднем занимает одну—две недели.

2. С помощью ссылок с других сайтов. Быстро обратить внимание поисковых систем на вашу новую страницу можно, разместив ссылки на неё на других порталах. Если один из них будет новостным, скорее всего, страница быстро попадёт в выдачу, так как поисковики часто проверяют такие сайты и ссылки на них считают полезными. В некоторых случаях индексирование может занять меньше суток.

Попадёт ли страница в поисковую выдачу, зависит от её содержимого. Если с ней всё в порядке, робот проиндексирует её и в скором времени она появится в поисковой выдаче.

Как проверить индексацию сайта

Есть несколько способов узнать были ли проиндексированы нужные вам страницы.

1. С помощью Яндекс.Вебмастера и Search Console. В первом для этого есть специальный инструмент — «Проверить статус URL». Достаточно добавить в него ссылку на нужную страницу, и в течение двух минут (иногда — нескольких часов) вы узнаете о статусе страницы в ПС.

Чтобы проверить статус страницы в Search Console, нужно ввести ссылку на неё в поисковой строке, которая отображается в верхней части экрана. На открывшейся форме вы узнаете, была ли страница проиндексирована поисковиком.

2. С помощью команды «site». Если вы не хотите добавлять сайт в сервисы для веб-мастеров, вы можете проверить сразу все попавшие в индекс поисковиков страницы с помощью специальной команды. Для этого введите в поиск Яндекс или Google запрос вида «site:mysite.ru» (без кавычек), и вы увидите все страницы, попавшие в выдачу.

3. С помощью сервисов. Самый простой способ проверить индексацию определённых страниц — воспользоваться для этого сторонними сервисами. Например, Серпхант позволяет проверить индексацию сразу 50 страниц в Яндекс и Google. Введите ссылки на них в специальную форму (не забудьте про http:// или https://) и нажмите «Начать проверку». Иногда инструмент долго выдаёт результаты проверки по одной—двум позициям, но существенно на функциональность это не влияет.

Ещё один сервис — плагин RDS Bar для Chrome, Firefox и Opera — позволяет получить подробную информацию о любой открытой в браузере странице, в том числе и о том, проиндексирована ли она.

Как ускорить индексацию

Чем быстрее поисковые системы внесут страницу в индекс, тем быстрее на неё попадут посетители. Чтобы сократить время ожидания, следуйте следующим рекомендациям:

  • Обязательно добавьте сайт в ПС через сервисы для веб-мастеров.
  • В Search Console и Яндекс.Вебмастере укажите ссылки на файлы Sitemap и robots.txt.
  • Регулярно добавляйте на сайт новый уникальный контент.
  • Не забывайте перелинковывать страницы между собой.
  • Добавляйте ссылки на новые страницы в социальные сети и на другие сайты.

Как закрыть сайт от индексации

Не все страницы нравятся поисковым системам. Некоторым из них — например, служебным страницам и тем, которые пока что находятся в разработке, — не только нечего делать в выдаче, но и лучше вообще не попадаться на глаза поисковым роботам. Чтобы предотвратить попадание таких страниц в выдачу, лучше сразу запретить их индексацию. Сделать это также можно несколькими способами:

1. Использовать команду Disallow в файле robots.txt. В этом файле указываются правила для поисковых роботов: какие-то страницы в нём можно разрешить индексировать определённым ПС, а какие-то — запретить. Чтобы страница не попала в выдачу, используйте команду Disallow. Подробнее о работе с файлом robots.txt читайте в руководстве Яндекса.

2. Добавить тег noindex в HTML-код страницы. Наверное, самый простой способ, когда нужно запретить роботу индексацию конкретной страницы или страниц определённого типа. Чтобы воспользоваться им, достаточно добавить в раздел HTML-кода страницы директиву .

3. Использовать авторизацию. Некоторые страницы — например, личный кабинет и «черновики», находящиеся в разработке, — можно закрыть от роботов формой авторизации. Это самый надёжный способ, так как даже те страницы, индексация которых запрещена в robots.txt или директивой noindex, могут попасть в поисковую выдачу, если на них ведут ссылки с других страниц.

что это, как настроить и ускорить индексирование в поисковых системах

Как только вы создадите сайт для своего бизнеса, однозначно столкнетесь с понятием «индексация в поисковых системах». В статье постараемся как можно проще рассказать, что это такое, зачем нужно и как сделать, чтобы индексация проходила быстро и успешно.

Что такое индексация в поисковых системах

Под индексацией понимают добавление информации о сайте или странице в базу данных поисковой системы. Фактически поисковую базу можно сравнить с библиотечным каталогом, куда внесены данные о книгах. Только вместо книг здесь веб-страницы.

Если совсем просто, индексация — процесс сбора данных о сайте. Пока информация о новой странице не окажется в базе, ее не будут показывать по запросам пользователей. Это означает, что ваш сайт никто не увидит.

Индексация сайта — базовая часть работы по продвижению ресурса. Только потом уже добавляются все остальные элементы по оптимизации сайта. Если у веб-страницы будут проблемы с индексированием, ваш бизнес не получит клиентов с сайта и понесет убытки.

Как проходит процесс индексации

Давайте посмотрим, как происходит индексирование страниц сайта.

  1. Поисковый робот (краулер) обходит ресурсы и находит новую страницу.
  2. Данные анализируются: происходит очистка контента от ненужной информации, заодно формируется список лексем. Лексема — совокупность всех значений и грамматических форм слова в русском языке.
  3. Вся собранная информация упорядочивается, лексемы расставляются по алфавиту. Заодно происходит обработка данных, поисковая машина относит информацию к определенным тематикам.
  4. Формируется индексная запись.

Это стандартный процесс индексации документов для поисковых систем. При этом у «Яндекса» и Google существуют небольшие отличия в технических моментах, про это мы расскажем дальше.

Читайте также:

Отличия SEO под Яндекс и Google

Технологии и алгоритмы индексации

Сразу стоит оговориться, что точные алгоритмы индексирования — закрытая коммерческая информация. Поисковые системы тщательно охраняют эти данные. Поэтому в этом разделе расскажем про алгоритмы только в общих чертах

Вначале нужно отметить: «Яндекс» при индексации ориентируется в основном на файл robots.txt, а Google на файл sitemap.xml.

Google

Основным отличием является использование технологии Mobile-first. Она подразумевает первоочередное сканирование и индексацию мобильной версии сайта. В индексе сохраняется именно мобильная версия. Получается, что если ваша страница при показе на мобильных устройствах будет содержать недостаточно нужной информации или в целом проигрывать основной версии сайта по качеству. Так, что она может даже не попасть в индекс.

Также Google подтверждает наличие «краулингового бюджета» — регулярности и объема посещения сайта роботом. Чем больше краулинговый бюджет, тем быстрее новые страницы будут попадать в индекс. К сожалению, точных данных о способах расчета этого показателя представители компании не раскрывают. По наблюдениям специалистов, тут оказывают сильное влияние возраст сайта и частота обновлений.

«Яндекс»

В «Яндексе» основной версией считается десктопная версия сайта, поэтому в первую очередь сканируется именно она. Официально краулингового бюджета здесь нет, поэтому индексирование происходит вне зависимости от траста и других показателей вашего ресурса. Еще может влиять количество выложенных в сеть на данный момент страниц. Речь про страницы, которые конкуренты и другие пользователи выкладывают одновременно с вами.

Приоритет при индексации имеют сайты с большой посещаемостью. Чем выше посещаемость, тем быстрее новая страница окажется в поисковой выдаче.

Также Яндекс не индексирует документы с весом более 10 Мб. Учитывайте это при создании страниц сайта. Советуем также почитать кейс: Продвижение сайта REG.RU за процент от продаж.

Заказать продвижение сейчас

Сайт

Телефон

Как настроить индексацию сайта

В целом сайт должен индексироваться самостоятельно, даже если вы не будете ничего предпринимать для этого. Но если вы разберетесь с настройкой, то получите быструю и надежную индексацию и в случае возникновения проблем с сайтом будете понимать, в чем причина.

Первое, что стоит сделать, — создать файл robots.txt. У большей части систем управления сайтом (CMS) есть автоматизированные решения для его генерации. Но нужно как минимум понимать, какие директивы используются в этом файле. На скриншоте показан стандартный документ для сайта на WordPress:

Типовой файл robots.txt сайта на WordPress

Обратите внимание, что здесь нет директивы host: она не используется «Яндексом» с 2018 года, а Google никогда ее и не замечал. Но при этом до сих пор встречаются рекомендации по использованию этой директивы, и многие по инерции вставляют ее в файл.

В таблице ниже указаны основные параметры, используемые в robots.txt:

Директива Зачем используется
User-agent:
Показывает поискового робота, для которого установлены правила
Disallow: Запрещает индексацию страниц
sitemap: Показывает путь к файлу sitemap. xml
Clean-param: Указывает на страницы, где часть ссылок не нужно учитывать, например UTM-метки
Allow: Разрешает индексацию документа
Crawl-delay: Указывает поисковому роботу минимальное время ожидания между посещением предыдущей и следующей страницы сайта

Рассмотрим более подробно код на следующем скриншоте. User-agent показывает, что директивы предназначены для «Яндекса». А директива Disallow показывает, какие страницы не должны попасть в индекс. Это технические документы, в частности админ-панель сайта и плагины.

Фрагмент кода robots.txt

Более подробно о том, каким должен быть robots.txt для сайта, можно прочитать в справке сервиса «Яндекс. Вебмастер».

Далее делаем файл sitemap.xml: фактически это карта сайта, созданная в формате xml. Сделано это для упрощения считывания данных поисковыми роботами. В файл вносятся все страницы, которые должны быть проиндексированы.

Для правильной индексации файл не должен превышать 50 Мб или 50000 записей. Если нужно проиндексировать больше адресов, делают несколько файлов, которые в свою очередь перечисляются в файле с индексом sitemap.

На практике сайты, работающие с бизнесом, редко имеют потребность в подобном решении — просто имейте в виду такую особенность.

На скриншоте показан фрагмент кода sitemap.xml, сгенерированный одним из плагинов WordPress:

Так выглядит файл sitemap.xml «изнутри»

Остается разобраться, как создать файл sitemap.xml. Решение зависит от CMS вашего сайта. Если он сделан не на популярном «движке», придется делать все руками. Можно воспользоваться онлайн-генератором: например, mySitemapgenerator. Вводим адрес сайта и через короткое время получаем готовый файл.

Для сайтов на CMS WordPress сделать такую карту сайта еще проще. У вас все равно уже установлен один из плагинов для SEO-оптимизации ресурса. Заходим в настройки плагина и включаем генерацию sitemap.xml. На скриншоте показан пример включения карты сайта через плагин AIOSEO:

Плагин для настройки sitemap.xml в WP

Чтобы сайт максимально быстро индексировался, следует обеспечить перелинковку. Тогда поисковый робот без проблем будет переходить по страницам и своевременно найдет новый документ.

Далее необходимо выполнить настройку индексирования в «Яндекс.Вебмастер» и Google Search Console.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Как ускорить индексацию сайта

В начале статьи мы рассказывали, как настроить индексирование. Теперь поговорим о том, как ускорить это процесс. В целом современные поисковые роботы довольно быстро собирают информацию о ресурсе: по моим наблюдениям, новые страницы появляются в индексе уже через 20–40 минут. Но так бывает не всегда, потому что может произойти сбой или еще какая-то нештатная ситуация, и страница будет индексироваться очень долго.

Появление адреса в списке проиндексированных страниц «Яндекс.Вебмастера» не совпадает с моментом индексации. На практике URL оказывается в индексе намного раньше, а в кабинете только при очередном апдейте.

При этом есть ситуации, когда индексирование нужно ускорить:

  • Сайт выходит из-под фильтров.
  • Молодой ресурс обладает небольшим краулинговым бюджетом.

В обоих случаях рекомендуется подтолкнуть поисковых роботов. Отметим, что для «Яндекса» и Google подход будет разным.

Начнем с отечественной поисковой системы. Заходим в «Яндекс.Вебмастер» и в меню слева, во вкладке «Индексирование», находим ссылку «Переобход страниц». Переходим по ней:

Яндекс.Вебмастер — подраздел «Переобход страниц» в меню «Индексирование»

На следующей вкладке вводим URL новой страницы, после чего жмем кнопку «Отправить». Отследить статус заявки можно в расположенном ниже списке:

Процесс отправки страниц сайта на переобход

Так можно поступать не только с новыми страницами, но и в случае изменения уже имеющихся на сайте. Только помните, что количество отправок в сутки ограничено, причем все зависит от возраста и траста сайта.

В самом «Вебмастере» предлагается для ускорения индексирования подключать переобход по счетчику «Яндекс.Метрики». Это не самое лучшее решение. Дело в том, что поисковый робот может ходить по всем страницам — даже тем, которые не нужно индексировать, причем в приоритете будут наиболее посещаемые документы. Может получиться ситуация, когда старые страницы робот обошел, а новые не заметил. Или вообще в поиск попадут технические страницы: например, страница авторизации или корзина интернет-магазина.

У Google ускорение индексации состоит из двух этапов. Сначала идем в Search Console, где на главной странице вверху находится поле «Проверка всех URL». В него вставляем адрес страницы, которую нужно проиндексировать. Далее нажимаем на клавиатуре «Enter».

Поле для ввода URL страницы, которую мы хотим добавить для индексирования

Ждем около минуты. Сервис нам будет показывать вот такое окно:

Всплывающее окно в Search Console о получении данных из индекса

Следующая страница выглядит вот так:

Как видите написано, что URL отсутствует в индексе, поэтому нажимаем на кнопку «Запросить индексирование»

Некоторое время поисковая машина будет проверять, есть ли возможность проиндексировать адрес:

Техническое окно с сообщением о проверке

Если все прошло успешно, Google сообщает, что страница отправлена на индексирование. Остается только дождаться результатов.

Сообщение об отправке запроса. Обратите внимание, что не стоит повторно отправлять на индексацию один и тот же URL

При отправке на индексирование страниц сайта, следует помнить, что Google до сих пор очень ценит ссылки. Поэтому, существует альтернативный способ ускорения индексации — Twitter.

Сразу после публикации страницы идем в Twitter и делаем твит с нужным адресом. Буквально через полчаса URL будет уже в индексе Google.

Лучше всего использовать эти обе способа совместно. Так будет надежнее.

Читайте также:

Внешняя оптимизация сайта: как продвигать сайт с помощью сторонних ресурсов

Как запретить индексацию страниц

В некоторых случаях может потребоваться не проиндексировать, а наоборот запретить индексацию. К примеру, вы только создаете страницу и на ней нет нужной информации, или вообще сайт в разработке и все страницы — тестовые и недоработанные.

Существует несколько способов, чтобы «спрятать» страницу от поисковых роботов. Рассмотрим наиболее удобные варианты.

Способ первый

Если вам нужно скрыть всего один документ, можно добавить в код страницы метатег Noindex. Эта команда дает поисковому роботу команду не индексировать документ. Размещают его между тегами <head>. Вот код, который нужно разместить:

<meta name=»robots» content=»noindex» />

Большая часть CMS позволяют использовать этот метод в один клик, предлагая готовые решения. У WordPress, например, для этого имеется отдельная строчка в настройках редактора, а в «1С-Битрикс» путем настроек раздела и конкретной страницы.

Способ второй

Заключается в редактировании файла robots.txt. Разберем несколько примеров закрытия страниц от индексирования.

Начнем с полного закрытия сайта от индексирования. На скриншоте код, который выполняет эту задачу: звездочка говорит, что правило работает для всех поисковых роботов. Косая черта (слеш) показывает, что директива Disallow относится ко всему сайту.

Полное закрытие сайта от индексирования

Если нам нужно закрыть ресурс от индексирования в конкретной поисковой системе, указываем название ее краулера. На скриншоте показано закрытие от робота «Яндекса».

Закрываем сайт от индексации «Яндексом»

Когда нужно избежать индексирования конкретной страницы, после слеша указываем параметры пути к документу. Пример показан на скриншоте:

Закрытие одной страницы в Robots.txt

Для Google все перечисленные способы работают аналогично. С разницей лишь в том, что если страницу или целый сайт нужно скрыть конкретно от этой поисковой системы, в User-agent указывают атрибут Googlebot.

Закрытие страниц от индексации используется довольно часто. В процессе развития своего веб-ресурса вам часто придется делать новые страницы, или переделывать имеющиеся. Чтобы избежать попадания в поисковую выдачу не готовых к показу страниц, имеет смысл закрывать их от индексации.

Присоединяйтесь к нашему Telegram-каналу!

  • Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
  • Для этого вам необходимо подписаться на наш канал.

Распространенные ошибки индексации

Чаще всего проблемы возникают из-за случайного закрытия сайта от индексирования. У меня был случай, когда клиент при самостоятельном обновлении плагинов как-то внес изменения в файл robots.txt, и сайт исчез из поисковой выдачи. Поэтому при всех действиях, которые связаны с этим файлом, обязательно проверяйте, нет ли изменений в директивах.

Для проверки можно использовать инструмент Яндекс.Вебмастер «Анализ robots.txt».

Анализатор robots.txt — бесплатный и полезный инструмент проверки файла на корректность записанных директив

В некоторых случаях могут индексироваться технические страницы. К примеру, на WordPress при размещении изображений в виде медиафайла поисковый робот может индексировать каждую картинку в качестве отдельной страницы. В таком случае делаем редирект с этой страницы на тот документ, где изображение будет выводиться.

Читайте также:

Как сделать редирект — подробное руководство по настройке и использованию

Иногда встречаются проблемы с индексированием из-за неполадок на сервере или хостинге, но это уже нужно решать с администратором сервера, что выходит за рамки этой статьи.

Медленное индексирование может быть следствием наложения фильтров со стороны поисковых систем. Посмотрите, нет ли предупреждений в сервисах для вебмастеров: если они есть, устраните проблемы.

Как проверить индексацию сайта

Проверить индексацию сайта можно несколькими способами. Самым простой — в поисковой строке браузера набрать адрес сайта с оператором «site» или «url». Выглядит это вот так: «site: kokoc.com». На скриншоте показан запрос с проиндексированной страницей.

Проверка индексирования в поисковой системе

Если страница еще не вошла в индекс, вы увидите вот такую картину. Проверка в Google производится аналогично.

Страница не проиндексирована

Также можно посмотреть статус документа в «Яндекс.Вебмастер». Для этого находим в меню «Индексирование» и переходим на «Страницы в поиске».

Меню «Яндекс.Вебмастер»

Внизу страницы будут три вкладки. Нас интересуют «Все страницы», там можно увидеть статус документа, последнее посещение и заголовок.

Проиндексированные страницы

Обязательно посмотрите вкладку «Исключенные страницы». Тут вы увидите, какие документы оказались вне поискового индекса. Также указана причина исключения.

Исключенные страницы

При любых сложностях с индексированием в первую очередь следует смотреть конфигурационные файлы robots.txt и sitemap.xml. Если там все в порядке, проверяем, нет ли фильтров, и в последнюю очередь обращаемся к администратору хостинга.

Выводы

Индексация страниц сайта сейчас происходит в самые короткие сроки. При правильной настройке документы могут попадать в индекс поиска уже через полчаса после размещения.

Настройка сводится к созданию правильных конфигурационных файлов и созданию удобных условий для поискового робота для перехода по страницам сайта. Вот какие шаги нужно сделать для правильной индексации:

  1. Создаем и настраиваем файл robots.txt.
  2. Генерируем файл sitemap.xml.
  3. Регистрируем сайт в сервисах Google Search Console и «Яндекс. Вебмастер».
  4. Каждый раз после размещения статьи или новой страницы отправляем URL на проверку.
  5. Используем дополнительные инструменты: размещение ссылок в Twitter и на других трастовых ресурсах.

После этого вероятность возникновения каких-либо проблем с индексированием будет стремиться к нулю. Теперь нужно наращивать позиции в топе — но это уже совсем другая история…

Продвижение сайта в ТОП-10

  • Оплата по дням нахождения в ТОП
  • Подбираем запросы, которые приводят реальных покупателей!

Индексация сайта и ее основные принципы

12 мин — время чтения

Фев 18, 2020

Поделиться

Когда-нибудь задумывались, как сайты попадают в выдачу поисковых систем? И как поисковикам удается выдавать нам тонны информации за считанные секунды?

Секрет такой молниеносной работы — в поисковом индексе. Его можно сравнить с огромным и идеально упорядоченным каталогом-архивом всех веб-страниц. Попадание в индекс означает, что поисковик вашу страницу увидел, оценил и запомнил. А, значит, он может показывать ее в результатах поиска.

Предлагаю разобраться в процессе индексации с нуля, чтобы понимать, как сайты попадают в выдачу, можно ли управлять этим процессом и что нужно знать про индексирование ресурсов с различными технологиями. 

Что такое сканирование и индексация?

Сканирование страниц сайта — это процесс, когда поисковая система отправляет свои специальные программы (мы знаем их как поисковых роботов, краулеров, спайдеров, пауков) для сбора данных с новых и измененных страниц сайтов. 

Индексация страниц сайта — это сканирование, считывание данных и добавление их в индекс (каталог) поисковыми роботами. Поисковик использует полученную информацию, чтобы узнать, о чем же ваш сайт и что находится на его страницах. После этого он может определить ключевые слова для каждой просканированной страницы и сохранить их копии в поисковом индексе. Для каждой страницы он хранит URL и информацию о контенте. 

В результате, когда пользователи вводят поисковый запрос в интернете, поисковик быстро просматривает свой список просканированных сайтов и показывает только релевантные страницы в выдаче. Как библиотекарь, который ищет нужные вам книги в каталоге — по алфавиту, тематике и точному названию.

Индексация сайтов в разных поисковых системах отличается парой важных нюансов. Давайте разбираться, в чем же разница. 

Индексация сайта в Google

Когда мы гуглим что-то, поиск данных ведется не по сайтам в режиме реального времени, а по индексу Google, в котором хранятся сотни миллиардов страниц. Во время поиска учитываются разные факторы ― ваше местоположение, язык, тип устройства и т. д. 

В 2019 году Google изменил свой основной принцип индексирования сайта — вы наверняка слышали о запуске Mobile-first. Основное отличие нового способа в том, что теперь поисковик хранит в индексе мобильную версию страниц. Раньше в первую очередь учитывалась десктопная версия, а теперь первым на ваш сайт приходит робот Googlebot для смартфонов — особенно, если сайт новый. Все остальные сайты постепенно переходят на новый способ индексирования, о чем владельцы узнают в Google Search Console.

Еще несколько основных отличий индексации в Google:

  • индекс обновляется постоянно;
  • процесс индексирования сайта занимает от нескольких минут до недели;
  • некачественные страницы обычно понижаются в рейтинге, но не удаляются из индекса.

В индекс попадают все просканированные страницы, а вот в выдачу по запросу — только самые качественные. Прежде чем показать пользователю какую-то веб-страницу по запросу, поисковик проверяет ее релевантность по более чем 200 критериям (факторам ранжирования) и отбирает самые подходящие. 

Что поисковые роботы делают на вашем сайте, мы разобрались, а вот как они попадают туда? Существует несколько вариантов.

Как поисковые роботы узнают о вашем сайте

Если это новый ресурс, который до этого не индексировался, нужно «представить» его поисковикам. Получив приглашение от вашего ресурса, поисковые системы отправят на сайт своих краулеров для сбора данных.

Вы можете пригласить поисковых ботов на сайт, если разместите на него ссылку на стороннем интернет-ресурсе. Но учтите: чтобы поисковики обнаружили ваш сайт, они должны просканировать страницу, на которой размещена эта ссылка. Этот способ работает для обоих поисковиков.

Также можно воспользоваться одним из перечисленных ниже вариантов:

  • Создайте файл Sitemap, добавьте на него ссылку в robots.txt и отправьте файл Sitemap в Google.
  • Отправьте запрос на индексацию страницы с изменениями в Search Console. 

Каждый сеошник мечтает, чтобы его сайт быстрее проиндексировали, охватив как можно больше страниц. Но повлиять на это не в силах никто, даже лучший друг, который работает в Google. 

Скорость сканирования и индексации зависит от многих факторов, включая количество страниц на сайте, скорость работы самого сайта, настройки в веб-мастере и краулинговый бюджет. Если кратко, краулинговый бюджет — это количество URL вашего сайта, которые поисковый робот хочет и может просканировать.

На что же мы все-таки можем повлиять в процессе индексации? На план обхода поисковыми роботами нашего сайта. 

Как управлять поисковым роботом

Поисковая система скачивает информацию с сайта, учитывая robots.txt и sitemap. И именно там вы можете порекомендовать поисковику, что и как скачивать или не скачивать на вашем сайте.

Файл robots.txt

Это обычный текстовый файл, в котором указаны основные сведения — например, к каким поисковым роботам мы обращаемся (User-agent) и что запрещаем сканировать (Disallow).

Указания в robots.txt помогают поисковым роботам сориентироваться и не тратить свои ресурсы на сканирование маловажных страниц (например, системных файлов, страниц авторизации, содержимого корзины и т. д.). Например, строка Disallow:/admin запретит поисковым роботам просматривать страницы, URL которых начинается со слова admin, а Disallow:/*. pdf$ закроет им доступ к PDF-файлам на сайте.

Также в robots.txt стоит обязательно указать адрес карты сайта, чтобы указать поисковым роботам ее местоположение.

Чтобы проверить корректность robots.txt, воспользуйтесь отдельным инструментом в Google Search Console.

Файл Sitemap

Еще один файл, который поможет вам оптимизировать процесс сканирования сайта поисковыми роботами ― это карта сайта (Sitemap). В ней указывают, как организован контент на сайте, какие страницы подлежат индексации и как часто информация на них обновляется. 

Если на вашем сайте несколько страниц, поисковик наверняка обнаружит их сам. Но когда у сайта миллионы страниц, ему приходится выбирать, какие из них сканировать и как часто. И тогда карта сайта помогает в их приоритезации среди прочих других факторов. 

Также сайты, для которых очень важен мультимедийный или новостной контент, могут улучшить процесс индексации благодаря созданию отдельных карт сайта для каждого типа контента. Отдельные карты для видео также могут сообщить поисковикам о продолжительности видеоряда, типе файла и условиях лицензирования. Карты для  изображений ― что изображено, какой тип файла и т. д. Для новостей ― дату публикации. название статьи и издания. 

Чтобы ни одна важная страница вашего сайта не осталась без внимания поискового робота, в игру вступают навигация в меню, «хлебные крошки», внутренняя перелинковка. Но если у вас есть страница, на которую не ведут ни внешние, ни внутренние ссылки, то обнаружить ее поможет именно карта сайта. 

А еще в Sitemap можно указать:

  • частоту обновления конкретной страницы — тегом <changefreq>;
  • каноническую версию страницы ― атрибутом rel=canonical;
  • версии страниц на других языках ― атрибутом hreflang.

Карта сайта также здорово помогает разобраться, почему возникают сложности при индексации вашего сайта. Например, если сайт очень большой, то там создается много карт сайта с разбивкой по категориям или типам страниц. И тогда в консоли легче понять, какие именно страницы не индексируются и дальше разбираться уже с ними. 

Проверить правильность файла Sitemap можно в Google Search Console вашего сайта в разделе «Файлы Sitemap». 

Итак, ваш сайт отправлен на индексацию, robots.txt и sitemap проверены, пора узнать, как прошло индексирование сайта и что поисковая система нашла на ресурсе. 

Как проверить индексацию сайта 

Проверка индексации сайта осуществляется несколькими способами:

1. Через оператор site: в Google. Этот оператор не дает исчерпывающий список страниц, но даст общее понимание о том, какие страницы в индексе. Выдает результаты по основному домену и поддоменам.

2. Через Google Search Console. В консоли вашего сайта есть детальная информация по всем страницам ― какие из них проиндексированы, какие нет и почему. 

3. Воспользоваться плагинами для браузера типа RDS Bar или специальными инструментами для проверки индексации. Например, узнать, какие страницы вашего сайта попали в индекс поисковика можно в инструменте «Проверка индексации» SE Ranking.

Для этого достаточно ввести нужную вам поисковую систему (Google, Yahoo, Bing), добавить список урлов сайта и начать проверку. Чтобы протестировать работу инструмента «Проверка индексации», зарегистрируйтесь на платформе SE Ranking и откройте тул в разделе «Инструменты».   

В этом месте вы можете поднять руку и спросить «А что, если у меня сайт на AJAX? Он попадет в индекс?». Отвечаем 🙂  

Особенности индексирования сайтов с разными технологиями

Ajax

Сегодня все чаще встречаются JS-сайты с динамическим контентом ― они быстро загружаются и удобны для пользователей. Одно из основных отличий таких сайтов на AJAX — все содержимое подгружается одним сплошным скриптом, без разделения на страницы с URL. Вместо этого ― страницы с хештегом #, которые не индексируются поисковиками. Как следствие — вместо URL типа https://mywebsite. ru/#example поисковый робот обращается к https://mywebsite.ru/. И так для каждого найденного URL с #. 

В этом и кроется сложность для поисковых роботов, потому что они просто не могут «считать» весь контент сайта. Для поисковиков хороший сайт ― это текст, который они могут просканировать, а не интерактивное веб-приложение, которое игнорирует природу привычных нам веб-страниц с URL. 

Буквально пять лет назад сеошники могли только мечтать  о том, чтобы продвинуть такой сайт в поиске. Но все меняется. Уже сейчас в справочной информации Google есть данные о том, что нужно для индексации AJAX-сайтов и как избежать ошибок в этом процессе. 

Сайты на AJAX с 2019 года рендерятся Google напрямую — это значит, что поисковые роботы сканируют и обрабатывают #! URL как есть, имитируя поведение человека. Поэтому вебмастерам больше не нужно прописывать HTML-версию страницы. 

Но здесь важно проверить, не закрыты ли скрипты со стилями в вашем robots. txt. Если они закрыты, обязательно откройте их для индексирования поисковыми роботам. Для этого в robots.txt нужно добавить такие команды:

User-agent: Googlebot
Allow: /*.js
Allow: /*.css
Allow: /*.jpg
Allow: /*.gif
Allow: /*.png

Флеш-контент

С помощью технологии Flash, которая принадлежит компании Adobe, на страницах сайта можно создавать интерактивный контент с анимацией и звуком. За 20 лет своего развития у технологии было выявлено массу недостатков, включая большую нагрузку на процессор, ошибки в работе флеш-плеера и ошибки в индексировании контента поисковиками.

В 2019 году Google перестал индексировать флеш-контент, ознаменовав тем самым конец целой эпохи.

Поэтому не удивительно, что поисковик предлагает не использовать Flash на ваших сайтах. Если же дизайн сайта выполнен с применением этой технологии, сделайте и текстовую версию сайта. Она будет полезна как пользователям, у которых не установлена совсем или установлена устаревшая программа отображения Flash и пользователям мобильных устройств (они не отображают flash-контент).  

Фреймы 

Фрейм это HTML-документ, который не содержит собственного контента, а состоит из разных областей ― каждая с отдельной веб-страницей. Также у него отсутствует элемент BODY. 

Как результат, поисковым роботам просто негде искать полезный контент для сканирования. Страницы с фреймами индексируются очень медленно и с ошибками. 

Вот что известно от самого поисковика: Google может индексировать контент внутри встроенного фрейма iframe. Именно iframe поддерживается современными технологиями, так как он позволяет встраивать фреймы на страницы без применения тега <iframe>.

А вот теги <frame>, <noframes>, <frameset> устарели и уже не поддерживаются в HTML5, поэтому и не рекомендуется использовать их на сайтах. Ведь даже если страницы с фреймами будут проиндексированы, то трудностей в их продвижении вам все равно не избежать. 

Что в итоге

Поисковые системы готовы проиндексировать столько страниц вашего сайта, сколько нужно. Только подумайте, объем индекса Google значительно превышает 100 млн гигабайт ― это сотни миллиардов проиндексированных страниц, количество которых растет с каждым днем. 

Но зачастую именно от вас зависит успех этого мероприятия. Понимая принципы индексации поисковых систем, вы не навредите своему сайту неправильными настройками. Если вы все правильно указали в robots.txt и карте сайта, учли технические требования поисковиков и позаботились о наличии качественного и полезного контента, поисковики не оставят ваш сайт без внимания. 

Помните, что индексирование ― это не о том, попадет ваш сайт в выдачу или нет. Намного важнее ― сколько и каких страниц окажутся в индексе, какой контент на них будет просканирован и как он будет ранжироваться в поиске. И здесь ход за вами! 

412 views

как краулер сканирует сайт и методы улучшения индексирования – Блог iSEO

В этой статье вы узнаете, что такое индексация сайтов, как индексируют сайты Google и Яндекс, как можно ускорить индексацию вашего сайта и какие проблемы встречаются чаще всего.

Кому полезна статья?

Начинающим SEO-специалистам и маркетологам, веб-разработчикам и владельцам сайтов, желающим разобраться в принципах индексирования и методиках его улучшения.

Оглавление

  • Индексирование сайта — что это и для чего необходимо?
  • Сканирование и индексация сайта — как протекает процесс?
  • Наиболее популярные ошибки
    • Сайт или страницы закрыты в robots.txt
    • Бот не получает код ответа 200
    • Бот не может получить код страницы
    • Страницы закрыты метатегом robots или заголовком X-Robots-Tag
  • Как управлять сканированием и индексацией?
    • Файл robots.txt
    • Метатег robots
    • HTTP-заголовок X-Robots-Tag
    • Тег и HTTP-заголовок canonical
    • HTTP-код ответа сервера, отличный от 200
    • Удаление страниц в Яндекс.Вебмастере и Google Search Console
    • Как отправлять страницы на индексацию/переиндексацию?
  • Как улучшить сканирование и индексацию?
    • Используйте XML-карту сайта
    • Оптимизируйте перелинковку
    • Внедрите поддержку IndexNow и Google Indexing API
    • Анонсируйте новый контент в социальных сетях
  • Выводы

Индексирование сайта — что это и для чего необходимо?

Прежде чем касаться вопроса индексации, необходимо вспомнить о целях любой поисковой системы. Главная задача поиска — ответ на запрос пользователя. Чем точнее и качественнее он будет, тем чаще пользователи будут пользоваться поисковиком.

Поисковая система ищет подходящую информацию в своей базе данных, куда сайты попадают после их индексирования, а значит, только корректное индексирование может обеспечить попадание в выдачу.

Процесс можно разделить на 3 этапа:

Из схемы можно увидеть, что процесс сканирования и индексирования — это база для ранжирования любого сайта. Если возникают существенные проблемы на любом из указанных этапов, то можно забыть о высоких позициях, росте трафика и лидов. Рассмотрим эти этапы детальнее.

Сканирование и индексация сайта — как протекает процесс?

Сканирование сайта (или crawling) — процесс, при котором поисковые роботы обходят сайт и загружают страницы с целью определения внутренних ссылок и контента.

Источники, из которых поисковые системы могут узнавать о новых страницах на сайте:

  • Из XML-карт сайта — ссылки на них, как правило, есть в robots. txt.
  • Из данных счетчиков — Яндекс.Метрика, Google Analytics.
  • Из данных браузеров — Яндекс.Браузер, Google Chrome.
  • Из сервисов для веб-мастеров — отправка на переобход в Яндекс.Вебмастере, запрос на индексацию URL в Google Search Console.
  • Из RSS-фида — XML-файл в специальном формате.
  • По протоколу IndexNow.

Уже просканированные страницы сайтов боты поисковых систем периодически переобходят для выявления изменений, способных повлиять на их ранжирование.

Алгоритм сканирования сайтов следующий:

После сканирования поисковые роботы добавляют страницы в поисковый индекс. Сама по себе индексация представляет собой процесс, при котором поисковые системы упорядочивают информацию перед поиском, чтобы обеспечить максимально быстрый ответ пользователю на запрос.

Каждый из этапов сканирования важно контролировать, так как любые ошибки могут критически влиять на индексацию страниц.

Наиболее популярные ошибки

При работе с сайтом каждый оптимизатор или маркетолог сталкивались с проблемами индексирования сайтов. Далее разберем примеры самых частых проблем.

Сайт или страницы закрыты в robots.txt

Наиболее популярная проблема, встречающаяся у всех типов сайтов.

Файл robots.txt — это текстовый документ, содержащий разрешающие и запрещающие директивы для ботов поисковых систем.

Если ваш robots.txt содержит строку «Disallow: /», это повод проверить, видит ли ваш сайт поисковый бот. Сделать это можно с помощью инструмента https://webmaster.yandex.ru/tools/robotstxt/.

Бот не получает код ответа 200

Вторая наиболее часто встречающаяся проблема индексирования — наличие кодов ответа 4XX или 5XX.

Примеры ошибок:

Код ответа Ошибка Описание
400 Неверный запрос / Bad Request Запрос не может быть понят сервером из-за некорректного синтаксиса.
401 Неавторизованный запрос / Unauthorized Для доступа к документу необходимо вводить пароль или быть зарегистрированным пользователем.
402 Необходима оплата за запрос / Payment Required Внутренняя ошибка или ошибка конфигурации сервера.
403 Доступ к ресурсу запрещен / Forbidden Доступ к документу запрещен. Если вы хотите, чтобы страница индексировалась, необходимо разрешить доступ к ней.
404 Ресурс не найден / Not Found Документ не существует.
405 Недопустимый метод / Method Not Allowed Метод, определенный в строке запроса (Request-Line), не дозволено применять для указанного ресурса, поэтому робот не смог его проиндексировать.
406 Неприемлемый запрос / Not Acceptable Нужный документ существует, но не в том формате (язык или кодировка не поддерживаются роботом).
407 Требуется идентификация прокси, файервола / Proxy Authentication Required Необходима регистрация на прокси-сервере.
408 Время запроса истекло / Request Timeout Робот не передал полный запрос в течение установленного времени, и сервер разорвал соединение.
410 Ресурс недоступен / Gone Затребованный ресурс был окончательно удален с сайта.
500 Внутренняя ошибка сервера / Internal Server Error Сервер столкнулся с непредвиденным условием, которое не позволяет ему выполнить запрос.
501 Метод не поддерживается / Not Implemented Сервер не поддерживает функциональные возможности, требуемые для выполнения запроса.
502 Ошибка шлюза / Bad Gateway Сервер, действуя в качестве шлюза или прокси-сервера, получил недопустимый ответ от следующего сервера в цепочке запросов, к которому обратился при попытке выполнить запрос.
503 Служба недоступна / Service Unavailable Возникла ошибка из-за временной перегрузки или отключения сервера.
504 Время прохождения через межсетевой шлюз истекло / Gateway Timeout Сервер при работе в качестве внешнего шлюза или прокси-сервера своевременно не получил отклик от вышестоящего сервера.

Наличие HTTP-кодов ответа сервера, отличных от 200, может стать серьезной проблемой на пути сканирования и индексации сайта.

Проверить ответ сервера вы можете с помощью внутренних инструментов поисковых систем: https://webmaster.yandex.ru/tools/server-response/ и https://search.google.com/search-console/. Или с помощью внешних сервисов, например https://bertal.ru/.

Бот не может получить код страницы

Главное для поисковика — наличие исходного HTML-кода, который он сможет прочесть. С развитием JavaScript технологий сайты стали функциональнее и быстрее, однако из-за фреймворков может происходить их некорректная индексация и снижение трафика.

Основная проблема JS-фреймворков в том, что они развиваются быстрее поисковых систем. Особенно это было заметно в Яндексе, где у сайтов на JavaScript часто возникали проблемы с индексированием контента (но есть надежда, что в ближайшем будущем ситуация изменится).

Да и у Google процесс сканирования и индексирования JS-сайтов несколько отличается от обработки классического HTML. В процесс индексирования включается этап «отрисовки» (rendering), увеличивающий время индексирования:

Поскольку рендеринг требует гораздо больше вычислительных ресурсов, чем разбор HTML, то возникают следующие проблемы:

  • Этап рендеринга может длиться значительно дольше, чем индексация HTML-страницы. Он может занять несколько недель.
  • Не все страницы сайта в принципе могут дойти до этапа рендеринга.

При работе с JS-сайтами учитываете требования поисковиков: https://yandex.ru/support/webmaster/yandex-indexing/rendering.html и https://developers.google.com/search/docs/advanced/javascript/javascript-seo-basics?hl=ru.

Проверить, как индексируется ваш сайт и настроен ли корректно рендринг, вы можете:

Используя сервис https://bertal.ru/ или аналогичный, выставив настройки «отображать HTML-код» и подходящий тип поискового робота:

Анализируя текстовую сохраненную копию страницы в выдаче Яндекса и Google. В случае, если вы наблюдаете проблемы с видимостью страниц на JS-фреймворках, проверьте сохраненную текстовую копию страницы прямо из выдачи:

Анализируя страницы непосредственно в сервисах Яндекса и Google для веб мастеров — Яндекс.Вебмастере и Google Search Console. Рекомендуем обращать внимание не только на те страницы, что попали в индекс, но и на те, что не попали. Важно понять, должны ли эти страницы индексироваться и если должны, то по какой причине этого не происходит.

Страницы закрыты метатегом robots или заголовком X-Robots-Tag

Кроме файла robots.txt, поисковик может не получить доступ к конкретной странице, если на ней указан метатег robots, запрещающий её индексацию:

<meta name="robots" content="noindex, nofollow" />

Данный тег размещается внутрь тега…и дает поисковику команду не индексировать страницу (noindex) и не переходить по ее внутренним ссылкам (nofollow).

Аналогом метатега может быть блокировка сканирования страниц с помощью HTTP-заголовка X-Robots-Tag.

Проверить доступность страниц вы можете в инструментах для веб мастеров, например https://webmaster.yandex.ru/tools/server-response/, либо с помощью парсинга сайта программами Screaming Frog SEO Spider, Netpeak Spider и т. д.

Отметим, что отсутствие вышеперечисленных ошибок не может гарантировать корректного сканирования и индексирования сайта. Негативно могут влиять:

  • мусорные страницы — например, страницы результатов сортировок или работы фильтров;
  • дубли страниц — один и тот же контент, доступный по разным URL;
  • технические/служебные страницы без полезного для пользователей контента;
  • дубли страниц в формате PDF и т. д.

Как управлять сканированием и индексацией?

Для того чтобы сайт индексировался корректно, необходимо контролировать, как поиск видит сайт и расходует краулинговый бюджет.

Краулинговый бюджет — это квота страниц сайта, подлежащих индексированию в рамках одного обращения робота к сайту. Например, если краулер вместо целевых и полезных страниц ходит по мусорным документам, то индексация ухудшается, новые страницы не попадают в поиск, а потенциал трафика уменьшается.

Чтобы направлять краулер туда, куда необходимо, важно использовать следующие методы управления индексацией.

Файл robots.txt

Самый простой метод управления индексацией — текстовый файл robots.txt в корневой папке сайта. Как мы уже отметили ранее, поисковые роботы всегда обращаются к содержимому файла для понимания, какие страницы доступны к добавлению в поисковый индекс, а какие нет. Вы можете использовать файл для блокировки тех страниц, которые вы считаете неважными и ненужными к индексированию.

Пример:

Disallow: /folder-you-want-to-block/

Плюсы

  • Как правило, легко внедрять корректировки.
  • Быстро принимается и учитывается поиском.
  • Есть возможность проверки файла с помощью Яндекс.Вебмастера и Google Search Console.

Минусы

  • Google может проигнорировать директивы в robots. txt и добавить страницы в индекс. Google считает, что файл robots.txt управляет только сканированием сайта, а не его индексацией.
  • Ссылки на страницы, закрытые в robots.txt, расходуют т. н. «статический вес» страниц (PageRank, ВИЦ и подобные алгоритмы).
  • С заблокированных страниц не передается вес на другие страницы сайта.

Важный факт. Для Яндекса существует полезная директива «Clean-param», где вы можете указать параметры URL, которые поиск должен игнорировать. Например, результаты сортировки или работы фильтра товаров. Плюс такого решения — передача сигналов ранжирования (например поведенческих метрик) на страницы без параметров, что очень важно для Яндекса.

Метатег robots

Метатег robots позволяет эффективнее блокировать страницы к индексированию. В частности, для Google это более важный сигнал, чем инструкции в файле robots.txt.

<meta name="robots" content="noindex, nofollow" />

Внедрив тег на страницу, вы сможете без участия файла robots. txt заблокировать её индексацию.

Плюсы

  • Может эффективнее работать для блокировки страниц в Google, чем robots.txt.
  • Хорошо воспринимается поисковыми ботами.

Минусы

  • Более трудоемко, чем блокировка в robots.txt, если нужно заблокировать много страниц.
  • Применим только для HTML-страниц.
  • Ссылочный вес не передается на другие страницы.

При использовании метатега robots обращайте внимание на содержимое robots.txt. Чтобы Google увидел метатег robots на странице, она не должна быть заблокирована в файле robots.txt.

HTTP-заголовок X-Robots-Tag

Аналог метатега robots. Вы можете использовать тот или иной метод.

Плюсы

  • Может эффективнее работать для блокировки страниц в Google, чем robots.txt.
  • Хорошо воспринимается поисковыми ботами.

Минусы

  • Более трудоемкая реализация, чем использование файла robots. txt или метатега robots.

На практике X-Robots-Tag применяется реже, чем предыдущие два метода. При этом данный метод отлично работает для документов, отличных от HTML. К примеру, с помощью X-Robots-Tag можно легко блокировать PDF и другие документы, изображения и скрипты, что метатег сделать не может.

Тег и HTTP-заголовок canonical

Метатег, применяемый для указания среди двух или более одинаковых страниц одной канонической, которую поисковик должен проиндексировать и добавить в поиск, при этом другие страницы будут признаны неканоническими и добавляться в индекс не будут. Пример тега:

<link rel="canonical" href="https://www.iseo.ru/blog/" />

По сравнению с другими методами, тег canonical не является блокирующим. Вы можете поменять каноническую страницу или полностью удалить тег.

Плюсы

  • Передает сигналы ранжирования (например ссылочные факторы) с неканонических на каноническую страницу. Аналогично 301-му редиректу.
  • Позволяет бороться с дублями страниц внутри сайта.
  • Может быть использован для указания скопированного контента, если вы размещаете один и тот же контент на нескольких доменах. Но некоторые поисковые системы могут не поддерживать межхостовый canonical.
  • Легко обратим, если править теги canonical позволяет ваша CMS.

Минусы

  • Тег носит рекомендательный характер. Если страницы заметно различаются, то поисковый бот может сменить каноническую страницу и добавить в индексе не ту копию, что вам нужна.
  • Не экономит краулинговый бюджет. Бот реже обходит неканонические URL, но не прекращает это делать.

Чтобы тег canonical работал, страницы-дубли не должны быть закрыты в robots.txt или метатегом robots, в противном случае он будет проигнорирован. Также не следует помещать на одну страницу два или более тегов canonical.

В качестве альтернативы тегу canonical можно использовать HTTP-заголовок. В частности, для указания канонических документов (не HTML-страниц). Пример:

Link: <http://www.iseo.ru/downloads/some-file.pdf>; rel="canonical"

HTTP-код ответа сервера, отличный от 200

Альтернативным решением по исключению страниц из индекса является настройка HTTP-кодов ответа сервера отличных от 200.

К примеру, у вас большое количество мусорных страниц или страниц дублей, созданных по ошибке. Они не имеют ни трафика, ни ссылок. Для таких страниц можно настроить код ответа сервера 404 или 410.

Или же на сайте были созданы две похожих по интенту страницы, мешающих друг другу ранжироваться. В таком случае для сохранения ссылочного веса и передачи прочих сигналов ранжирования (например поведенческих факторов) вы можете использовать 301-ый редирект. Таким образом, одна из страниц со временем будет удалена из выдачи.

Частный случай этого метода — закрытие доступа к сайту, папке или странице/файлу с помощью пароля. При этом боты будут получать код ответа 403. Например, таким образом можно закрыть от индексации новую версию сайта на тестовом домене.

Плюсы

  • Высокая эффективность. В отличии от метатегов и директив в robots.txt, код ответа сервера воспринимается ботом всегда, а значит, вы наверняка сможете предотвратить появление лишних страниц в индексе.
  • Возможность сохранить внешние ссылки при использовании 301-х редиректов.
  • Высокая скорость индексирования изменений. В отличии от индексации тегов, поисковые роботы, как правило, очень быстро принимают и учитывают новый код ответа сервера.

Минусы

  • Потеря веса внешних ссылок в случае настройки 5ХХ или 4ХХ ответов сервера.
  • Долгая обратимость. В случае, если вы ошибетесь при настройке, возврат 200-го кода ответа сервера может не гарантировать возврат страницы на старые позиции, а значит, может быть потерян трафик.

Удаление страниц в Яндекс.Вебмастере и Google Search Console

Для ускорения удаления страниц из поиска вы можете воспользоваться инструментами Яндекса и Google для веб мастеров:

  • Для Яндекса — https://webmaster. yandex.ru/site/tools/del-url/
  • Для Google — https://search.google.com/search-console/removals

Плюсы

  • Высокая оперативность. К примеру, из Google страницы удаляются в течение двух дней.

Минусы

  • Страницы блокируются от индексации не навсегда. Блокировка возникает на 6 месяцев для Google или на время присутствия запрещающих директив или кодов 403/404/410 для Яндекса.
  • Есть разница в работе функционала. Для Google страница должна быть доступна для сканирования. При коде ответа 404, 502 или 503 блокировка отключается, а это значит, что если страница позже появится с кодом 200, то она может быть снова добавлена в поиск. Для Яндекса же наоборот, удаление может коснуться только тех страниц, что заблокированы в robots.txt или имеют код ответа 403, 404 или 410. Если страница отдает код 200 и открыта в robots.txt, запрос будет отклонен.
  • Возможен расход краулингового бюджета на переобход заблокированных страниц.

Как отправлять страницы на индексацию/переиндексацию?

Можно не только удалять мусорные страницы, но и ускорять индексацию приоритетных. Воспользуйтесь Яндекс.Вебмастером и Google Search Console, чтобы сообщить поиску о новых страницах на вашем сайте или о появлении новых.

Для Яндекса — https://webmaster.yandex.ru/site/indexing/reindex/.

Добавьте URL в список страниц и отправьте его на переобход. Обратите внимание: для каждого сайта предусмотрен свой дневной лимит.

Для Google — https://search.google.com/u/3/search-console/inspect.

Добавьте адрес страницы в строку и запросите индексирование:

Используя данные инструменты, вы сможете:

  • Оперативно уведомлять поисковые системы о появлении новых страниц, не дожидаясь обхода краулера.
  • Сообщать ботам об изменениях на странице с целью ускоренной переиндексации контента.

Как улучшить сканирование и индексацию?

Добавление вручную страниц в консолях веб мастеров — хорошее решение для небольших сайтов. Но если у вас крупный сайт, лучше довериться поисковым роботам и упростить им работу за счет следующих решений.

Используйте XML-карту сайта

XML-карта сайта — это файл со ссылками на все страницы, которые необходимо индексировать поисковым системам.

Поисковые системы разрабатывают алгоритмы, по которым краулеры узнают о сайтах и новых страницах, к примеру, переходя по внутренним и внешним ссылкам. Но иногда боты могут пропустить какие-то страницы, или же на целевые страницы мало или нет ссылок. XML-карта решает такие проблемы, отдавая полный список URL, доступных к индексации.

Рекомендации по использованию файлов XML-карт сайта:

  • Не размещайте ссылки на закрытые от индексирования страницы.
  • Не размещайте ссылки на страницы с кодом ответа сервера, отличным от 200.
  • Используйте кодировку UTF-8.
  • Не размещайте более 50 000 ссылок в одном файле. Если страниц больше, используйте индексный файл.
  • Файл с XML-картой должен отдавать код 200 и быть доступным к обходу в robots. txt.
  • Укажите ссылку на XML-карту сайта в robots.txt. Либо добавьте ссылку на XML-карту в инструменты для вебмастеров Яндекса и Google.

После создания файла sitemap.xml следует отправить его на индексацию в Яндекс.Вебмастер и Google Search Console.

Оптимизируйте перелинковку

Внутренние ссылки — это главная артерия любого сайта. Именно по гиперссылкам переходят краулеры поисковых систем, оценивая ссылочный вес и релевантность страниц, а пользователи совершают внутренние переходы, улучшая поведенческие показатели. Далее приведем несколько примеров перелинковки.

HTML-карта сайта

Это аналог sitemap.xml, но с некоторыми отличиями:

  • В HTML-карте не всегда выводят ссылки на все страницы. Иногда только на самые важные. Например, если у вас большой интернет-магазин, то имеет смысл вывести ссылки на основные листинги товаров (категории, подборки и т. п.), но не на страницы товаров.
  • В отличие от XML-карты сайта, HTML-карта передает по ссылкам сигналы ранжирования (PagRank и т.  п.). Также учитываются анкоры ссылок.
  • Сокращается вложенность страниц. Все страницы, на которые ссылается карта сайта, становятся доступны в два клика от главной страницы.

Пример небольшой карты сайта: https://www.iseo.ru/sitemap/.

Хлебные крошки

Навигационная цепочка, показывающая путь в структуре сайта от главной страницы к текущей. Пример со страницы https://shop.mts.ru/product/smartfon-apple-iphone-12-pro-max-256gb-tikhookeanskij-sinij:

Хлебные крошки решают следующие задачи:

  • Передают статический вес страницам более высокого уровня.
  • Улучшают юзабилити за счет понятного расположения страницы в иерархической структуре сайта.
  • Могут быть размечены с помощью Schema.org и улучшить сниппет.

Ссылки на похожие товары или статьи

Блок перелинковки похожего контента — один из вариантов ускорения индексирования новых карточек товаров, статей и новостей.

Пример блока: https://www. iseo.ru/clients/internet-magazin-mts/

Чаще всего данный блок работает автоматически. В контенте уже добавленных в индекс страниц выводятся ссылки на новые страницы. На это обращает внимание краулер и совершает их обход.

Ссылки с главной страницы

Как правило, главная страница обладает самым большим статическим весом по мнению поиска, так как чаще всего на нее ведет самое большое количество ссылок. Поэтому внедрение элементов перелинковки на главной странице имеет следующие плюсы:

  • Высокая ценность таких ссылок. Страницы со ссылками с главной часто ранжируются лучше аналогичных без них.
  • Ускорение индексации новых страниц.

Рекомендуем вам пользоваться главной страницей по максимуму при построении схем перелинковки.

Внедрите поддержку IndexNow и Google Indexing API

Кроме классических решений по ускорению индексации, вы можете подключить дополнительные протоколы типа IndexNow для Яндекса или Google Indexing API.

С их помощью вы можете не дожидаться, пока бот обнаружит все ваши страницы с помощью sitemap.xml или внутренней перелинковки. Вы сами можете уведомлять поисковики об обновлении, создании новых или удалении старых страниц. Причем делать это тысячами, не расходуя лимиты и время. Однако внедрение поддержки этих протоколов, скорее всего, потребует дополнительной разработки на стороне вашего сайта.

Подробнее о технологиях:

  • Справка Яндекса по IndexNow — https://yandex.ru/support/webmaster/indexing-options/index-now.html
  • Протокол IndexNow — https://www.indexnow.org/locale/ru_ru/index
  • Справка по Google Indexing API — https://developers.google.com/search/apis/indexing-api/v3/using-api?hl=ru

Анонсируйте новый контент в социальных сетях

Еще одним решением по ускорению индексации являются соцсети.

Делитесь свежим контентом с пользователями в социальных сетях. Такие ссылки поисковики замечают быстрее, а значит, и контент будет проиндексирован раньше. Бонусом здесь выступает трафик, который вы можете получить из социальных сетей.

Выводы

Индексация — это отправная точка для органического трафика и продаж любого сайта. Если вы знаете, что у вас есть проблемы с индексированием, то исправляйте ошибки очень аккуратно и перепроверьте трижды результаты ваших решений.

А если вам нужна помощь экспертов, обращайтесь в нашу компанию за SEO-аудитом или поисковым продвижением вашего сайта.

Денис Яковенко

Руководитель группы SEO-специалистов

Подробное руководство по работе поиска Google | Центр поиска Google | Документация

Поиск Google – это полностью автоматизированная поисковая система, использующая программное обеспечение, известное как поисковые роботы. регулярно исследуйте Интернет, чтобы найти страницы для добавления в наш индекс. На самом деле, подавляющее большинство страницы, перечисленные в наших результатах, не отправляются вручную для включения, а обнаруживаются и добавляются автоматически, когда наши поисковые роботы исследуют Интернет. Этот документ объясняет этапы того, как Поиск работает в контексте вашего сайта. Наличие этих базовых знаний может помочь вам исправить проблем со сканированием, проиндексируйте свои страницы и узнайте, как оптимизировать внешний вид вашего сайта в Поиск Гугл.

Ищете что-то менее техническое? Проверьте наши сайт «Как работает поиск», который объясняет, как работает поиск с точки зрения пользователя.

Несколько замечаний, прежде чем мы начнем

Прежде чем мы углубимся в детали работы Поиска, важно отметить, что Google не принимать оплату, чтобы чаще сканировать сайт или повышать его рейтинг. Если кто-нибудь скажет вам в противном случае они ошибаются.

Google не гарантирует, что он будет сканировать, индексировать или обслуживать вашу страницу, даже если она следует Правила и политика Google для владельцев сайтов.

Знакомство с тремя этапами поиска Google

Поиск Google работает в три этапа, и не все страницы проходят каждый этап:

  1. Сканирование: Google загружает текст, изображения и видео со страниц, найденных в Интернете с помощью автоматических программ, называемых поисковыми роботами.
  2. Индексирование: Google анализирует текст, изображения и видеофайлы на странице и сохраняет информацию в индексе Google, который является большим база данных.
  3. Обработка результатов поиска: Когда пользователь выполняет поиск на Google, Google возвращает информацию, относящуюся к запросу пользователя.

Ползание

Первый этап — выяснить, какие страницы существуют в Интернете. Нет центрального реестра все веб-страницы, поэтому Google должен постоянно искать новые и обновленные страницы и добавлять их в свои список известных страниц. Этот процесс называется «обнаружение URL». Некоторые страницы известны, потому что Гугл их уже посещал. Другие страницы обнаруживаются, когда Google переходит по ссылке из известной страницы на новую страницу: например, центральная страница, такая как страница категории, ссылается на новую Сообщение блога. Другие страницы обнаруживаются, когда вы отправляете список страниц ( карта сайта) для сканирования Google.

Как только Google обнаружит URL-адрес страницы, он может посетить (или «просканировать») страницу, чтобы узнать, что находится на ней. Это. Мы используем огромное количество компьютеров для сканирования миллиардов страниц в Интернете. Программа, которая выборка называется Googlebot (также известный как робот, бот или паук). Googlebot использует алгоритмический процесс для определения какие сайты сканировать, как часто и сколько страниц получать с каждого сайта. Поисковые роботы Google также запрограммированы таким образом, что стараются не сканировать сайт слишком быстро, чтобы не перегружать его. Этот механизм основан на ответах сайта (например, Ошибки HTTP 500 означают «медленнее») а также настройки в Search Console.

Однако робот Googlebot не сканирует все обнаруженные страницы. Некоторые страницы могут быть запрещен для сканирования владельца сайта, другие страницы могут быть недоступны без авторизации на сайте, и другие страницы могут быть дубликатами ранее просканированных страниц. Например, многие сайты доступны через www ( www.example.com ) и версия доменного имени без www ( example.com ), даже если содержимое идентичен для обеих версий.

Во время сканирования Google отображает страницу и запускает любой найденный JavaScript используя последнюю версию Chrome, аналогично тому, как ваш браузер отображает страницы, которые вы посещаете. Рендеринг важен, потому что веб-сайты часто полагаются на JavaScript для отображения контента на странице. и без рендеринга Google может не увидеть этот контент.

Сканирование зависит от того, могут ли поисковые роботы Google получить доступ к сайту. Некоторые распространенные проблемы с Доступ к сайтам робота Googlebot включает:

  • Проблемы с сервером, обрабатывающим сайт
  • Проблемы с сетью
  • директивы robots. txt, запрещающие роботу Googlebot доступ к странице

Индексация

После сканирования страницы Google пытается понять, о чем эта страница. Этот этап называется индексированием и включает в себя обработку и анализ текстового контента и ключевого контента теги и атрибуты, такие как <название> элементов и атрибуты alt, картинки, видео и более.

В процессе индексации Google определяет, является ли страница дубликат другой страницы в Интернете или канонической. Каноническая — это страница, которая может отображаться в результатах поиска. Для выбора канонического мы сначала сгруппируем найденные в Интернете страницы с похожим содержанием, а затем выберите тот, который наиболее репрезентативен для группы. Остальные страницы в группе альтернативные версии, которые могут подаваться в разных контекстах, например, если пользователь ищет с мобильного устройства или они ищут очень конкретную страницу из этого кластера.

Google также собирает сигналы о канонической странице и ее содержании, которые могут использоваться в следующий этап, где мы обслуживаем страницу в результатах поиска. Некоторые сигналы включают язык страницы, страны, в которой находится контент, удобство использования страницы и т. д.

Собранная информация о канонической странице и ее кластере может храниться в Google index, большая база данных, размещенная на тысячах компьютеров. Индексация не гарантируется; не каждый страница, которую обрабатывает Google, будет проиндексирована.

Индексация также зависит от содержания страницы и ее метаданных. Некоторые распространенные проблемы с индексацией может включать:

  • Качество контента на странице низкое
  • Метадирективы robots запрещают индексацию
  • Дизайн сайта может затруднить индексацию

Обслуживание результатов поиска

Google не принимает плату за повышение ранжирования страниц, а ранжирование выполняется программно.

Когда пользователь вводит запрос, наши машины ищут в индексе соответствующие страницы и возвращают результаты, которые мы считаем, являются самыми качественными и наиболее релевантными для пользователя. Релевантность определяется сотнями факторов, которые могут включать в себя такую ​​информацию, как местоположение, язык и устройство (рабочий стол или телефон). Например, при поиске «ремонт велосипедов магазины» покажет пользователю в Париже разные результаты, чем пользователю в Гонконге.

Search Console может сказать вам, что страница проиндексирована, но вы не видите ее в результатах поиска. Это может быть потому, что:

  • Содержание контента на странице не имеет отношения к пользователям
  • Качество контента низкое
  • Мета-директивы robots предотвращают обслуживание

Хотя в этом руководстве объясняется, как работает Поиск, мы постоянно работаем над улучшением наших алгоритмов. Вы можете отслеживать эти изменения, следуя Блог Google Search Central.

Что такое проиндексированные страницы? — Wiredelta

Индексированные страницы относятся к веб-страницам, которые данная поисковая система содержит в своей базе данных, другими словами, в своем «индексе». Индексация страниц — это процесс, посредством которого боты определенной поисковой системы сканируют Интернет в поисках новых страниц или обновлений на уже проиндексированных страницах.

 

Роботы, также известные как сканеры, обычно изучают каждую страницу веб-сайта, подробно анализируют все ее аспекты, а затем включают эти данные в свой индекс. Кроме того, поисковые роботы периодически возвращаются на веб-сайты, чтобы проверить наличие обновлений, хороших или плохих, которые они добавляют в свои реестры. Они также используют эти периодические обходы для оценки рейтинга веб-сайта. Таким образом, чем чаще веб-сайт обновляется — добавляется новый контент для поддержания актуальности сайта, исправляются проблемы с отзывчивостью, внедряются новые SEO-изменения и т. д. — тем выше рейтинг веб-сайта.

 

Напротив, сайт, который долгое время оставался без должного обслуживания, будет становиться все менее и менее актуальным. И чем более она устаревает, тем менее интересна и достоверна информация, а значит, и ниже ранг.

 

Почему проиндексированные страницы важны?

Взаимосвязь между индексацией страниц и поисковой оптимизацией сложнее, чем кажется на первый взгляд. Начнем с того, что индексация URL-адреса необходима, если вы мечтаете о достижении целей позиционирования в результатах поиска. Как бы вы ни оптимизировали страницу, если она не проиндексирована, вы не получите никакого рейтинга в поисковой системе или посещений пользователей.

 

Таким образом, только проиндексированные страницы получают определенную позицию в поисковой выдаче. Но точная позиция будет зависеть от остальных внутренних и внешних факторов SEO, над которыми вы работали до и после этого момента. Правильно, ваша индексация изменится, если вы оставите свой сайт без присмотра.

 

К этим факторам присоединяются другие, которые мы можем контролировать в большей или меньшей степени, в зависимости от каждого из факторов. Факторы, о которых мы говорим: 

  • Скорость публикации контента;
  • Качество контента;
  • Обновления сайта;
  • Существующие конкуренты

 

При этом индексация на количественном уровне также влияет на SEO-позиционирование страницы. Больше URL-адресов, проиндексированных в одном и том же домене, имеют больший вес в поисковой системе, чем конкуренты. Конечно, это только до тех пор, пока эти URL-адреса также являются качественными, поскольку количество не является единственным релевантным фактором.

 

Как сделать индексацию страниц в Google?

Google — самая используемая поисковая система в мире. Даже в странах с сильной внутренней ориентацией, таких как Россия, где нарицательным для долгой связи был Yandex.com, использование Google уже превысило 50%. Поэтому понятно, что веб-мастера заинтересованы в том, чтобы их страницы, статьи и индексация Google были как можно скорее.

 

Представьте, что вы предлагаете срочный контент или сезонные продукты, например. в начале учебного года, на Рождество или на летние каникулы — и вы только что запустили новый интернет-магазин или провели его ребрендинг и перенесли на новый домен. Насколько приветствуется раннее индексирование Google, когда от этого зависит будущее вашего бизнеса?

 

Есть несколько способов быстро проиндексировать ваши страницы или новый контент, которые помогут вам в этой ситуации. однако самыми быстрыми и, вероятно, наиболее эффективными из всех являются следующие две стратегии. Так что либо выберите один из шагов ниже, либо объедините их. Что бы вы ни делали, эти шаги позволят вам создать предпосылки для быстрой индексации контента — основного условия для получения раннего трафика.

 

Индексирование с помощью Инструментов для веб-мастеров и Google Search Console

Google может получать уведомления о создании новых страниц не только с помощью инструментов, которые обычно называют инструментами для веб-мастеров. Но поисковые системы Bing и Yahoo, например, используют свои собственные инструменты для веб-мастеров.

 

Однако наиболее интересующий нас набор инструментов Google когда-то назывался Google Webmaster Tools (GWM) и теперь разделен на отдельные блоки в зависимости от вашей направленности. В частности, для управления сайтами Google предоставляет Search Console, бесплатный сервис для администраторов, которые хотят отслеживать сайты, которыми они управляют, и их позиции в результатах поиска.

 

Веб-мастера могут предоставить Google точный URL-адрес страницы, в которую они внесли изменения, и убедиться, что он проиндексирует ее как можно быстрее. Это особенно помогает в классических ситуациях, возникающих после переименования URL-адреса идентификатора, когда Google начинает индексировать ошибку 404 — страница не найдена по предыдущей ссылке. В худшем случае сканерам потребуется несколько месяцев, чтобы понять, что вы изменили идентификатор уже проиндексированных страниц. Но добавляя ссылку в Google Search Console, вы ускоряете процесс, избегая этих проблем.

 

 

То же самое касается как уже проиндексированных страниц, которые были просто обновлены, так и новых страниц. Веб-мастера просто уведомляют Google об изменениях, а затем Google отправляет своих поисковых роботов для анализа и индексации нового контента. Опять же, это не обязательный процесс, так как боты Google в конечном итоге доберутся до вашего контента — нового или обновленного — и проиндексируют его. Это просто система ускорения, позволяющая быстрее проиндексировать страницы.

 

Индексация по ссылкам

Еще один эффективный способ быстро проиндексировать веб-сайт — использовать внутренние ссылки, когда вы связываете новый контент с уже проиндексированными страницами. Чаще всего роботы посещают проиндексированные блоги или форумы с возможностью RSS-каналов, потому что их содержание часто меняется. Если вы управляете такой страницей и ее направленность позволяет это сделать, убедитесь, что вы всегда используете ссылки с сайта на новые страницы, и роботы поисковых систем легко найдут и проиндексируют ваш контент.

 

В качестве альтернативы поработайте над обратными ссылками и попросите ссылку у других, которые управляют интересными и связанными сайтами с уже проиндексированными страницами, похожими на ваши. Это поможет еще не проиндексированным страницам привлечь внимание ботов Google, но вы также привлечете больше трафика, и ваше общее SEO выиграет, поскольку Google рассматривает обратные ссылки как показатель авторитета.

10 способов заставить Google проиндексировать ваш сайт (которые действительно работают)

Джошуа Хардвик

Руководитель отдела контента @ Ahrefs (или, говоря простым языком, я отвечаю за то, чтобы каждый пост в блоге, который мы публикуем, был EPIC ).

СТАТИСТИКА СТАТЕКА
  • Ежемесячный трафик 6 056

  • Связывание веб -сайтов 378

  • твиты 98

15020002 Показывает, сколько разных веб-сайтов ссылаются на этот фрагмент контента. Как правило, чем больше веб-сайтов ссылаются на вас, тем выше ваш рейтинг в Google.

Показывает приблизительный месячный поисковый трафик к этой статье по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3-5 раз больше.

Сколько раз этой статьей поделились в Твиттере.

Поделиться этой статьей
Подпишитесь на еженедельные обновления

Подписка по электронной почте

Подписаться

Содержание

    Если Google не индексирует ваш веб-сайт, вы практически невидимы. Вы не будете появляться ни по каким поисковым запросам, и вы не получите никакого органического трафика. пшик. Нада. Нуль.

    Учитывая, что вы здесь, полагаю, для вас это не новость. Итак, давайте сразу к делу.

    В этой статье рассказывается, как решить любую из этих трех проблем:

    1. Весь ваш веб-сайт не проиндексирован.
    2. Некоторые из ваших страниц проиндексированы, а другие нет.
    3. Недавно опубликованные веб-страницы недостаточно быстро индексируются.

    Но сначала давайте удостоверимся, что мы находимся на одной странице и полностью понимаем эту ошибку индексации.

    Что такое сканирование и индексирование?

    Google обнаруживает новые веб-страницы путем сканирования  веб-страниц, а затем добавляет эти страницы в свой индекс . Они делают это с помощью веб-паука под названием 9.0246 Гуглбот .

    Запутались? Давайте определим несколько ключевых терминов.

    • Сканирование : Процесс перехода по гиперссылкам в Интернете для обнаружения нового контента.
    • Индексирование : Процесс хранения каждой веб-страницы в обширной базе данных.
    • Веб-паук : Программное обеспечение, предназначенное для выполнения сканирования  процесса в больших масштабах.
    • Googlebot : веб-паук Google .

    Вот видео от Google , в котором процесс объясняется более подробно:

    Когда вы что-то ищете в Google, вы просите Google вернуть все соответствующие страницы. из их индекса. Поскольку часто есть миллионы страниц, которые соответствуют всем требованиям, алгоритм ранжирования Google делает все возможное, чтобы отсортировать страницы, чтобы вы сначала увидели лучшие и наиболее релевантные результаты.

    Важным моментом, на который я здесь обращаю внимание, является то, что индексация  и рейтинг  это две разные вещи .

    Индексация выставлена ​​на гонку; Рейтинг выигрывает.

    Вы не сможете победить, не придя на первое место в гонке.

    Как проверить, проиндексированы ли вы в Google

    Зайдите в Google, затем выполните поиск site:yourwebsite.com

    Это число примерно показывает, сколько ваших страниц проиндексировано Google.

    Если вы хотите проверить статус индекса определенного URL-адреса, используйте тот же site:yourwebsite.com/web-page-slug оператор.

    Если страница не проиндексирована, результатов не будет.

    Теперь стоит отметить, что если вы являетесь пользователем Google Search Console , вы можете использовать отчет Coverage  , чтобы получить более точное представление о статусе индекса вашего веб-сайта. Просто перейдите по ссылке:

    Google Search Console > Индекс > Покрытие

    Посмотрите на количество действительных страниц (с предупреждениями и без них).

    Если сумма этих двух чисел не равна нулю, то Google проиндексировал по крайней мере некоторые страницы вашего веб-сайта. Если нет, то у вас серьезная проблема, потому что ни одна из ваших веб-страниц не проиндексирована.

    Примечание.

    Не являетесь пользователем Google Search Console? Подписаться. Это бесплатно. Каждый, кто управляет веб-сайтом и заботится о получении трафика от Google, должен использовать Google Search Console. Это , что важно.

    Вы также можете использовать Search Console, чтобы проверить, проиндексирована ли конкретная страница. Для этого вставьте URL-адрес в инструмент проверки URL-адресов.

    Если эта страница проиндексирована, на ней будет написано «URL находится в Google».

    Если страница не проиндексирована, вы увидите слова «URL не находится в Google».

    Как проиндексироваться Google

    Обнаружили, что ваш веб-сайт или веб-страница не проиндексированы в Google? Попробуйте это:

    1. Перейдите в Google Search Console
    2. Перейдите к инструменту проверки URL
    3. Вставьте URL-адрес, который Google должен проиндексировать, в строку поиска.
    4. Подождите, пока Google проверит URL
    5. Нажмите кнопку «Запросить индексацию»

    Этот процесс является хорошей практикой, когда вы публикуете новую запись или страницу. Вы фактически сообщаете Google, что добавили что-то новое на свой сайт и что они должны на это взглянуть.

    Однако запрос на индексацию вряд ли решит основные проблемы, мешающие Google индексировать старые страницы. В этом случае следуйте приведенному ниже контрольному списку, чтобы диагностировать и устранить проблему.

    Вот несколько быстрых ссылок на каждую тактику — на случай, если вы уже попробовали некоторые из них:

    1. Удалить блоки сканирования в файле robots.txt
    2. Удалить мошеннические теги noindex
    3. Включить страницу в карту сайта
    4. Удалить мошеннические канонические теги
    5. Проверить, что страница не потеряна Добавьте «мощные» внутренние ссылки
    6. Убедитесь, что страница ценна и уникальна
    7. Удалите некачественные страницы (для оптимизации «краулингового бюджета»)
    8. Создайте высококачественные обратные ссылки

    1) Удалите блоки сканирования в файле robots.

    txt

    Google не индексирует весь ваш веб-сайт? Это может быть связано с блокировкой сканирования в файле robots.txt.

    Чтобы проверить наличие этой проблемы, перейдите по адресу yourdomain.com/robots.txt .

    Найдите любой из этих двух фрагментов кода:

     User-agent: Googlebot
    Запретить: / 
     User-agent: *
    Disallow: / 

    Оба они сообщают роботу Googlebot, что им не разрешено сканировать какие-либо страницы на вашем сайте. Чтобы устранить проблему, удалите их. это , что просто.

    Блокировка сканирования в файле robots.txt также может быть причиной, если Google не индексирует ни одну веб-страницу. Чтобы проверить, так ли это, вставьте URL-адрес в инструмент проверки URL-адресов в Google Search Console. Нажмите на блок «Покрытие», чтобы открыть более подробную информацию, затем найдите «Сканирование разрешено? Нет: заблокировано ошибкой robots.txt».

    Это указывает на то, что страница заблокирована в robots. txt.

    В этом случае еще раз проверьте файл robots.txt на наличие каких-либо правил «запрета», относящихся к странице или соответствующему подразделу.

    Удалить при необходимости.

    2) Удалите мошеннические теги noindex

    Google не будет индексировать страницы, если вы запретите им это делать. Это полезно для сохранения конфиденциальности некоторых веб-страниц. Есть два способа сделать это:

    Способ 1: метатег

    Страницы с одним из этих метатегов в разделе не будут проиндексированы Google:

      
      

    Это метатег роботов, который сообщает поисковым системам, могут ли они индексировать страницу или нет.

    Примечание.

    Ключевой частью является значение «noindex». Если вы это видите, значит для страницы установлено значение noindex.

    Чтобы найти все страницы с метатегом noindex на вашем сайте, запустите сканирование с помощью аудита сайта Ahrefs. Перейдите к отчету Indexability  . Ищите предупреждения «Noindex page».

    Нажмите, чтобы увидеть все затронутые страницы. Удалите метатег noindex со всех страниц, которым он не принадлежит.

    Метод 2: X-Robots-Tag

    Искатели также учитывают заголовок HTTP-ответа X-Robots-Tag. Вы можете реализовать это с помощью языка сценариев на стороне сервера, такого как PHP, или в вашем файле .htaccess, или изменив конфигурацию вашего сервера.

    Инструмент проверки URL-адресов в Search Console сообщает, заблокирован ли Google от сканирования страницы из-за этого заголовка. Просто введите свой URL-адрес, а затем найдите «Индексирование разрешено? Нет: «noindex» обнаружен в заголовке http «X-Robots-Tag»

    Если вы хотите проверить наличие этой проблемы на своем сайте, запустите сканирование в инструменте аудита сайта Ahrefs, затем используйте фильтр «Информация о роботах в заголовке HTTP» в проводнике страниц:

    Попросите вашего разработчика исключить страницы, которые вы хотите проиндексировать, возвращая этот заголовок.

    Рекомендуем прочитать: Спецификации метатега Robots и X-Robots-Tag HTTP-заголовка

    3) Включить страницу в карту сайта

    Карта сайта сообщает Google, какие страницы на вашем сайте важны, а какие нет . Это также может дать некоторые рекомендации о том, как часто их следует повторно сканировать.

    Google должен иметь возможность находить страницы на вашем веб-сайте независимо от того, находятся ли они в вашей карте сайта, но рекомендуется включать их. В конце концов, нет смысла усложнять жизнь Google.

    Чтобы проверить, есть ли страница в вашей карте сайта, используйте инструмент проверки URL в Search Console. Если вы видите ошибку «URL не находится в Google» и «Карта сайта: Н/Д», значит, его нет в вашей карте сайта или он не проиндексирован.

    Не используете Search Console? Перейдите по URL-адресу вашей карты сайта — обычно это 9.0246 yourdomain.com/sitemap.xml — и выполните поиск страницы.

    Или, если вы хотите найти все сканируемые и индексируемые страницы, которых нет в вашей карте сайта, запустите сканирование в Ahrefs Site Audit. Перейдите к Page Explorer и примените следующие фильтры:

    Эти страницы должны быть в вашей карте сайта, поэтому добавьте их. После этого сообщите Google, что вы обновили карту сайта, проверив этот URL:

    http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml 9.0036

    Замените последнюю часть URL-адресом вашей карты сайта. Вы должны увидеть что-то вроде этого:

    Это должно ускорить индексацию страницы Google.

    4) Удаление мошеннических канонических тегов

    Канонический тег сообщает Google, какая версия страницы является предпочтительной. Это выглядит примерно так:

    Большинство страниц либо не имеют канонического тега, либо имеют так называемый канонический тег, ссылающийся на себя. сама страница является предпочтительной и, возможно, единственной версией, другими словами, вы хотите, чтобы эта страница была проиндексирована. 0003

    Но если на вашей странице есть мошеннический канонический тег, то он может сообщать Google о предпочтительной версии этой страницы, которой не существует. В этом случае ваша страница не будет проиндексирована.

    Чтобы проверить наличие канонического URL, используйте инструмент Google для проверки URL. Вы увидите предупреждение «Альтернативная страница с каноническим тегом», если канонический указывает на другую страницу.

    Если этого не должно быть, и вы хотите проиндексировать страницу, удалите тег canonical.

    Если вам нужен быстрый способ найти мошеннические канонические теги на всем сайте, запустите сканирование в инструменте аудита сайта Ahrefs. Перейдите в Проводник страниц. Используйте эти настройки:

    Ищет страницы в вашей карте сайта с каноническими тегами, не ссылающимися на самих себя. Поскольку вы почти наверняка захотите проиндексировать страницы в своей карте сайта, вам следует дополнительно изучить, возвращает ли этот фильтр какие-либо результаты.

    Весьма вероятно, что эти страницы либо имеют мошеннический канонический код, либо вообще не должны быть в вашей карте сайта.

    5) Убедитесь, что страница не потеряна.

    Страницы-сироты – это те страницы, на которые не указывают внутренние ссылки .

    Поскольку Google обнаруживает новый контент путем сканирования Интернета, он не может обнаружить бесхозные страницы с помощью этого процесса. Посетители сайта также не смогут их найти.

    Чтобы проверить наличие потерянных страниц, просканируйте свой сайт с помощью аудита сайта Ahrefs. Затем проверьте отчет Links  на наличие ошибок «Бесхозная страница (нет входящих внутренних ссылок)»:

    Здесь показаны все страницы, которые одновременно индексируются и присутствуют в карте сайта, но не имеют внутренних ссылок, указывающих на них.

    Не уверены, что все страницы, которые вы хотите проиндексировать, есть в вашей карте сайта? Попробуйте это:

    1. Загрузите полный список страниц вашего сайта (через вашу CMS)
    2. Просканируйте свой сайт (с помощью инструмента, такого как аудит сайта Ahrefs)
    3. Сопоставьте два списка URL-адресов

    Любые URL-адреса не найденные при сканировании страницы-сироты.

    Исправить страницы-сироты можно двумя способами:

    1. Если страница не важна , удалите ее и удалите из карты сайта.
    2. Если страница важна , включите ее во внутреннюю структуру ссылок вашего веб-сайта.

    6) Исправление внутренних ссылок nofollow

    Ссылки Nofollow — это ссылки с тегом rel=“nofollow”. Они предотвращают передачу PageRank на целевой URL. Google также не сканирует nofollow-ссылки.

    Вот что Google говорит по этому поводу:

    По сути, использование nofollow заставляет нас удалять целевые ссылки из нашего общего графа сети.  Однако целевые страницы могут по-прежнему отображаться в нашем индексе, если другие сайты ссылаются на них без использования nofollow или если URL-адреса отправляются в Google в файле Sitemap.

    Короче говоря, вы должны убедиться, что все внутренние ссылки на индексируемые страницы переходят.

    Для этого используйте инструмент аудита сайта Ahrefs для сканирования вашего сайта. Проверьте отчет Links для индексируемых страниц с ошибками «Страница имеет nofollow только входящие внутренние ссылки»:

    Удалите тег nofollow из этих внутренних ссылок, предполагая, что вы хотите, чтобы Google проиндексировал страницу. Если нет, либо удалите страницу, либо не индексируйте ее.

    Рекомендуем прочитать: Что такое ссылка Nofollow? Все, что вам нужно знать (без жаргона!)

    7) Добавьте «мощные» внутренние ссылки

    Google обнаруживает новый контент, сканируя ваш веб-сайт. Если вы пренебрегаете внутренней ссылкой на рассматриваемую страницу, они могут не найти ее.

    Простое решение этой проблемы — добавить на страницу несколько внутренних ссылок. Вы можете сделать это с любой другой веб-страницы, которую Google может сканировать и индексировать. Однако, если вы хотите, чтобы Google проиндексировал страницу как можно быстрее, имеет смысл сделать это с одной из ваших наиболее «мощных» страниц.

    Почему? Потому что Google, скорее всего, будет повторно сканировать такие страницы быстрее, чем менее важные страницы.

    Для этого перейдите в Site Explorer от Ahrefs, введите свой домен, а затем посетите отчет Best by links .

    Здесь показаны все страницы вашего веб-сайта, отсортированные по URL-рейтингу (UR). Другими словами, в первую очередь отображаются наиболее авторитетные страницы.

    Просмотрите этот список и найдите релевантные страницы, с которых можно добавить внутренние ссылки на рассматриваемую страницу.

    Например, если бы мы хотели добавить внутреннюю ссылку в наше руководство по размещению гостевых постов, наше руководство по созданию ссылок, скорее всего, предложило бы подходящее место для этого. И так получилось, что эта страница является 11-й по авторитетности страницей в нашем блоге:

    Google увидит эту ссылку и перейдет по ней при следующем повторном сканировании страницы.

    8) Убедитесь, что страница ценна и уникальна.

    Google вряд ли будет индексировать некачественные страницы, потому что они не представляют никакой ценности для пользователей. Вот что Джон Мюллер из Google сказал об индексации в 2018 году:

    Мы никогда не индексируем все известные URL-адреса, это вполне нормально. Я бы сосредоточился на том, чтобы сделать сайт потрясающим и вдохновляющим, тогда все обычно работает лучше.

    — 🍌 Джон 🍌 (@JohnMu) 3 января 2018 г.

    Он подразумевает, что если вы хотите, чтобы Google проиндексировал ваш веб-сайт или веб-страницу, она должна быть «потрясающей и вдохновляющей».

    Если вы исключили технические проблемы из-за отсутствия индексации, то причиной может быть отсутствие ценности. По этой причине стоит взглянуть на страницу свежим взглядом и спросить себя: действительно ли эта страница ценна? Найдет ли пользователь ценность на этой странице, если он нажмет на нее из результатов поиска?

    Если ответ отрицательный ни на один из этих вопросов, вам нужно улучшить свой контент.

    Вы можете найти больше потенциально некачественных страниц, которые не проиндексированы, с помощью инструмента аудита сайта Ahrefs и профилировщика URL. Для этого перейдите в Page Explorer в Ahrefs Site Audit и используйте следующие настройки:

    Это вернет «тонкие» страницы, которые индексируются и в настоящее время не получают органического трафика. Другими словами, есть неплохая вероятность, что они не проиндексированы.

    Экспортируйте отчет, затем вставьте все URL-адреса в URL Profiler и запустите проверку индексации Google.

    Проверьте все неиндексированные страницы на наличие проблем с качеством. При необходимости улучшите, а затем запросите переиндексацию в Google Search Console.

    Вы также должны стремиться устранить проблемы с дублирующимся содержимым. Google вряд ли проиндексирует повторяющиеся или почти повторяющиеся страницы. Используйте отчет Duplicate content  в аудите сайта, чтобы проверить эти проблемы.

    9) Удалите некачественные страницы (для оптимизации «краулингового бюджета»)

    Наличие слишком большого количества некачественных страниц на вашем веб-сайте приводит только к трате краулингового бюджета.

    Вот что говорит Google по этому поводу:

    Трата ресурсов сервера на [страницы с низкой добавленной стоимостью] приведет к снижению активности сканирования страниц, которые действительно имеют ценность, что может привести к значительной задержке в обнаружении отличного контента на сайте. .

    Думайте об этом как об учителе, оценивающем эссе, одно из которых ваше. Если им нужно оценить десять сочинений, они довольно быстро доберутся до вашего. Если у них есть сотня, это займет у них немного больше времени. Если их тысячи, их рабочая нагрузка слишком высока, и они могут никогда не оценить ваше эссе.

    Google утверждает, что «краулинговый бюджет […] — это не то, о чем следует беспокоиться большинству издателей», и что «если на сайте меньше нескольких тысяч URL-адресов, в большинстве случаев он будет сканироваться эффективно».

    Тем не менее, удаление некачественных страниц с вашего сайта никогда не помешает. Это может только положительно сказаться на краулинговом бюджете.

    Вы можете использовать наш шаблон аудита контента , чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

    10) Создавайте высококачественные обратные ссылки

    Обратные ссылки сообщают Google, что веб-страница важна. В конце концов, если кто-то ссылается на него, то он должен иметь какую-то ценность. Это страницы, которые Google хочет проиндексировать.

    Для обеспечения полной прозрачности Google индексирует не только веб-страницы с обратными ссылками. Существует множество (миллиарды) проиндексированных страниц без обратных ссылок. Однако, поскольку Google считает страницы с качественными ссылками более важными, они, скорее всего, будут сканировать и повторно сканировать такие страницы быстрее, чем без них. Это приводит к более быстрой индексации.

    У нас есть много ресурсов для создания высококачественных обратных ссылок в блоге.

    Взгляните на несколько руководств ниже.

    Дальнейшее чтение

    Индексирование ≠ рейтинг

    Индексация вашего веб-сайта или веб-страницы в Google не означает рейтинга или трафика.

    Это две разные вещи.

    Индексирование означает, что Google знает о вашем веб-сайте. Это не значит, что они будут ранжировать его по любым релевантным и стоящим запросам.

    Вот где на помощь приходит SEO — искусство оптимизации ваших веб-страниц для ранжирования по определенным запросам.

    Короче говоря, SEO включает в себя:

    • Поиск того, что ищут ваши клиенты;
    • Создание контента на эти темы;
    • Оптимизация этих страниц под ваши целевые ключевые слова;
    • Создание обратных ссылок;
    • Регулярная перепубликация контента, чтобы он оставался «вечнозеленым».

    Вот видео, которое поможет вам начать работу с SEO:

    https://www. youtube.com/watch?v=DvwS7cV9GmQ

    … и некоторые статьи:

    Дополнительная литература

    Заключительные мысли

    Есть только две возможные причины, по которым Google не индексирует ваш веб-сайт или сеть. страница:

    1. Технические проблемы мешают им это делать
    2. Они считают ваш сайт или страницу некачественными и бесполезными для своих пользователей.

    Вполне возможно, что существуют обе эти проблемы. Однако я бы сказал, что технические проблемы встречаются гораздо чаще. Технические проблемы также могут привести к автоматической генерации индексируемого контента низкого качества (например, проблемы с фасетной навигацией). Это плохо.

    Тем не менее, просмотр контрольного списка выше должен решить проблему индексации в девяти случаях из десяти.

    Просто помните, что индексация ≠ ранжирование. SEO по-прежнему жизненно важно, если вы хотите ранжироваться по любым стоящим поисковым запросам и привлекать постоянный поток органического трафика.

    Насколько полезен был этот пост?

    Количество голосов:  3

    Пока нет голосов! Будьте первым, кто оценит этот пост.

    Что такое индексирование в поисковых системах и как оно работает?

    Что происходит, когда поисковая система заканчивает сканирование страницы? Давайте рассмотрим процесс индексации, который поисковые системы используют для хранения информации о веб-страницах, что позволяет им быстро возвращать релевантные высококачественные результаты.
     

    Какая потребность в индексации поисковыми системами?

    Помните дни до Интернета, когда вам приходилось обращаться к энциклопедии, чтобы узнать о мире и копаться в Желтых страницах, чтобы найти сантехника? Даже на заре Интернета, до появления поисковых систем, нам приходилось искать информацию в каталогах. Какой трудоемкий процесс. Откуда у нас хватило терпения?

    Поисковые системы произвели революцию в поиске информации, поскольку пользователи ожидают почти мгновенных ответов на свои поисковые запросы.
     

    Что такое индексирование поисковыми системами?

    Индексирование — это процесс, с помощью которого поисковые системы упорядочивают информацию перед поиском, чтобы обеспечить сверхбыстрые ответы на запросы.

    Поиск на отдельных страницах по ключевым словам и темам будет очень медленным процессом для поисковых систем, чтобы определить релевантную информацию. Вместо этого поисковые системы (включая Google) используют инвертированный индекс, также известный как обратный индекс.
     

    Что такое инвертированный индекс?

    Инвертированный индекс — это система, в которой база данных текстовых элементов компилируется вместе с указателями на документы, содержащие эти элементы. Затем поисковые системы используют процесс, называемый токенизацией, чтобы сократить слова до их основного значения, тем самым уменьшая количество ресурсов, необходимых для хранения и извлечения данных. Это гораздо более быстрый подход, чем перечисление всех известных документов по всем релевантным ключевым словам и символам.

    Пример инвертированной индексации

    Ниже приведен очень простой пример, иллюстрирующий концепцию инвертированного индексирования. В примере видно, что каждое ключевое слово (или токен) связано со строкой документов, в которых этот элемент был идентифицирован.

    Ключевое слово Путь документа 1 Путь документа 2 Путь документа 3
    SEO example.com/seo-tips moz.com
    HTTPS deepcrawl.co.uk/https-скорость example.com/https-future

    В этом примере используются URL-адреса, но это могут быть идентификаторы документов, в зависимости от структуры поисковой системы.
     

    Кэшированная версия страницы

    Помимо индексации страниц, поисковые системы могут также хранить сильно сжатую текстовую версию документа, включая все HTML и метаданные.

    Кэшированный документ — это последний снимок страницы, просмотренный поисковой системой.

    Доступ к кэшированной версии страницы можно получить (в Google), щелкнув маленькую зеленую стрелку рядом с URL-адресом каждого результата поиска и выбрав вариант кэширования. Кроме того, вы можете использовать оператор поиска Google «cache:» для просмотра кешированной версии страницы.

    Bing предлагает те же возможности для просмотра кешированной версии страницы с помощью зеленой стрелки вниз рядом с каждым результатом поиска, но в настоящее время не поддерживает оператор поиска «кэш:».
     

    Что такое PageRank?

    «PageRank» — это алгоритм Google, названный в честь соучредителя Google Ларри Пейджа (да, действительно!) Это значение для каждой страницы, рассчитанное путем подсчета количества ссылок, указывающих на страницу, чтобы определить ценность страницы. относительно любой другой страницы в Интернете. Значение, передаваемое каждой отдельной ссылкой, основано на количестве и значении ссылок, которые указывают на страницу со ссылкой.

    PageRank — это лишь один из многих сигналов, используемых в большом алгоритме ранжирования Google.
    Приблизительные значения PageRank изначально были предоставлены Google, но больше не являются общедоступными.

    Хотя PageRank является термином Google, все коммерческие поисковые системы рассчитывают и используют эквивалентную метрику ссылочного капитала. Некоторые SEO-инструменты пытаются дать оценку PageRank, используя собственную логику и расчеты. Например, Page Authority в инструментах Moz, TrustFlow в Majestic или рейтинг URL в Ahrefs. DeepCrawl имеет метрику под названием DeepRank для измерения ценности страниц на основе внутренних ссылок на веб-сайте.
     

    Как PageRank проходит через страницы

    Страницы передают PageRank или ссылочный вес другим страницам через ссылки. Когда страница ссылается на контент в другом месте, это рассматривается как вотум уверенности и доверия, поскольку контент, на который ссылаются, рекомендуется как актуальный и полезный для пользователей. Количество этих ссылок и степень авторитетности ссылающегося веб-сайта определяют относительный PageRank страницы, на которую ссылаются.

    PageRank поровну распределяется между всеми обнаруженными ссылками на странице. Например, если на вашей странице пять ссылок, каждая ссылка будет передавать 20% PageRank страницы через каждую ссылку на целевые страницы. Ссылки с атрибутом rel="nofollow" не проходят PageRank.
     

    Важность обратных ссылок

    Обратные ссылки являются краеугольным камнем того, как поисковые системы понимают важность страницы. Было проведено множество исследований и тестов, чтобы определить корреляцию между обратными ссылками и рейтингом.

    Исследование обратных ссылок, проведенное Moz, показывает, что в результатах 50 самых популярных поисковых запросов Google (около 15 000 результатов поиска) 99,2% из них содержали как минимум 1 внешнюю обратную ссылку. Кроме того, SEO-специалисты постоянно оценивают обратные ссылки как один из наиболее важных факторов ранжирования в опросах.

    Далее: Отличия поисковых систем

    Автор

    Сэм Марсден

    Сэм Марсден — бывший SEO- и контент-менеджер Deepcrawl. Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых изданий, таких как Search Engine Journal и State of Digital.

    Как заставить Google мгновенно проиндексировать ваш новый веб-сайт

    Хотите увеличить органический поисковый трафик на свой сайт?

    Готов поспорить, что да, мы все так делаем!

    Органический поисковый трафик имеет решающее значение для развития вашего веб-сайта и бизнеса.

    Некоторые исследования утверждают, что около 53% трафика вашего сайта приходится на органический поиск.

    Но статистика не имеет большого значения, если ваш сайт вообще не отображается в результатах поиска.

    Как вы проиндексируете свой новый сайт или блог в Google, Bing и других поисковых системах?

    У вас есть два варианта.

    Вы можете использовать «черепаший» подход — просто сидеть сложа руки и ждать, пока это произойдет естественным образом, но это может занять недели или месяцы.

    (Поверьте мне, я был там раньше - не весело.)

    Или вы можете сделать это сейчас, что даст вам больше времени и энергии для повышения коэффициента конверсии, улучшения вашего социального присутствия - и, конечно же, , написание и продвижение отличного и полезного контента.

    Не знаю, как вы, а я предпочел бы, чтобы мои сайты были проиндексированы как можно быстрее, потому что это дает мне больше времени для создания своей аудитории.

    Именно благодаря этим стратегиям я так быстро увеличил этот блог до более чем 600 000 посетителей в месяц!

    Хотите сделать то же самое?

    Оставайтесь с нами, потому что в этом пошаговом руководстве я расскажу обо всем, что узнал о поисковой оптимизации и о том, как быстро проиндексировать ваш сайт!

    Я расскажу вам, как заставить Google быстро проиндексировать наш веб-сайт, что принесет вам больше органического поискового трафика и более высокий рейтинг.

    Начнем!

    Зачем вам нужен Google для индексации вашего сайта?

    Во-первых, очевидный ответ.

    Если вы хотите, чтобы ваш сайт вообще отображался в результатах поиска, его необходимо проиндексировать.

    Однако вы не хотите, чтобы ваш сайт был проиндексирован только один раз. Вы хотите, чтобы поисковые системы продолжали переиндексировать ваш сайт.

    Поисковые системы, такие как Google, не просто обновляются автоматически.

    Они полагаются на пауков — небольшие фрагменты компьютерного кода, которые каждая поисковая система отправляет для «сканирования» сети (отсюда и «паук»).

    Вам нужна эффективная и частая скорость сканирования.

    Задача паука – искать новые материалы в Интернете и обновлять уже проиндексированную версию вашего сайта. Это может быть новая страница на существующем сайте, изменение существующей страницы или совершенно новый сайт или блог.

    Как только паук находит новый сайт или страницу, ему нужно выяснить, о чем этот новый сайт или страница.

    Давным-давно, на Диком Диком Западе, во времена ранней паутины, пауки поисковых систем не были такими умными, как сегодня. Вы можете заставить паука проиндексировать и ранжировать вашу страницу, основываясь только на том, сколько раз конкретная поисковая фраза («ключевое слово») появлялась на странице.

    Для сегодняшнего успеха контента вы не можете полагаться на эти старые стратегии поисковой оптимизации.

    Ключевое слово даже не обязательно должно быть в теле самой страницы. Многие люди ранжировались по названию своего крупнейшего конкурента, просто добавляя десятки вариантов названия этого бренда в метатеги страницы!

    К счастью для пользователей поиска Google и этичных владельцев веб-сайтов, те времена давно прошли.

    Сегодня за наполнение ключевыми словами и метатегами вас будут наказывать, а не вознаграждать. Мета-теги ключевых слов вообще не являются частью алгоритма (хотя есть веские причины для их использования).

    Если вы не будете осторожны, ваш сайт может быть полностью исключен из индекса, что означает, что ваш сайт вообще не будет ранжироваться ни по одному ключевому слову.

    В наши дни Google больше заботит общий опыт пользователей на вашем сайте и намерение пользователя, стоящее за поиском — то есть хочет ли пользователь что-то купить (коммерческое намерение) или узнать что-то (информационное намерение)?

    Они даже сделали Page Experience фактором ранжирования.

    Не поймите меня неправильно — ключевые слова по-прежнему имеют значение. Другие факторы также важны — до 200, по словам Брайана Дина из Backlinko. К ним относятся такие вещи, как качественные входящие ссылки, социальные сигналы (хотя и не напрямую) и действительный код на всех ваших страницах.

    Ничего из этого не будет иметь значения, если пауки не смогут сообщить поисковым системам, что ваши страницы находятся там, то есть они не будут отображаться в результатах поиска.

    Вот почему так важна индексация сайта.

    Проще говоря, индексирование – это способ сбора и обработки пауками всех данных со страниц и сайтов во время обхода сети.

    Частая индексация улучшает результаты поиска.

    Паук отмечает новые документы и изменения, которые затем добавляются в поисковый индекс Google. Эти страницы добавляются только в том случае, если они содержат качественный контент и не вызывают каких-либо сомнительных действий, таких как наполнение ключевыми словами или создание множества ссылок из ненадежных источников.

    Когда паук видит изменения на вашем веб-сайте, он обрабатывает как содержимое (текст) на странице, так и места на странице, где размещены условия поиска. Он также анализирует тег title, метатег и атрибуты alt для изображений.

    Затем этот паук добавляет или «индексирует» этот контент в Google.

    Вкратце об индексации. Это важный инструмент для веб-мастеров.

    Когда пользователь поиска ищет информацию, вводя ключевые слова для поиска, алгоритм Google начинает работать. Затем алгоритм решает , какое место следует занять странице по сравнению со всеми другими страницами, связанными с этими ключевыми словами.

    То, как часто ваш сайт индексируется, может повлиять на вашу эффективность в результатах поиска. Вы хотите убедиться, что весь ваш последний контент всегда доступен для тех, кто выполняет поиск, и для поисковых роботов Google.

    Это короткая и несколько упрощенная версия того, как Google находит, анализирует и индексирует новые сайты, подобные вашему.

    Многие другие поисковые системы, такие как Bing или Yahoo, следуют аналогичным процедурам, хотя могут быть различия в особенностях, поскольку каждая из них имеет свой собственный алгоритм.

    Какие факторы индексации веб-сайта имеют значение?

    Вам нужна эффективная индексация вашего веб-сайта.

    Это означает, что вы хотите, чтобы пауки поисковых систем находили ваш новый контент как можно быстрее после того, как вы нажмете «Опубликовать».

    Вы можете проверить, как часто Google сканирует ваши страницы, войдя в Search Console.

    Еще не настроили Google Search Console? Перейдите к шагу 2, чтобы узнать, как настроить свой веб-сайт.

    В Search Console нажмите на свой веб-сайт. Затем нажмите «Настройки» > «Статистика сканирования» > «Открыть отчет». Вы увидите несколько таких графиков:

    На первом графике показано, как часто Google сканирует ваш сайт.

    Этот график — «Запросы на сканирование» — показывает, как часто Google ежедневно сканирует мой сайт.

    Как правило, чем больше ползать, тем лучше.

    Однако в некоторых случаях чрезмерное сканирование может привести к перегрузке ресурсов сервера. Обычно это результат неправильной настройки сервера, а не проблемы с поисковыми роботами Google.

    Это очень редкое явление, поэтому вам, вероятно, не нужно об этом беспокоиться. Google позволяет изменить скорость сканирования (только вниз, а не вверх), если это происходит с вами.

    Итак, как мне увеличить скорость сканирования?

    В последнее время я много публикую и обновляю старый контент, поэтому Google стремится получать все мои обновления и изменения как можно быстрее. Он учится чаще связываться со мной.

    В апреле я также перешел на новый веб-хост, который работает намного быстрее, чем мой старый.

    Чем быстрее загружается ваш сайт, тем быстрее Google может войти и проиндексировать его!

    Google хочет рекомендовать своим пользователям лучшие веб-сайты. Он ищет сайты, которые предлагают хороший пользовательский опыт. Хотя это включает в себя множество факторов, качество контента и скорость загрузки сайта очень важны.

    Проще говоря:

    Более быстрый сайт = лучший пользовательский интерфейс.

    Лучшее взаимодействие с пользователем = более высокий рейтинг результатов поиска.

    Более важным, чем то, как часто Google индексирует ваш сайт, является количество индексируемых страниц. Вы хотите, чтобы как можно больше страниц вашего сайта были проиндексированы.

    (Не волнуйтесь, об этом позаботится ваша карта сайта, о чем я подробно расскажу в шаге 7.)

    Но сначала давайте начнем с самого начала. Следующие 18 шагов проведут вас через все, что вам нужно знать об индексации вашего веб-сайта.

    Вам не обязательно выполнять все 18 шагов, чтобы иметь хорошо проиндексированный веб-сайт, но если вам интересно, как получить более высокий рейтинг в Google, это единственное руководство, которое вам когда-либо понадобится!

    Шаг 1: Мой сайт уже проиндексирован?

    Если вы не запускаете совершенно новый сайт, ваш сайт, вероятно, уже проиндексирован.

    Если вы не уверены, вот как это выяснить.

    Самый простой способ проверить это — выполнить поиск  site:yourdomain.com  в Google. Если Google знает, что ваш сайт существует, и уже просканировал его, вы увидите список результатов, похожий на список для NeilPatel.com на снимке экрана ниже:

    Если Google еще не нашел ваш сайт, вы не получите вообще никаких результатов, примерно так:

    Если ваш сайт уже проиндексирован, это прекрасно, но есть возможности для улучшения.

    Остальные шаги в этом руководстве помогут вам убедиться, что ваш сайт проиндексирован в полной мере.

    Шаг 2. Установите и настройте Google Analytics и Search Console

    Если вы еще не знакомы с этими бесплатными инструментами Google, вот краткий обзор.

    Google Analytics:  Измеряет статистику вашего веб-сайта, такую ​​как посетители, время, проведенное на сайте, какие страницы они просматривали, откуда они и т. д.

    Консоль поиска Google (ранее известная как Инструменты Google для веб-мастеров): Он позволяет вам отслеживать различные аспекты вашего веб-сайта, например, когда он последний раз сканировался, любые ошибки индексирования, проблемы безопасности и т. д.

    Search Console также позволяет вам управлять некоторыми ключевыми аспектами вашего появления в результатах поиска и вручную отправлять карты сайта — я мы расскажем обо всем этом позже в этой статье.

    Но сначала давайте настроим.

    Если у вас уже есть Google Analytics и Search Console, нажмите здесь, чтобы перейти к шагу 3. Создание стратегии контент-маркетинга.

    Чтобы настроить Google Analytics, нажмите здесь и войдите в свою учетную запись Google.

    Это может быть либо ваш адрес электронной почты @gmail.com, либо ваш адрес электронной почты @mydomain.com, если вы используете сервис Google G Suite for Business.

    Затем нажмите Зарегистрироваться.

    Введите название и URL своего веб-сайта, затем нажмите «Получить идентификатор отслеживания» внизу страницы.

    Вы увидите такую ​​страницу. Не паникуйте!

    Есть несколько способов установить Google Analytics на свой веб-сайт.

    Настройка Google Analytics

    Если вы используете WordPress или другую систему управления контентом, которая запрашивает ваш идентификатор отслеживания Google Analytics, вам просто нужен номер в самом верху. В моем случае это UA-98962030-1.

    Это не мой настоящий идентификатор отслеживания! Просто говорю, не публикуйте это в Интернете! 😉

    Плагин WordPress Google Analytics от MonsterInsights очень прост в настройке.

    Просто загрузите его, загрузите плагин в WordPress, активируйте его, и вы увидите этот экран.

    Нажмите синюю кнопку «Аутентификация», и она проведет вас через остальные этапы.

    Чтобы настроить плагин, вам нужно иметь уже созданный профиль Google Analytics, что мы и сделали на предыдущем шаге.

    Если вы не используете WordPress или хотите добавить код Google Analytics вручную, вот как это сделать.

    Вам нужно поместить этот код (в красном поле) на каждую из страниц вашего сайта.

    Самый простой способ сделать это — создать один файл с кодом в нем, а затем создать строку кода на каждой странице вашего веб-сайта, которая извлекает этот файл.

    Легко, верно?

    Не волнуйтесь, вот как это сделать!

    Для этого шага вам необходимо иметь доступ к файлам вашего веб-сайта на сервере вашей веб-хостинговой компании. Обычно это делается через FTP.

    Откройте FTP-клиент (отличный бесплатный клиент FileZilla) и войдите на свой сервер. Если у вас нет этой информации, вы можете создать учетную запись FTP в cPanel вашего веб-хостинга или просто обратиться к своему веб-хостингу, чтобы запросить информацию.

    Ваша информация для входа должна выглядеть примерно так:

    После подключения вы увидите список файлов и папок, подобных этому.

    Откройте новый текстовый файл (для этого подойдет Блокнот для Windows или TextEdit для Mac). Убедитесь, что для него установлено значение «Только обычный текст».

    В TextEdit нажмите Format -> Make Plain Text, чтобы сделать это.

    Это действительно важно, потому что текстовые процессоры, такие как Word, могут добавлять форматирование к коду, что может испортить код на вашем сайте. При работе с кодом всегда используйте обычный текст .

    Получив текстовый документ, вставьте код Google Analytics. Вы получите это:

    Сохраните файл как analyticstracking.php. Убедитесь, что он имеет расширение .php, а не .txt.

    Если ваш текстовый редактор по какой-то причине сохранил его с именем «analyticstracking.php.txt», просто переименуйте файл на вашем компьютере в «analyticstracking.php».

    Загрузите этот файл в корневой каталог через FTP (первая папка вашего сайта).

    Вам нужно добавить одну строку кода для каждого имеющегося у вас шаблона страницы. Это «вызывает» файл, который мы только что создали, и гарантирует, что каждая страница вашего веб-сайта, использующая этот шаблон, отслеживается в Google Analytics.

    Для этого загрузите все файлы PHP-шаблонов вашего веб-сайта и отредактируйте их.

    Если у вас есть файл с именем header.php, который загружается на каждой странице, вам нужно сделать это только один раз!

    Скачать header.php.

    Затем откройте загруженный файл в текстовом редакторе.

    Найдите тег и начало , например:

    Вставьте одну строку кода сразу после тега .

    Скопируйте этот код:

    И вставьте его сюда:

    Сохраните файл header.php и повторно загрузите его на свой веб-сайт.

    Готово!

    Если у вас нет файла header.php, вам необходимо повторить этот процесс для каждого шаблона php-страницы на вашем веб-сайте, например index.php, blog.php и так далее.

    Если вы используете WordPress, у вас определенно есть преимущество. Все, что вам нужно сделать, это установить плагин.

    Хорошо, осталось настроить еще кое-что, и мы перейдем к шагу 3.

    Настройка Google Search Console

    Теперь, когда мы настроили Analytics, пришло время добавить наш веб-сайт в Google Search Console (ранее известные как Инструменты Google для веб-мастеров).

    Нажмите здесь, чтобы перейти в консоль поиска. Войдите в свою учетную запись Google.

    Вы увидите этот экран:

    Нажмите «Начать сейчас».

    Затем вам нужно будет подтвердить, что вы являетесь владельцем этого домена. Есть несколько способов сделать это.

    По умолчанию он может показать вам вариант проверки через ваш веб-хост.

    Нажмите раскрывающееся меню, чтобы найти поставщика доменных имен.

    Если вашего нет в списке, вы можете нажать «Другое» (внизу).

    Затем Search Console попросит вас создать запись TXT, которая включает в себя изменение конфигурации вашего домена.

    Это немного выше вашего понимания? Не волнуйтесь, у меня есть способ намного проще!

    Если вы все еще хотите добавить запись TXT, вот как это сделать.

    Нажмите «Альтернативные методы» вверху.

    Подтвердить свой домен можно двумя простыми способами: с помощью Google Analytics или путем загрузки HTML-файла.

    Я расскажу об обоих.

    Чтобы подтвердить с помощью Google Analytics, просто выберите его и нажмите Подтвердить.

    Google проверит вашу учетную запись Google Analytics, чтобы убедиться, что вы действительно тот, за кого себя выдаете, и если это так, вы увидите сообщение об успешном завершении. Убедитесь, что вы используете тот же аккаунт Google для Search Console, что и для Analytics.

    Этот процесс по-прежнему довольно прост при использовании метода загрузки HTML-файла.

    Нажмите, чтобы загрузить файл на свой компьютер в шаге 1, затем снова откройте программу FTP. Загрузите HTML-файл Google в свой корневой каталог.

    Затем перейдите по URL-адресу, предоставленному Google, чтобы убедиться, что файл существует. В моем случае это https://neilpatel.com/googlefba739b2a6dd0306.html.

    Если вы загрузили его правильно, вы увидите имя файла в окне браузера.

    Вернитесь в Search Console и нажмите Подтвердить внизу.

    Вот оно!

    Не забудьте оставить файл HTML на своем сервере. Это гарантирует, что ваш сайт останется проверенным в Search Console.

    Есть еще две действительно важные вещи, которые вам нужно сделать прямо сейчас:

    • Добавить версии вашего домена neilpatel.com и www.neilpatel.com
    • Установить предпочтительный домен

    Зачем вам это нужно , ты спрашиваешь?

    Это может привести к ошибкам сканирования, которых мы пытаемся избежать!

    Добавить другую версию вашего URL очень просто — повторите тот же процесс , который я только что объяснил. В приведенном выше примере я подтвердил свой домен neilpatel.com. Поэтому я заходил в консоль поиска и выполнял те же действия, но вместо этого использовал «neilpatel.com».

    После добавления в Search Console адресов «yourdomain.com» и «www. yourdomain.com» вам необходимо указать предпочтительный домен.

    Для этого нажмите на свой сайт в Search Console.

    В правом верхнем углу щелкните значок шестеренки и выберите Настройки сайта.

    Выберите, хотите ли вы, чтобы ваши URL-адреса отображались с «www». или без.

    Позже в этой статье я покажу вам все замечательные вещи, которые вы можете делать с помощью Search Console, так что держите эту вкладку открытой!

    А теперь нам нужно вернуться к основам маркетинга и поговорить о создании SEO-стратегии для вашего контента.

    Шаг 3. Создание стратегии контент-маркетинга

    Для вашей же пользы иметь письменную стратегию контент-маркетинга, ориентированную на результаты поиска.

    Но не верьте мне на слово.

    От Института контент-маркетинга: 

    «Те, у кого есть задокументированная стратегия контент-маркетинга:

    • , гораздо чаще считают себя эффективными в контент-маркетинге
    • Чувствуют себя значительно менее сложными в каждом аспекте контент-маркетинга
    • Считают себя более эффективными в использовании всех тактик контент-маркетинга и каналов социальных сетей
    • Способны оправдать расходы на более высокий процент своего маркетингового бюджета на контент-маркетинг»

    Все это абсолютно верно. Что касается меня, то я чувствую себя намного лучше, когда у меня есть письменный план действий, на который я могу ссылаться и отслеживать свой успех.

    Мои блоги и несколько предприятий не росли бы так быстро, как они, если бы у меня не было письменного плана.

    В дополнение к тому, что вы будете сосредоточены на своих целях, документированная стратегия контента также поможет вам проиндексировать страницы вашего сайта, создавая новые страницы контента.

    Согласно отчету HubSpot «Not Another State of Marketing Report 2020», 60% контент-маркетологов заявили, что контент очень важен или чрезвычайно важен для их общей стратегии.

    Одно исследование показало, что компании, использующие контент-маркетинг, получают коэффициент конверсии в шесть раз выше.

    Делать все возможное, чтобы публиковать ценный, интересный и полезный контент, а затем делать все возможное, чтобы его увидели ваши потенциальные клиенты.

    Вот пример.

    Когда я создаю и публикую профессиональную инфографику на своем сайте, и она публикуется на другой веб-странице со ссылкой на мою страницу, я получаю «кредит» контент-маркетинга за обе публикации.

    Поскольку это инфографика, у меня больше шансов заинтересовать свою аудиторию на обоих сайтах.

    Инфографика имеет один из самых высоких показателей вовлеченности читателей. Доказано, что большинство людей тратят больше времени на просмотр инфографики, чем на чтение текста на странице.

    Но ты ведь читаешь это, верно?!

    Инфографика распространяется в социальных сетях примерно в 3 раза чаще, чем любой другой тип контента.

    Когда вы разрабатываете стратегию контент-маркетинга, ведение блога обязательно должно быть в списке.

    Но вам также необходимо учитывать контент, который вы будете публиковать на других веб-сайтах. Это не только помогает увеличить трафик, но также помогает увеличить скорость индексации и получить входящие ссылки.

    Вот несколько примеров внешнего контента, который можно включить в ваш план:

    • Гостевые посты на других сайтах в вашей нише
    • Пресс-релизы, отправленные на сайты, публикующие подобный контент
    • Статьи на сайтах-каталогах высококачественных статей высокого качества и может навредить вашему бренду, репутации и поисковой оптимизации. )
    • Некоторыми авторитетными каталогами являются Medium и HubPages.
    • Видео, размещенные на Vimeo или на вашем канале YouTube

    Конечно, любой контент   , на котором вы размещаете свое имя или бренд, должны быть высокого качества и опубликованы на уважаемом авторитетном сайте.

    В противном случае вы нанесете ущерб поисковой оптимизации и нанесете ущерб своему трафику и бренду.

    Контент, опубликованный на «спамных» сайтах со ссылкой на ваш сайт, предполагает в результатах поиска Google, что ваш сайт также является спамом.

    Примерами авторитетных сайтов для гостевых постов могут быть Forbes, Entrepreneur, Smashing Magazine и т. д. Это известные веб-сайты с репутацией качественного контента, и это именно то, что вы хотите ассоциировать с вашим брендом.

    Не очень хорошие места для публикации? Сайты, полные некачественных красных флажков: загроможденные рекламой, множеством грамматических или орфографических ошибок или неизвестные в отрасли, на которую вы пытаетесь ориентироваться.

    Я не хочу называть здесь никаких имен, но вашего здравого смысла должно быть достаточно, чтобы сказать вам, что такое спам-сайт. Например, сайт с названием «neilsbestmarketingadvice101.tumblr.com», вероятно, мало что вам даст, верно?

    Хорошо продуманный план контент-маркетинга поможет вам не попасть в ловушку безумной спешки, связанной с публикацией большего количества контента. Это ставит вас на место водителя поисковой оптимизации, чтобы вы могли сосредоточиться на привлечении потенциальных клиентов и повышении коэффициента конверсии.

    Создание письменной стратегии контента не должно быть сложным.

    Вот структура, которую я использую для себя:

    • Каковы ваши цели? Укажите цели SMART и способ измерения прогресса (например, показатели).
    • Кто ваша целевая аудитория? Профили или персонажи клиентов необходимы для понимания вашей аудитории и того, что они хотят/нужны.
    • Какие типы контента вы будете производить? Вы хотите убедиться, что предоставляете тот тип контента, который хочет видеть ваша целевая аудитория.
    • Где он будет опубликован? Конечно, вы будете размещать собственный контент на своем веб-сайте, но вы также можете обратиться к другим сайтам или использовать такие платформы, как YouTube, LinkedIn и Slideshare.
    • Как часто вы будете публиковать свой контент? Гораздо лучше регулярно выпускать одну хорошо написанную и качественную статью в неделю, чем публиковать каждый день в течение недели, а затем ничего не публиковать в течение месяца. Последовательность является ключевым фактором.
    • Какие системы вы будете использовать для публикации своего контента? Системы — это просто повторяющиеся процедуры и шаги для выполнения сложной задачи. Они помогут вам сэкономить время и быстрее написать свой контент, чтобы вы могли не отставать от графика. Все, что поможет вам публиковать контент за меньшее время без ущерба для качества, улучшит вашу прибыль.
    • Какие инструменты вы будете использовать? Укажите инструменты и технологии для ведения блогов/контента, которые вы будете использовать, и то, как они вписываются в вашу систему.

    После того, как вы задокументируете свой план контент-маркетинга, вам будет проще публиковать отличный контент по согласованному графику. Это поможет быстрее индексировать новые веб-страницы вашего сайта.

    Шаг 4: Начните вести блог

    Зачем вам нужен блог?

    Все просто: блоги — это трудолюбивые SEO-машины. Содержимое блога сканируется и индексируется быстрее, чем статические страницы.

    Блоги также приносят больше трафика. Компании, которые регулярно ведут блог, привлекают на свои сайты на 55 % больше посетителей, чем те, которые этого не делают.

    Ведение блога подходит для любого вида бизнеса, отрасли или ниши, а также почти для всех бизнес-моделей — даже для сайтов B2C и электронной коммерции.

    Не бойтесь вести блог.

    Да, это требует постоянных усилий. Вы должны регулярно писать (или отдавать на аутсорсинг) высококачественные подробные сообщения в блоге.

    Награды, которые я нашел, абсолютно того стоят.

    Если у вас есть сайт электронной коммерции, ведение блога не должно быть слишком сложным или трудным.

    Например, когда вы создаете новую страницу продукта, напишите и опубликуйте запись в блоге о новом продукте. Добавьте качественные изображения товара и ссылку на страницу товара. Это помогает странице продукта быстрее индексироваться поисковыми системами.

    Еще одна отличная стратегия ведения блога для электронной коммерции — писать сообщение каждый раз, когда клиент задает вам вопрос.

    Чтобы узнать больше о стратегии, ориентированной на продажи, поделитесь ссылкой на эту публикацию в блоге с другими блоггерами и влиятельными лицами, чтобы рассказать о ней. Возможно, они захотят представить ваш продукт в своих блогах, что опять же является отличным источником ссылок и трафика и положительно повлияет на скорость сканирования.

    Шаг 5. Используйте внутренние ссылки на своем веб-сайте

    Внутренние ссылки, т. е. ссылки на страницы вашего собственного веб-сайта, — еще один отличный способ быстро проиндексироваться и повысить свою позицию в результатах обычного поиска.

    Одним из очевидных источников внутренних ссылок является навигация вашего сайта.

    Важно структурировать навигацию по сайту таким образом, чтобы она была понятной для Google.

    Ваша навигация должна следовать предсказуемому потоку, например Главная страница -> Категория -> Подстраница.

    Все элементы должны быть явно связаны. Итак, если вы веб-дизайнер, ваша навигация может выглядеть так.

    Домашняя страница -> Услуги веб-дизайна -> Дизайн WordPress

    Видите, как все это связано и имеет смысл?

    Другим ключевым фактором является правильная структура URL-адресов. Эмпирическое правило Google заключается в том, чтобы они были максимально простыми и понятными.

    Итак, если это имеет смысл для вас, человека, это должно иметь смысл и для Google.

    Еще один отличный способ разместить ссылку на ваш контент — в сообщениях блога.

    Люди обычно связывают фразы в своих блогах с соответствующими темами, например, если я хочу предложить вам дополнительную информацию о структуре URL.

    Или я могу создать такую ​​строку:

    Связано:  Имеет ли значение структура URL? Ответ, основанный на данных

    Это создает ссылки, которые заставляют пауков Google возвращаться и снова сканировать эти страницы. Кроме того, это положительно влияет на пользовательский опыт. Ваши читатели оценят дополнительные ресурсы.

    Всегда помните об опыте пользователя. Это идет рука об руку с SEO. У Google есть все эти правила и способы работы, потому что он пытается предоставить наилучшие результаты своим пользователям и дать им ответы, которые они ищут.

    Вы должны быть сосредоточены на одном и том же!

    Шаг 6. Продвижение публикации вашего контента в социальных сетях

    Естественно, заставлять людей делиться вашим контентом в социальных сетях — это хорошо. Уверен, мне не нужно убеждать вас в этом!

    Он знакомит с вашим контентом новых людей, привлекает их на ваш веб-сайт, и именно такой контент люди хотят видеть больше всего.

    Но публикация ваших сообщений в социальных сетях также имеет преимущества для SEO, поскольку создает ссылки на ваш контент.

    Что, если вы обратили внимание… говорит поисковым роботам Google проиндексировать ваш сайт

    Бонусные баллы, если вы уже догадались.

    В настоящее время ведутся споры о том, насколько сильно ссылки в социальных сетях влияют на ранжирование в органическом поиске.

    Google сделал неоднозначные заявления по этому вопросу, заявив, что сначала в 2015 году они вообще не учитывали публикации в социальных сетях для ранжирования в органическом поиске, а затем заявили, что сделали это.

    «Да, мы используем его как сигнал. Он используется в качестве сигнала в наших органических и новостных рейтингах. Мы также используем его, чтобы улучшить нашу универсальную новостную ленту, отмечая, сколько людей поделилось статьей».

    Мэтт Каттс, ранее известный как Google, сказал несколько лет назад:

    В мае 2010 года я снял видео, в котором я сказал, что мы не использовали «социальные сети» в качестве сигнала, и в то время мы не использовали используйте это как сигнал, но сейчас мы записываем это в декабре 2010 года, и мы используем это как сигнал.

    Bing, с другой стороны, очень ясно дал понять, как он использует ссылки на социальные сети в рейтинге результатов поиска, известные как «социальные сигналы».

    Многие маркетологи считают, что социальные сигналы являются важным фактором ранжирования, и я один из них.

    Социальный обмен помог мне значительно расширить свой блог. Когда я запустил NeilPatel.com, я начал с нуля и быстро увеличил свою аудиторию до 60 000 читателей в месяц в течение 2 месяцев.

    Сейчас у меня в среднем более 20 миллионов посещений в месяц.

    Я во многом приписываю свой успех обмену информацией в социальных сетях и положительному росту SEO, который я получил благодаря социальным сигналам, ссылкам и увеличению скорости индексации страниц.

    Когда дело доходит до публикации в социальных сетях, в любом случае есть много других преимуществ для вашего сайта, так что просто сделайте это!

    Шаг 7. Добавьте плагин карты сайта, чтобы Google проиндексировал ваш сайт

    Во-первых, давайте поговорим о том, что такое карта сайта.

    Вы, несомненно, уже встречали слово «карта сайта», но, возможно, вы никогда не знали точно, что оно означает и как оно связано с поисковой оптимизацией.

    Карта сайта — это файл, который сообщает Google о файлах на вашем веб-сайте, в том числе о том, как они связаны друг с другом. Это упрощает для Google сканирование и индексацию вашего сайта.

    Карта сайта представляет собой список (в формате XML) всех страниц вашего сайта . Его основная функция — сообщать поисковым системам об изменениях — будь то новая веб-страница или изменения на определенной странице — а также о том, как часто поисковая система должна проверять наличие изменений.

    Влияют ли карты сайта на ваш поисковый рейтинг? Могут, но незначительно.

    Они помогают вашему сайту быстрее индексироваться благодаря более эффективной скорости сканирования.

    В современном мире поиска существует множество мифов о поисковой оптимизации , с которыми вам следует опасаться. Но одно остается неизменным: при прочих равных условиях отличный контент поднимется на вершину, как сливки.

    Файлы Sitemap помогают сканировать и индексировать ваш контент, чтобы он мог быстрее подняться на вершину поисковой выдачи, согласно блогу Google для веб-мастеров.

    По словам самого Google, «Отправка файла Sitemap поможет вам убедиться, что Google знает об URL-адресах на вашем сайте».

    Это гарантия того, что ваш сайт будет немедленно проиндексирован? Нет. Но это определенно эффективный инструмент для веб-мастеров, который помогает в этом процессе.

    Кейси Генри задавался вопросом, насколько карты сайта повлияют на скорость сканирования и индексацию, поэтому он решил провести небольшой эксперимент.

    Кейси поговорил с одним из своих клиентов, который вел довольно популярный блог, используя как WordPress, так и плагин Google XML Sitemaps Generator WordPress (подробнее об этом ниже).

    С разрешения клиента Кейси установил скрипт отслеживания, который будет отслеживать действия робота Googlebot на сайте. Он также отслеживал, когда бот обращался к карте сайта, когда карта сайта была отправлена ​​и каждую просканированную страницу. Эти данные хранились в базе данных вместе с отметкой времени, IP-адресом и пользовательским агентом.

    Клиент просто продолжил свой обычный график публикаций (около двух или трех сообщений в неделю).

    Кейси назвал результаты своего эксперимента не чем иным, как «потрясающими» с точки зрения поисковой оптимизации.

    Судите сами: если карта сайта не была отправлена, Google в среднем потратил 1375 минут, чтобы найти, просканировать и проиндексировать новый контент.

    Когда была отправлена ​​карта сайта? Это среднее значение упало до 14 минут.

    Как часто вы должны просить Google проверять наличие изменений, отправляя новую карту сайта? Непреложного правила нет.

    Однако некоторые виды контента требуют более частого обхода и индексирования.

    Например, если вы добавляете новые продукты на сайт электронной коммерции, и у каждого из них есть собственная страница продукта, вам нужно, чтобы Google чаще проверял, увеличивая скорость сканирования. То же самое верно для сайтов, которые регулярно публикуют горячие или экстренные новости, которые постоянно конкурируют в запросах поисковой оптимизации.

    Но есть гораздо более простой способ создания и отправки карты сайта. Если вы используете WordPress, просто установите и используйте плагин Google XML Sitemaps.

    Его настройки позволяют указать плагину, как часто карта сайта должна создаваться, обновляться и отправляться в поисковые системы. Он также может автоматизировать процесс для вас, так что всякий раз, когда вы публикуете новую страницу, карта сайта обновляется и отправляется.

    Другие инструменты карты сайта, которые вы можете использовать, включают Генератор карт сайта XML, онлайн-инструмент, который должен работать для любого типа веб-сайта.

    Когда у вас есть карта сайта, вы хотите отправить ее в Google Search Console, о чем мы поговорим далее.

    Шаг 8. Отправьте карту сайта в Search Console

    Крайне важно убедиться, что ваша карта сайта обновлена ​​с помощью Google Search Console. Мне нравится заходить раз в 2 недели или, по крайней мере, ежемесячно и обновлять его.

    Еще не зарегистрированы в Google Search Console? Вернитесь к шагу 2, чтобы узнать, как это сделать.

    Щелкните URL-адрес, чтобы перейти на панель инструментов для этого сайта. Слева в разделе «Индекс» нажмите «Карты сайта». Вы увидите карты сайта, уже отправленные в Google, а также добавите новую карту сайта.

    Для следующего шага вам нужен URL вашей карты сайта. Если вы используете плагин для WordPress, эта информация будет доступна в настройках плагина.

    Обычно используется URL-адрес yourdomain.com/sitemap.xml.

    Как я упоминал выше, вы также можете использовать веб-сайт, такой как XML-Sitemaps.com, чтобы создать его. Для этого просто введите свой URL-адрес и выберите периодичность изменения времени.

    Частота изменений просто сообщает Google, как часто следует индексировать ваш сайт. Это просто предложение для Google, и паук должен определить, когда он вернется, чтобы снова проиндексировать ваш сайт.

    Как только он предоставит вам файл sitemap.xml, загрузите его на свой веб-сайт через FTP.

    Получив URL-адрес карты сайта, введите его в Google Search Console.

    После отправки вы увидите это внизу страницы.

    После того, как Google закончит индексацию, столбец «Обработано» изменится с «Ожидание» на дату индексации.

    Как видите, только 294 из моих 473 веб-страниц были проиндексированы! Будем надеяться, что паук наберет их больше во время этого ползания. Тем не менее, не пугайтесь, если увидите похожую статистику — некоторые из этих страниц, вероятно, все равно не нужно индексировать (подробности см. в шаге 17!).

    Возьмите за привычку отправлять новую карту сайта не реже одного раза в месяц.

    Вы также можете использовать инструменты Bing для веб-мастеров , чтобы сделать то же самое для Bing. Хорошо бы охватить все ваши базы, тем более что Bing — вторая по популярности поисковая система после Google!

    Шаг 9. Создайте каналы в социальных сетях

    У вас есть профили в социальных сетях для вашего сайта или блога? Если нет, то сейчас самое время.

    Почему? Потому что, как мы узнали на шаге 6, одним из компонентов поисковой оптимизации является внимание к социальным сигналам.

    Эти сигналы могут побудить поисковые системы просканировать и проиндексировать ваш новый сайт.

    Более того, социальные сигналы помогут вам повысить рейтинг ваших страниц в результатах поиска.

    Уже сейчас очевидно, что надежный план маркетинга в социальных сетях помогает SEO. Но социальные профили для вашего сайта также дают вам еще одно место для добавления ссылок на ваш сайт или блог.

    Профили Twitter, страницы Facebook, профили LinkedIn или страницы компаний, профили Pinterest, каналы YouTube и особенно профили или страницы Google+ — все это легко создать, и это идеальные места для добавления ссылок, указывающих на ваш веб-сайт.

    Если вы не хотите создавать новые профили в социальных сетях для своего нового сайта или блога, вы можете просто добавить ссылку на новый сайт в свои существующие профили, чтобы увеличить скорость сканирования.

    Однако я настоятельно рекомендую создавать новые профили для проектов. Помимо того, что это хорошо для SEO, это будет отлично для брендинга.

    Это, наверное, само собой разумеется, но если вы создаете эти каналы в социальных сетях, будьте готовы также регулярно обновлять их новым контентом.

    Шаг 10. Используйте robots.txt

    Если вы не являетесь опытным программистом или разработчиком, возможно, вы видели файл robots.txt в файлах вашего домена и задавались вопросом, что это такое и для чего оно предназначено. .

    Часть "что это такое" очень проста. Это простой текстовый файл, который должен находиться в корневом каталоге вашего домена. Если вы используете WordPress, он будет в корневом каталоге вашей установки WordPress.

    Часть "что он делает" немного сложнее. По сути, robots.txt — это файл, который дает робам поисковых систем строгие инструкции относительно того, какие страницы они могут сканировать и индексировать, а от каких страниц следует держаться подальше.

    Когда поисковые роботы находят этот файл в новом домене, они читают содержащиеся в нем инструкции, прежде чем делать что-либо еще.

    Если они не находят файл robots.txt, поисковые роботы предполагают, что вы хотите просканировать и проиндексировать каждую страницу.

    Теперь вы можете задаться вопросом: «С какой стати я хочу, чтобы поисковые системы , а не индексировали страницу моего сайта?» Это хороший вопрос!

    Короче говоря, это потому, что не каждая страница, существующая на вашем сайте, должна учитываться как отдельная страница для результатов поиска. (Подробнее об этом позже!)

    Ваш первый шаг — подтвердить, что на вашем новом сайте есть файл robots.txt. Вы можете сделать это либо по FTP, либо щелкнув файловый менеджер через CPanel (или эквивалент, если ваша хостинговая компания не использует CPanel).

    Если его нет, вы можете легко создать его с помощью обычного текстового редактора, такого как Блокнот.

    Примечание: Очень важно использовать только простой текстовый редактор, а не что-то вроде Word или WordPad, которые могут вставлять в документ невидимые коды, которые действительно все испортят.

    WordPress-блогеры могут оптимизировать свои файлы robots.txt с помощью надежного плагина WordPress, такого как SEO-плагин Yoast.

    Формат файла robots.txt довольно прост. В первой строке обычно указывается пользовательский агент, который является просто именем поискового бота — например, Googlebot или Bingbot. Вы также можете использовать звездочку (*) в качестве подстановочного идентификатора для всех ботов. Этот тип плагина WordPress является эффективным инструментом для веб-мастеров.

    Далее идет строка команд Allow или Disallow. Они сообщают поисковым системам, какие части они должны сканировать и индексировать («Разрешить»), а какие следует игнорировать («Запретить»).

    Эти правила гарантируют, что только те страницы, которые вы хотите проиндексировать, попадут в результаты поиска.

    Итак, резюмируем: функция robots.txt — сообщать поисковым системам, что делать с контентом/страницами на вашем сайте. Но поможет ли это проиндексировать ваш сайт?

    Суровый Агравал из ShoutDreams Media говорит:

    Да.

    Он смог проиндексировать сайты в течение 24 часов, используя комбинацию стратегий, включая robots.txt и методы поисковой оптимизации на странице.

    При всем при этом очень важно быть очень осторожным при редактировании файла robots.txt, потому что легко сделать ошибку, если вы не знаете, что делаете.

    Неправильно настроенный файл может скрыть весь ваш сайт от поисковых систем. Это полная противоположность тому, что вы хотите! Вы должны понимать, как правильно редактировать файл robots.txt, чтобы не снизить скорость сканирования.

    Вы можете нанять опытного разработчика, чтобы он позаботился об этой работе, и оставить его в покое, если вас не устраивает риск повредить SEO.

    Если вы хотите попробовать это сами, вы можете использовать инструмент Google robots.txt , чтобы убедиться, что ваш файл закодирован правильно.

    Шаг 11: Проиндексируйте свой сайт с помощью других поисковых систем

    Вы также можете воспользоваться прямым подходом и отправить URL своего сайта в поисковые системы.

    Прежде чем сделать это, вы должны знать, что существует много разногласий по поводу ручной отправки URL-адреса сайта как метода индексации сайта.

    Некоторые блоггеры предполагают, что это как минимум ненужно, если не откровенно вредно.

    В большинстве случаев, если ваш сайт существует дольше недели, поисковые системы уже его нашли. Отправка вручную бессмысленна, а платить компаниям за это — грабеж.

    Ручная отправка в поисковые системы также может быть вредной, если вы отправляете свой сайт на бесплатные сайты отправки, которые предлагают разместить ваш сайт в нескольких поисковых системах. Эти ссылки могут быть некачественными и негативно влиять на SEO.

    Видите все эти случайные каталоги и веб-сайты, на которые он собирается отправить ваш сайт?

    Если эти сайты рассматриваются Google как спам, наличие ссылок на ваш сайт с них повредит вашему рейтингу SEO. Google накажет вас за то, что вы «привязаны» к этим сайтам.

    Поскольку существуют и другие эффективные методы, большинство блоггеров и владельцев сайтов игнорируют этот шаг.

    С другой стороны, это не займет много времени и не повредит вашему SEO, если вы просто отправляете заявку на Google, Bing, Yahoo или другие очень авторитетные веб-сайты.

    Чтобы отправить URL-адрес вашего сайта в Google, просто попросите Google повторно просканировать ваши URL-адреса с помощью обновления карты сайта или с помощью инструмента проверки URL-адресов.

    Примечание. Ранее Google позволял напрямую отправлять URL-адреса для индексации, но больше этого не делает.

    Шаг 12. Поделитесь своим контентом на агрегаторах

    Агрегаторы контента — это веб-сайты, которые действуют как поисковая система для пользовательского контента.

    Это означает, что люди размещают свой контент на этих сайтах, после чего посетители могут искать и находить контент от людей со всего мира. Это огромные сети контента с возможностью поиска.

    Известные примеры — Reddit и Medium.

    Размещение вашего контента на агрегаторах — отличный источник ссылок и новой информации, как и в социальных сетях.

    Некоторые другие агрегаторы, на которых вы можете поделиться своим контентом:

    • Quora
    • Slideshare
    • BlogEngage
    • Digg
    • Scoop.it

    Medium также является отличным местом для обмена вашим контентом. Для получения более подробной информации ознакомьтесь с моим полным руководством по увеличению трафика вашего сайта с помощью Medium.

    Шаг 13. Поделитесь ссылкой на свой веб-сайт повсюду

    Еще один простой способ получить ссылки на ваш новый сайт или блог — обновить свой собственный социальный статус.

    Конечно, эти ссылки будут nofollow, но они все равно будут учитываться в целях оповещения об индексации, поскольку мы знаем, что Google и Bing, по крайней мере, отслеживают социальные сигналы с веб-страниц.

    Здесь также применима старая поговорка «Ваша сеть — это ваш собственный капитал». Если вы только начинаете, ваши первые клиенты могут прийти из семьи, друзей или людей, которых они знают, поэтому не стесняйтесь делиться своим новым веб-сайтом в своих личных учетных записях в социальных сетях.

    Если вы находитесь на Pinterest, выберите высококачественное изображение или снимок экрана с вашего нового сайта.

    Добавьте URL-адрес и оптимизированное описание (т. е. убедитесь, что вы используете подходящие ключевые слова для своего сайта) и закрепите его либо на существующей доске, либо на новой, созданной для вашего сайта.

    Мне нравится, как Whole Foods использует Pinterest для взаимодействия со своей целевой аудиторией (например, гурманами и любителями натуральных рецептов). У них есть доски для каждой темы, включая текущие праздники и сезонные тренды.

    Если вы на YouTube, творите! Запишите короткий видеоролик, представляющий ваш сайт и подчеркивающий его особенности и преимущества. Затем добавьте URL-адрес в описание видео.

    Social Media Examiner предлагает указать ваш URL в первой строке описания.

    Я также рекомендую использовать правильные ключевые слова в заголовке и описаниях.

    Если у вас есть список адресов электронной почты другой компании, относящейся к той же нише, что и ваш новый сайт, вы можете разослать всему списку рассылку с описанием вашего нового сайта и ссылкой.

    Джон Морроу, известный копиблогер, сделал это со своим новым веб-сайтом Unstoppable.me. Он создал список адресов электронной почты тысяч людей из своих многочисленных предприятий и успешно использовал его для привлечения трафика на свое новое предприятие.

    Когда он опубликовал свой первый пост, он разослал электронное письмо своим подписчикам с других своих веб-сайтов, чтобы сообщить им о своем новом сайте.

    Он также использовал свой раздел биографии на своем сайте SmartBlogger , чтобы привлечь трафик на свой новый блог.

    Его первый пост на Unstoppable.me собрал более 60 000 репостов в Facebook и 3 000 репостов в Twitter всего за первый месяц.

    Наконец, не забывайте о своей личной учетной записи электронной почты. Добавьте новый URL-адрес и имя сайта в подпись электронной почты. Это просто, но это работает.

    Шаг 14. Настройка RSS-канала

    Что такое RSS?

    RSS — это автоматический поток контента вашего веб-сайта, который обновляется, когда вы публикуете новую запись в блоге. Это означает Really Simple Syndication или Rich Site Summary, и это хорошо как для пользователей, так и для владельцев сайтов.

    Как это влияет на индексирование и сканирование?

    Что ж, прежде чем мы перейдем к этому, давайте проясним одну вещь: многие думают, что RSS мертв.

    Количество пользователей неуклонно падает с тех пор, как Google убил Google Reader в 2013 году. Я думаю, что RSS развивается, а не умирает.

    RSS обычно помогает увеличить число читателей и коэффициент конверсии, но также может способствовать индексации ваших страниц .

    Для пользователей RSS-каналы предоставляют гораздо более простой способ потреблять большое количество контента за более короткий промежуток времени.

    Пользователи могут подписаться на вашу RSS-ленту в своей любимой программе чтения RSS и автоматически получать ваши новые сообщения. Популярными читателями RSS являются Feedly и Feeder.

    Как владелец сайта вы получаете возможность мгновенного распространения нового контента и возможность для читателей подписаться на вас без необходимости раскрывать свой адрес электронной почты, что некоторым людям не нравится делать.

    Хотя вы по-прежнему хотите сосредоточить большую часть своих усилий на создании списка адресов электронной почты, предложение подписки на RSS-канал улучшает взаимодействие с пользователем, предоставляя людям, заботящимся о конфиденциальности, еще один вариант подписки на вас.

    При рассмотрении RSS-канала есть несколько рекомендаций, которым следует следовать:

    • Решите, хотите ли вы показывать полное содержание сообщения или выдержки.  Если вы пишете длинный контент (более 2000 слов), вам, скорее всего, следует размещать в RSS-канале только отрывки.
    • Убедитесь, что ваш фид содержит изображения , иначе ваши подписчики могут пропустить ценную инфографику или другую графику, необходимую для понимания поста.

    Настройка вашего RSS-канала с помощью Feedburner (собственный инструмент Google для управления RSS) помогает уведомить Google о том, что у вас есть новая запись в блоге или страница, которая готова для сканирования и индексации.

    Чтобы создать RSS-канал для своего сайта, перейдите на Feedburner. Войдите в свой аккаунт Google.

    Введите свой URL в поле и нажмите Далее.

    Дайте вашей ленте заголовок и URL-адрес Feedburner (это будет общедоступный адрес вашей RSS-ленты).

    Затем вы увидите сообщение об успешном завершении с новым URL-адресом Feedburner. Чтобы заставить людей подписаться на него, просто перейдите по этому URL-адресу.

    Например, на вашем веб-сайте может быть кнопка с надписью «Подписаться через RSS» и ссылка на этот URL.

    Шаг 15. Разместите свой веб-сайт в каталогах

    Возможно, вы уже знаете, что добавление нового URL-адреса в каталоги блогов может помочь вашему сайту «найти» новых потенциальных пользователей. Разве я не говорил тебе не делать этого несколько шагов назад?

    Вот в чем дело — ваш сайт может быть проиндексирован быстрее — если вы сделаете это правильно.

    Когда-то каталоги бесплатных блогов были завалены цифровым ландшафтом. Были буквально сотни, если не тысячи, таких сайтов, и большинство из них не приносило никакой пользы читателям блогов.

    Проблема с качеством стала настолько серьезной, что в 2012 году Google удалил из своего индекса множество каталогов бесплатных сайтов, должным образом понизив рейтинг веб-страниц с небольшой ценностью контента.

    Moz изучил проблему , проанализировав 2678 каталогов, и, наконец, пришел к выводу, что «из 2678 каталогов только 94 были запрещены — не так уж и плохо.

    Однако было еще 417 каталогов, которые избежали блокировки, но были оштрафованы».

    Так какой же ответ?

    Если вы собираетесь отправлять в каталоги, убедитесь, что вы отправляете только в авторитетные каталоги с достойным рейтингом.

    Лучшие списки каталогов, составленные отраслевыми и авторитетными блогами, могут помочь вам отсеять хорошее от плохого, но убедитесь, что используемый вами список актуален.

    Например, этот от Harsh Agrawal был обновлен совсем недавно, в 2019 году.

    Другие варианты, которые вы, возможно, захотите изучить, это TopRank, у которого есть огромный список сайтов, на которые вы можете отправить свой RSS-канал и блог; Technorati, который является одним из лучших каталогов блогов; и — после того, как вы опубликуете приличное количество высококачественного контента — субдомен Alltop для вашей ниши или отрасли.

    Отправка на высококачественные сайты с достойным рейтингом авторитета домена может не только открыть ваш контент для совершенно новой аудитории, но и предоставить входящие ссылки, которые могут подтолкнуть поисковые системы к сканированию и индексированию вашего сайта.

    Простой способ разместить свой сайт сразу в нескольких каталогах — воспользоваться бесплатной службой Ping O Matic.

    Ping O Matic уведомляет каталоги об изменении вашего веб-сайта и о том, что они должны его проиндексировать. Это занимает около 30 секунд, и вот как.

    Введите название своего блога, URL-адрес домашней страницы и URL-адрес RSS (если он у вас есть), вот так. В разделе Services to Ping выберите каталоги, подходящие для вашего сайта:

    Щелкните Отправить Pings, и все готово.

    Шаг 16. Часто проверяйте наличие ошибок сканирования Google

    Этот шаг очень важен для поддержания частоты индексирования. Я предпочитаю проверять наличие ошибок сканирования не реже одного раза в месяц для своих веб-сайтов.

    Чтобы проверить наличие ошибок сканирования, откройте консоль поиска.

    Слева нажмите «Настройки» > «Статистика сканирования» > «Открыть отчет».

    На странице статистики сканирования вы узнаете, как часто Google индексирует ваш веб-сайт, и за этим определенно стоит следить.

    Например, если мои результаты растут, это означает, что Google теперь чаще меня индексирует — это хорошо. Но если ваш график имеет тенденцию к снижению, это может быть признаком того, что вам нужно опубликовать больше контента или отправить новую карту сайта.

    Затем загляните в раздел «Индекс» и нажмите «Покрытие».

    На этом экране отображаются все ошибки, с которыми столкнулся робот Googlebot при сканировании вашего сайта, например ошибка 404.

    Вот то, что вы должны отслеживать не реже одного раза в месяц:

    • Ошибки сканирования
    • Среднее время отклика
    • Статистика сканирования

    Еще один полезный инструмент — тестер структурированных данных. Google использует структурированные данные, чтобы лучше понять, о чем ваш сайт.

    Структурированные данные в основном означают, что вы предоставляете Google актуальную информацию, чтобы помочь ответить на вопросы пользователей.

    Вот пример. Я искал концерты рядом со мной.

    Этот веб-сайт использовал структурированные данные, чтобы сообщить Google, что эти списки будут полезны для меня, и они отображаются под их обычным заголовком и описанием SEO-страницы.

    Так как же получить и это?

    Это довольно сложно, так что это может быть еще один элемент, который вы хотите передать на аутсорсинг разработчику.

    Вы можете увидеть все варианты структурированных данных в галерее поиска Google.

    У Google также есть упрощенный инструмент, помогающий пользователям, не являющимся разработчиками, добавлять структурированные данные на свои сайты. Перейдите к помощнику по разметке структурированных данных и введите информацию о своем веб-сайте.

    Затем вам просто нужно выделить элемент на веб-странице, который вы хотите преобразовать в структурированные данные.

    Из всплывающего меню вы можете добавить такие атрибуты, как автор, дата публикации, изображение, URL-адрес, основной текст статьи и т. д.

    Если вы внедрили структурированные данные, вы можете использовать инструмент тестирования для их проверки.

    Опять же, это довольно сложная штука, поэтому, если вы не разработчик, лучше нанять профессионала, который позаботится об этом за вас.

    Шаг 17. Убедитесь, что страницы, которые не следует индексировать, таковыми не являются. Вот страницы, которые вы не хотите показывать в поиске:

    Страницы благодарности:  Обычно это страницы, на которые кто-то попадает после подписки на вашу рассылку или загрузки электронной книги. Вы же не хотите, чтобы люди миновали очередь и сразу добрались до товара! Если эти страницы будут проиндексированы, вы можете потерять потенциальных клиентов, заполняющих форму.

    Дублированный контент:  Если какие-либо страницы на вашем сайте имеют дублированный контент или немного отличаются, например страница, для которой вы проводите A/B-тестирование, вы не хотите, чтобы она индексировалась.

    Скажем, например, что у вас есть две страницы с одинаковым содержанием на вашем сайте. Возможно, это потому, что вы проводите раздельное тестирование визуальных особенностей своего дизайна, но содержание двух страниц совершенно одинаково.

    Дублированный контент, как вы, наверное, знаете, может стать проблемой для поисковой оптимизации. Таким образом, одно из решений — использовать файл robots.txt, чтобы проинструктировать поисковые системы игнорировать один из них.

    Вот как убедиться, что страницы, которые вы хотите исключить, не будут проиндексированы.

    Вариант 1. В вашем файле robots.txt

    Помните файл robots.txt, который мы создали на шаге 10? Вы можете добавить в него директивы, чтобы запретить поисковым системам индексировать файл или весь каталог. Это может быть удобно, если вы хотите, чтобы весь раздел вашего сайта оставался непроиндексированным.

    Чтобы добавить это, откройте файл robots.txt.

    См. Шаг 10, чтобы узнать, как это сделать, если вам нужно переподготовку.

    Чтобы запретить индексацию страницы, введите этот код в файл robots.txt.

    Запретить: /nameoffolder/

    Это блокирует все в этой папке. Кроме того, вы можете просто заблокировать один файл.

    Disallow: /folder/filename.html

    Сохраните, перезалейте на свой сервер и все. Для получения дополнительной информации о файлах robots.txt посетите robotstxt.org.

    Вариант 2: Используйте ссылки nofollow или noindex

    Этот вариант очень прост. Когда вы создаете ссылку на своем сайте, просто добавьте тег nofollow или noindex к ссылке .

    Во-первых, давайте рассмотрим, что они означают.

    Nofollow: Указывает Google не сканировать ссылки на этой странице.

    Это означает, что если я перейду на ваш веб-сайт с neilpatel.com и использую ссылку nofollow, ни один из моих ссылок (или авторитет домена) не будет передан вам.

    Noindex: Указывает Google не индексировать страницу, даже если паук ее видит. Он не будет добавлен в результаты поиска.

    Вы можете использовать оба одновременно.

    Вот пример.

    Если вы ссылаетесь на специальную целевую страницу для мероприятия, которое вы проводите только для VIP-персон, и не хотите, чтобы эта страница отображалась в результатах поиска, вы должны указать на нее тег noindex.

    Это будет выглядеть так: Посмотрите мое супер классное мероприятие.

    Даже если люди будут искать в Google «супер крутое мероприятие Нила», эта страница не появится.

    (Однако вы получите множество вариантов концертов в честь Нила Даймонда. )

    Чаще всего вы захотите использовать тег noindex. Обычно вы хотите использовать nofollow только для партнерских ссылок, ссылок, за создание которых вам заплатили, или ссылок, за которые вы получаете комиссию. Это потому, что вы не хотите «продавать ссылки».

    Когда вы добавляете nofollow, он сообщает Google не передавать полномочия вашего домена этим источникам. По сути, он защищает сеть от повреждений, когда дело доходит до ссылок.

    Если вы хотите, чтобы вся страница была исключена из результатов поиска из всех источников, а не просто включала теги nofollow или noindex в свои ссылки, выполните следующие действия.

    Сначала откройте HTML-код страницы.

    Если вы используете CMS (систему управления контентом), такую ​​как WordPress, вы можете отредактировать этот файл с помощью Yoast, чтобы добавить тег noindex.

    Если у вас нет такой CMS, как WordPress, вы можете загрузить страницу, которую нужно отредактировать, через FTP.

    Не знаете, как использовать FTP? Вернитесь к шагу 2, где я объясню это!

    Нажмите на страницу, которую хотите исключить из результатов поиска, и загрузите ее.

    Откройте его в текстовом редакторе. Блокнот для Windows или TextEdit на Mac отлично подходят для этого. Найдите тег , например:

    Прямо перед этим тегом вы хотите вставить ОДИН из следующих фрагментов кода.

    Если вы хотите, чтобы страница была исключена из результатов поиска, но при этом переходить по ссылкам на странице, используйте:

    Если вы хотите, чтобы страница была включена в результатах поиска, но чтобы Google не переходил по ссылкам на странице, используйте:

    И, если вы хотите, чтобы страница была исключена из поиска И для Google чтобы не переходить по ссылкам, используйте:

    Вот так:

    Шаг 18. Составьте план обновления старого контента

    Итак, что мы уже узнали об индексировании?

    Каждый раз, когда вы обновляете свой веб-сайт, Google хочет сканировать его чаще.

    Отличный способ заработать на этом — составить план регулярного обновления старого контента.

    Вот чем я сейчас занимаюсь с этим мега-постом!

    Этот пост был первоначально опубликован в 2015 году, и я стараюсь обновлять его не реже одного раза в несколько месяцев или когда происходят серьезные изменения Google, чтобы он оставался актуальным.

    Информация быстро устаревает, особенно в быстро меняющемся мире маркетинга. Каждый месяц я составляю список своих старых постов и выбираю несколько, чтобы дополнить их свежей информацией и советами. Редактируя хотя бы несколько сообщений в месяц, я гарантирую, что мой контент остается актуальным и полезным.

    Чтобы максимально повысить скорость индексации, старайтесь обновлять свой веб-сайт не менее трех раз в неделю. Этими тремя вещами могут быть публикация одного нового поста в блоге и обновление контента в двух старых постах.

    Обновление по крайней мере три раза в неделю говорит Google, что ему следует чаще проверять вас, чтобы убедиться, что у него есть последняя версия вашего сайта.

    Вся эта индексация и новая информация означают, что обновление ваших старых сообщений может увеличить ваш обычный поисковый трафик на 111%!

    Вот несколько простых способов обновить старое содержимое.

    Проверьте наличие устаревших фактов или терминов: Например, в этом сообщении упоминались инструменты Google для веб-мастеров, которые теперь называются Search Console.

    Ссылка на свежие источники информации:  Если вы написали пост о поисковой оптимизации в 2013 году и использовали в нем данные того же года, тогда это было нормально, но не в 2017 году. Обновите свои пункты и вспомогательную информацию, чтобы они были актуальными.

    Неработающие ссылки/новые ссылки:  Проверьте наличие неработающих ссылок и исправьте их или при необходимости измените любые ссылки в своем сообщении на более качественные источники. Например, я могу перенаправить старые ссылки на свежий, новый контент на моем собственном сайте.

    Ссылка на другой ваш контент: Включите ссылки на новые сообщения или соответствующий контент, который вы опубликовали после исходного сообщения. Большинство блоггеров делают это так:

    Похожие:  Умерло ли SEO?

    Обновите свои точки зрения: Это важно. Просмотрите старые сообщения и при необходимости обновите свои рекомендации до более актуальных. Вещи меняются! Как и решения, которые вы предлагаете людям.

    Часто задаваемые вопросы об индексировании сайтов Google

    Какие факторы индексации веб-сайтов важны?

    Скорость сканирования, способность Google и других поисковых систем индексировать и сканировать ваш сайт, а также ошибки, обнаруженные Google (см. Google Search Console)

    Как Google индексирует ваш сайт?

    Google использует внутренние ссылки и карты сайта для сканирования вашего сайта. Вы можете отправить карту сайта вашего сайта в Google Search Console.

    Какое значение имеет контент-маркетинг для индексации вашего сайта Google?

    Повышение посещаемости ваших страниц поможет им проиндексироваться. Создайте стратегию контент-маркетинга и цели для увеличения трафика.

    Какие области стратегии содержания важны для моего нового сайта?

    Определите свои цели, целевую аудиторию, типы контента, частоту публикации, систему управления контентом и инструменты, которые вы будете использовать для публикации и продвижения контента.

    Google Index Your Site Заключение

    Надеюсь, вам понравилось это подробное руководство по индексации вашего сайта!

    Я знаю, что многое нужно понять. Я не знал и половины этого, когда начинал вести блог.

    В своем первом блоге я установил Google Analytics, и все!

    Конечно, тогда у нас не было столько возможностей для улучшения нашего рейтинга SEO или индексации, и это не зависело от сложного алгоритма, как сейчас.

    Вот почему я написал это руководство. Очень важно изучить SEO и индексацию при запуске нового веб-сайта, особенно со всей конкуренцией.

    Можно выйти на первую страницу и «обыграть больших парней», но для этого нужно много работать и проводить исследования.

    Мой лучший совет:

    Продолжайте учиться и быть в курсе отраслевых новостей. Все меняется так быстро, особенно когда дело доходит до поисковых систем.

    Изучите SEO и перепроверьте любую новую предложенную технику с помощью собственного независимого исследования, прежде чем пробовать ее.

    Удостоверьтесь, что вы часто обновляете свой сайт — не только новым контентом, но и старыми сообщениями. Это заставляет Google часто возвращаться к сканированию вашего сайта и сохраняет актуальность этих сообщений для новых посетителей.

    Затем составьте план цифрового маркетинга.

    Запишите свой план контент-маркетинга, в том числе то, как вы будете отслеживать индексацию, аналитику и как вы будете обновлять старую информацию на своем сайте. Я не смог бы расти так быстро, как я, без письменного плана.

    Наконец, получите профессиональную помощь по SEO, если она вам нужна. Не у всех владельцев бизнеса есть время следить за маркетингом, тем более, что он так быстро меняется. Профессионал часто может получить результаты намного быстрее и сэкономить деньги в долгосрочной перспективе.

    Какие тактики сканирования и индексации вы применяли? Каковы были ваши результаты?

    Посмотрите, как мое агентство может привлечь огромное количество трафика на ваш сайт Смотрите реальные результаты.

  • Контент-маркетинг — наша команда создает эпический контент, которым будут делиться, получать ссылки и привлекать трафик.
  • Платные медиа - эффективные платные стратегии с четкой окупаемостью.

Закажите звонок

5 наиболее распространенных проблем с индексированием Google в зависимости от размера веб-сайта

Google не скрывает тот факт, что он не индексирует все страницы, которые может найти. Используя консоль поиска Google, вы можете увидеть страницы вашего сайта, которые не проиндексированы.

Консоль поиска Google также предоставляет полезную информацию о конкретной проблеме, из-за которой страница не может быть проиндексирована.

К этим проблемам относятся ошибки сервера, ошибки 404 и намеки на то, что на странице может быть недостаточное или дублированное содержимое.

Но мы никогда не увидим данных, показывающих, какие проблемы наиболее распространены во всей сети.

Итак… Решил сам собрать данные и составить статистику!

В этой статье мы рассмотрим наиболее распространенные проблемы индексации, из-за которых ваши страницы не отображаются в поиске Google.

Индексирование 101

Индексирование похоже на создание библиотеки, за исключением того, что вместо книг Google работает с веб-сайтами.

Если вы хотите, чтобы ваши страницы отображались в поиске, они должны быть должным образом проиндексированы. Проще говоря, Google должен найти их и сохранить.

Затем Google может проанализировать их содержание, чтобы решить, для каких запросов они могут быть актуальны.

Индексирование является необходимым условием для получения органического трафика от Google. Чем больше страниц вашего сайта индексируется, тем больше у вас шансов появиться в результатах поиска.

Вот почему вам очень важно знать, может ли Google индексировать ваш контент.

Вот что я сделал для выявления проблем с индексацией

Мои повседневные задачи включают оптимизацию веб-сайтов с технической точки зрения SEO, чтобы сделать их более заметными в Google, и в результате у меня есть доступ к нескольким десяткам сайтов в поиске Google. Приставка.

Я решил использовать это, чтобы, надеюсь, сделать популярные проблемы с индексацией… ну, менее популярными.

Для прозрачности я разбил методологию, которая привела меня к некоторым интересным выводам.

Методология

Я начал с создания выборки страниц, объединив данные из двух источников:

  • Я использовал данные наших клиентов, которые были мне легко доступны.
  • Я попросил других специалистов по поисковой оптимизации поделиться со мной анонимными данными, опубликовав опрос в Твиттере и связавшись напрямую с некоторыми оптимизаторами.

оптимизаторов, мне нужно 3-10 минут вашего времени.
Можете ли вы помочь мне с моими исследованиями в области индексации и поделиться со мной неконфиденциальной статистикой GSC?
Когда я найду интересные идеи, я опубликую статью об этом.

Заранее спасибо! Пожалуйста, R/T

🙏🙏 https://t.co/vAwMulQtsx

— Томек Рудзки (@TomekRudzki) 9 ноября 2020 г.

Оба источника информации оказались полезными.

За исключением неиндексируемых страниц

В ваших интересах не индексировать некоторые страницы. К ним относятся старые URL-адреса, статьи, которые больше не актуальны, параметры фильтрации в электронной торговле и многое другое.

Веб-мастера могут убедиться, что Google их игнорирует несколькими способами, включая файл robots. txt и тег noindex.

Принятие во внимание таких страниц отрицательно повлияет на качество моих выводов, поэтому я удалил из выборки страницы, соответствующие любому из следующих критериев:

  • Заблокировано robots.txt.
  • Помечен как noindex.
  • Перенаправлено.
  • Возврат кода состояния HTTP 404.

Исключение бесполезных страниц

Чтобы еще больше улучшить качество моей выборки, я рассмотрел только те страницы, которые включены в карты сайта.

Исходя из моего опыта, карты сайта являются наиболее четким представлением ценных URL-адресов с данного веб-сайта.

Конечно, есть много веб-сайтов, которые содержат мусор в своих картах сайта. Некоторые даже включают одни и те же URL-адреса в свои карты сайта и файлы robots.txt.

Но я позаботился об этом на предыдущем шаге.

Категоризация данных

Я обнаружил, что популярные проблемы с индексацией зависят от размера веб-сайта.

Вот как я разделил данные:

  • Небольшие веб-сайты (до 10 тыс. страниц).
  • Средние сайты (от 10к до 100к страниц).
  • Крупные сайты (до миллиона страниц).
  • Огромных сайтов (более 1 миллиона страниц).

Из-за различий в размерах сайтов в моей выборке мне пришлось найти способ нормализовать данные.

Один очень большой веб-сайт, борющийся с определенной проблемой, может перевесить проблемы, которые могут возникнуть на других, более мелких веб-сайтах.

Поэтому я просмотрел каждый веб-сайт в отдельности, чтобы разобраться с проблемами индексации, с которыми они сталкиваются. Затем я присвоил баллы проблемам индексации в зависимости от количества страниц, затронутых данной проблемой на данном веб-сайте.

Вердикт…

Вот пять основных проблем, которые я нашел на веб-сайтах всех размеров.

  1. Просканировано — в настоящее время не проиндексировано (проблема качества).
  2. Дублированный контент.
  3. Обнаружен — в настоящее время не проиндексирован (проблема с бюджетом сканирования/качеством).
  4. Мягкий 404.
  5. Проблема со сканированием.

Давайте разберем их.

Качество

Проблемы с качеством включают в себя недостаточное содержание ваших страниц, вводящие в заблуждение или чрезмерно предвзятые.

Если на вашей странице нет уникального ценного контента, который Google хочет показать пользователям, вам будет трудно его проиндексировать (и не стоит удивляться).

Дублированный контент

Google может распознать некоторые из ваших страниц как дублированный контент, даже если вы этого не хотели.

Распространенной проблемой являются канонические теги, указывающие на разные страницы. В результате исходная страница не индексируется.

Если у вас есть дублированный контент, используйте атрибут канонического тега или перенаправление 301.

Это поможет вам убедиться, что одни и те же страницы вашего сайта не конкурируют друг с другом за просмотры, клики и ссылки.

Бюджет сканирования

Что такое бюджет сканирования? В зависимости от нескольких факторов робот Googlebot будет сканировать только определенное количество URL-адресов на каждом веб-сайте.

Это означает, что оптимизация жизненно важна; не позволяйте ему тратить свое время на страницы, которые вам не нужны.

Soft 404s

404 ошибки означают, что вы отправили на индексацию удаленную или несуществующую страницу. Мягкие 404 отображают информацию «не найдено», но не возвращают серверу код состояния HTTP 404.

Распространенной ошибкой является перенаправление удаленных страниц на другие, нерелевантные.

Множественные перенаправления также могут отображаться как программные ошибки 404. Стремитесь максимально сократить цепочки переадресации.

Проблема со сканированием

Существует много проблем со сканированием, но важной из них является проблема с robots.txt. Если робот Googlebot найдет файл robots. txt для вашего сайта, но не сможет получить к нему доступ, он вообще не будет сканировать сайт.

Наконец, давайте посмотрим на результаты для разных размеров сайтов.

Небольшие веб-сайты

Размер выборки: 44 сайта

  1. Просканировано, в настоящее время не проиндексировано (проблема качества или бюджета сканирования).
  2. Дублированный контент.
  3. Проблема с бюджетом сканирования.
  4. Мягкий 404.
  5. Проблема со сканированием.

Средние веб-сайты

Размер выборки: 8 сайтов

  1. Дублированный контент.
  2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
  3. Просканировано, в настоящее время не проиндексировано (проблема качества).
  4. soft 404 (вопрос качества).
  5. Проблема со сканированием.

Крупные веб-сайты

Размер выборки: 9 сайтов

  1. Просканировано, в настоящее время не проиндексировано (проблема качества).
  2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
  3. Дублированный контент.
  4. Мягкий 404.
  5. Проблема со сканированием.

Крупные веб-сайты

Размер выборки: 9 сайтов

  1. Просканировано, в настоящее время не проиндексировано (проблема качества).
  2. Обнаружен, в настоящее время не проиндексирован (проблемы с бюджетом сканирования/качеством).
  3. Дублированный контент (дублированный, отправленный URL-адрес не выбран в качестве канонического).
  4. Мягкий 404.
  5. Проблема со сканированием.

Основные выводы по общим проблемам индексации

Интересно, что, согласно этим выводам, два размера веб-сайтов страдают от одних и тех же проблем. Это показывает, насколько сложно поддерживать качество в случае больших веб-сайтов.

  • Больше 100 тыс., но меньше 1 миллиона.
  • Более 1 миллиона.

Выводы, однако, таковы:

  • Даже относительно небольшие веб-сайты (более 10 000) могут быть не полностью проиндексированы из-за недостаточного краулингового бюджета.
  • Чем больше веб-сайт, тем острее становятся проблемы с бюджетом/качеством сканирования.
  • Проблема с дублированием контента является серьезной, но ее характер меняется в зависимости от веб-сайта.

П.С. Примечание о неизвестных URL-адресах для Google

Во время моего исследования я понял, что есть еще одна распространенная проблема, которая препятствует индексации страниц.

Возможно, он не заслужил своего места в приведенном выше рейтинге, но по-прежнему важен, и я был удивлен, увидев, что он по-прежнему так популярен.

Я говорю о страницах-сиротах.

Некоторые страницы вашего веб-сайта могут не иметь внутренних ссылок, ведущих на них.

Если робот Googlebot не может найти страницу на вашем веб-сайте, он может вообще ее не найти.

Какое решение? Добавьте ссылки со связанных страниц.

Вы также можете исправить это вручную, добавив потерянную страницу в карту сайта. К сожалению, многие веб-мастера до сих пор пренебрегают этим.