Содержание

10 действенных способов заставить Google индексировать ваш сайт

Joshua Hardwick

Глава отдела контента в Ahrefs (проще говоря, я отвечаю за то, чтобы каждый пост в блоге был КРУТЫМ).

Статистика статьи
  • Ежемесячный трафик 440

  • Ссылающиеся веб-сайты 6

Данные из Контент Эксплорер

Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.

Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.

Количество ретвитов этой статьи в Twitter.

Поделиться этой статьей

Содержание

    Если ваш сайт не индексируется Google, то он практически невидим. Он не будет попадать в результаты поиска и получать естественный трафик. Совсем. Вообще. Ничего.

    Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.

    Эта статья поможет вам решить три проблемы:

    1. Ваш сайт вообще не индексируется.
    2. Часть страниц сайта индексируется, а часть — нет.
    3. Свежеопубликованные статьи индексируются недостаточно быстро.

    Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».

    Что такое краулинг и индексирование?

    Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).

    Запутались? Давайте дадим определения основным терминам.

    • Краулинг — процесс перехода по гиперссылкам в Интернете с целью нахождения нового контента.
    • Индексирование — процесс сохранения каждой веб-страницы в обширной базе данных.
    • Поисковый робот — Программа, которая выполняет краулинг.
    • Googlebot — поисковый робот Google.

    Вот видео от Google, в котором этот процесс подробно объясняется:

    Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.

    Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.

    Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.

    Нельзя победить в гонке, не зарегистрировавшись сперва.

    Как узнать, есть ли ваш сайт в индексе Google

    Откройте сайт Google и введите в поиск site:ваш_сайт.com

    Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.

    Если вы хотите узнать состояние индексирования конкретного URL-адреса, используйте тот же самый оператор site:ваш_сайт.com/адрес_страницы.

    Если результатов не будет, значит, страницы нет в индексе.

    Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:

    Google Search Console > Индексирование > Покрытие

    Посмотрите на число действительных страниц (с предупреждениями и без).

    Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.

    Примечание.

     Вы не пользуетесь Google Search Console? Зарегистрируйтесь. Это бесплатно. Каждый владелец сайта, которого заботит поисковый трафик, должен использовать Google Search Console. Да, настолько это важно. 

    В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.

    Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».

    Если нет — то «URL нет в индексе Google».

    Как сделать так, чтобы Google индексировал ваш сайт

    Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:

    1. Откройте Google Search Console.
    2. Перейдите в Инструмент проверки URL.
    3. Вставьте в строку поиска URL-адрес, который вы хотите видеть в индексе Google.
    4. Подождите, пока Google проверит адрес.
    5. Нажмите кнопку «Запросить индексирование».

    Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.

    Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.

    Вот ссылки на каждую тактику — на случай, если вы пробовали часть из них:

    1. Удалите блокирующие условия из файла robots.txt
    2. Удалите шальные теги noindex
    3. Добавьте адрес страницы в файл sitemap
    4. Удалите шальные теги canonical
    5. Проверьте, не является ли страница сиротой
    6. Почините внутренние nofollow-ссылки
    7. Добавьте «сильные» внутренние ссылки
    8. Убедитесь, что страница уникальна и обладает ценностью
    9. Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
    10. Получите качественные обратные ссылки

     

    1) Удалите блокирующие условия из файла robots.

    txt

    Google не индексирует весь ваш сайт? Причиной может быть блокирующее условие в файле robots.txt.

    Чтобы проверить эту возможность, перейдите по адресу ваш_сайт.com/robots.txt.

    Посмотрите, нет ли в тексте одного из этих фрагментов:

    User-agent: Googlebot</p>
    <p>Disallow: / 
    User-agent: *</p>
    <p>Disallow: / 

    Оба этих фрагмента сообщают Гуглботу, что ему нельзя сканировать страницы вашего сайта. Чтобы исправить проблему, просто удалите их. И всё.

    Блокирующее условие в файле robots.txt может быть виновным и в том случае, когда Google не индексирует отдельную страницу. Чтобы проверить этот вариант, вставьте адрес страницы в Инструмент проверки URL в Google Search Console. Откройте раздел «Покрытие» и поищите ошибку «Сканирование разрешено? Нет: заблокировано через robots.txt».

    Эта ошибка указывает на то, что страница заблокирована в файле robots.txt.

    В таком случае поищите в файле robots.

    txt любые правила «disallow», относящиеся к странице или содержащему ее подкаталогу.

    Важная страница заблокирована для индексирования в файле robots.txt.

    Если нужно, удалите эти правила.

    2) Удалите шальные теги noindex

    Google не станет индексировать страницы, если попросить об этом. Так вы можете оградить некоторые страницы от публичного доступа. Есть два способа сделать это:

    Способ 1: тег meta

    Страницы с одним из этих тегов meta в секции <head> не индексируются Google:

    &amp;lt;meta name=“robots” content=“noindex”&amp;gt;
    &amp;lt;meta name=“googlebot” content=“noindex”&amp;gt;

    Это мета-тег robots, который сообщает поисковым системам, следует ли им индексировать данную страницу.

    Примечание.

     Главная часть — это значение “noindex”. Если вы видите его, значит, страница помечена как неиндексируемая.

    Чтобы найти на своем сайте все страницы с мета-тегом noindex, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в отчет Indexability  («Индексируемость»). Поищите предупреждения «Noindex page» («Неиндексируемая страница»).

    Нажмите на одно из них, чтобы увидеть все такие страницы. Удалите мета-тег noindex со всех страниц, где он не нужен.

    Способ 2: X‑Robots-Tag

    Поисковые роботы также учитывают заголовок HTTP-ответа X‑Robots-Tag. Вы можете реализовать его на скриптовом языке для серверной стороны типа PHP, через файл .htaccess file или через изменение конфигурации своего сервера.

    Инструмент проверки URL в Search Console позволяет узнать, блокирует ли Google сканирование страницы из-за заголовка. Просто введите свой URL-адрес, а затем поищите ошибку «Индексирование разрешено? Нет: обнаружено значение ‘noindex’ в HTTP-заголовке X‑Robots-Tag».

    Если вы хотите исправить эту проблему на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs, а затем примените фильтр «Robots information in HTTP header» («Информация для роботов в заголовке HTTP») в разделе Page Explorer:

    Попросите своего разработчика исключить страницы, которые нужно индексировать, из числа тех, что возвращают такой заголовок

    Рекомендуем прочесть: Использование HTTP-заголовка X‑Robots-Tag для поисковой оптимизации: Секреты и хитрости

     

    3) Добавьте адрес страницы в файл sitemap

    Файл sitemap сообщает Google, какие страницы вашего сайта важны, а какие нет. Также он может рекомендовать, как часто следует повторно сканировать определенные страницы.

    Google способен находить страницы на вашем сайте независимо от того, представлены ли они в файле sitemap, но хорошей практикой является указание важных страниц. В конце концов, нет смысла усложнять работу Google.

    Чтобы проверить, указана ли страница в файле sitemap, используйте Инструмент проверки URL в Search Console. Если вы увидите ошибку «URL нет в индексе Google» и «Sitemap: н/д», значит, страницы нет в файле sitemap или индексе.

    Не пользуетесь Search Console? Перейдите по URL-адресу своего файла sitemap — обычно этоваш_сайт.com/sitemap.xml — и поищите адрес страницы.

    Либо, если вы хотите найти все сканируемые и индексируемые страницы, которых нет в файле sitemap, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в Page Explorer и примените следующие фильтры:

    Вы получите список страниц, которые следует добавить в файл sitemap. Когда вы это сделаете, сообщите Google о том, что вы обновили свой файл sitemap, перейдя по этому URL:

    http://www.google.com/ping?sitemap=<полный_URL_адрес_файла_sitemap>

    Только подставьте туда URL-адрес своего файла sitemap. Вы увидите что-то подобное:

    Это должно ускорить индексирование страницы поисковой системой.

     

    4) Удалите шальные теги canonical

    Тег каноничности (тег canonical) сообщает Google о канонической версии страницы. Выглядит он так:

    <link rel=“canonical” href=“/страница.html”/>

    Большая часть страниц либо не имеют тега canonical, либо содержат так называемый автореферентный тег canonical. Он сообщает поисковой системе о том, что страница сама является канонической, а возможно, и единственной версией. Другими словами, вы хотите, чтобы эта страница индексировалась.

    Но если на страницу затесался шальной тег canonical, он может направить Google на каноническую версию страницы, которая на самом деле не существует. В таком случае страница не будет проиндексирована.

    Чтобы проверить такую возможность, воспользуйтесь Инструментом проверки URL от Google. Если тег каноничности указывает на другую страницу, то вы увидите предупреждение «Альтернативная каноническая страница».

    Если такого быть не должно, и вы хотите, чтобы страница индексировалась, удалите тег каноничности.

    Если вы хотите быстро найти все шальные теги canonical на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в раздел Page Explorer. Используйте такие настройки:

    Они запустят поиск страниц в файле sitemap с неавтореферентными тегами каноничности. Если поиск с этим фильтром выдаст какие-либо результаты, вам следует разобраться с ними, поскольку вы наверняка хотели бы, чтобы эти страницы индексировались.

    Высока вероятность того, что эти страницы либо содержат ошибочные теги каноничности, либо наоборот — не должны находиться в файле sitemap.

     

    5) Проверьте, не является ли страница сиротой

    Страницы-сироты — это такие страницы, на которые не ведет ни одной внутренней ссылки.

    Поскольку Google находит новый контент, перемещаясь по Всемирной паутине от одной страницы к другой, он не может найти таким образом страницы-сироты. Точно так же их не смогут найти посетители сайта.

    Чтобы найти страницы-сироты, просканируйте свой сайт при помощи сервиса Site Audit от Ahrefs. Затем откройте отчет Incoming links (Входящие ссылки) для ошибок «Orphan page (has no incoming internal links)» («Страница-сирота (не имеет входящих ссылок)»):

    В нем показаны все индексируемые страницы, указанные в файле sitemap, на которые при этом не ведет ни одна внутренняя ссылка.

    Вы не уверены, что все страницы, которые вы хотите видеть индексированными, указаны в файле sitemap? Попробуйте следующее:

    1. Загрузите полный список страниц вашего сайта (через систему CMS).
    2. Просканируйте сайт (при помощи Site Audit от Ahrefs или подобного сервиса).
    3. Сравните полученные списки URL-адресов.

    Все адреса, не найденные в процессе сканирования, принадлежат страницам-сиротам.

    Вы можете решить проблему страниц-сирот двумя способами:

    1. Если страница не важна, удалите ее и уберите из файла sitemap.
    2. Если страница важна, добавьте ее в схему внутренних ссылок сайта.

     

    6) Почините внутренние nofollow-ссылки

    Nofollow-ссылки — это ссылки с тегом rel=“nofollow”. Они препятствуют передаче показателя PageRank целевому URL-адресу. К тому же, Google не сканирует nofollow-ссылки.

    Вот что об этом заявляют в Google:

    По сути, использование атрибута nofollow заставляет Google не включать целевые ссылки в общий граф сети. Тем не менее, целевые страницы все равно могут попасть в наш индекс, если на других сайтах встретятся ссылки на них без атрибута nofollow либо если URL-адреса будут указаны в файле Sitemap.

    Короче говоря, вам нужно убедиться, что внутренние ссылки на индексируемые страницы не должны иметь атрибута nofollow.

    Для этого просканируйте свой сайт при помощи Site Audit от Ahrefs. В отчете Incoming links (Входящие ссылки) поищите индексируемые страницы с ошибками «Page has nofollow incoming internal links only» («На страницу ведут только внутренние nofollow-ссылки»):

    Удалите атрибут nofollow из внутренних ссылок, если вы хотите, чтобы Google индексировал страницы, на которые они ведут. Если нет, то удалите страницы либо пометьте их тегом noindex.

    Рекомендуем прочесть: Что такое nofollow-ссылки? Все, что вам нужно знать (без жаргона!)

     

    7) Добавьте «сильные» внутренние ссылки

    Google находит новый контент, сканируя ваш сайт. Если вы пренебрегаете созданием внутренних ссылок, то поисковик может и не найти некоторые страницы.

    Одно из простых решений этой проблемы — добавить несколько внутренних ссылок, ведущих на нужную страницу. Разместить ссылки можно на любых других страницах, которые Google может сканировать и индексировать. Но если вы хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых «сильных» страниц.

    Почему? Потому что Google сканирует такие страницы чаще.

    Для этого перейдите в Site Explorer от Ahrefs, введите адрес своего сайта, а затем откройте отчет Best by links (Лучшие по ссылкам).

    В нем будут перечислены все страницы вашего сайта, отсортированные по показателю URL Rating (UR). Другими словами, он показывает первыми самые авторитетные страницы.

    Пролистайте этот список, чтобы найти подходящие страницы, куда можно добавить внутренние ссылки на интересующую страницу.

    Например, если мы хотим добавить внутреннюю ссылку на руководство по гостевому постингу, то руководство по линкбилдингу вполне подойдет для этого. Последняя страница очень кстати оказывается 11‑й по авторитетности в нашем блоге:

    В следующий раз, когда Google будет сканировать эту страницу, он обнаружит новую ссылку и перейдет по ней.

     

    8) Убедитесь, что страница уникальна и обладает ценностью

    Google, как правило, не индексирует некачественные страницы, которые не представляют ценности для пользователей. Вот что Джон Мюллер из Google говорил об индексировании в 2018 году:

    Мы не индексируем все существующие URL-адреса, и это нормально. Сосредоточьтесь на том, чтобы делать сайт замечательным и вдохновляющим, и тогда у вас не будет проблем с индексированием.

    —  John  (@JohnMu) January 3, 2018

    То есть, если вы хотите, чтобы Google проиндексировал ваш сайт или страницу, их содержание должно быть «замечательным и вдохновляющим».

    Если вы не находите технических причин отсутствия индексирования, возможно, виновником является отсутствие ценности. Поэтому нелишне будет взглянуть на страницу свежим взглядом и спросить себя, действительно ли эта страница имеет ценность и принесет ли она пользу тому, кто перейдет на нее из результатов поиска.

    Если ответом будет «нет», значит, вам следует улучшить свой контент.

    Вы можете использовать Site Audit от Ahrefs и URL Profiler, чтобы найти другие потенциально некачественные страницы, которые не индексируются. Для этого перейдите в раздел Page Explorer в Site Audit и установите такие настройки:

    Так вы получите «слабые» страницы — индексируемые, но не приносящие в данный момент естественного трафика. Высока вероятность того, что они не проиндексированы.

    Экспортируйте отчет, а затем вставьте все URL-адреса в URL Profiler и запустите проверку Google Indexation (Индексирование в Google).

    Источник: https://urlprofiler.com/blog/google-indexation-checker-tutorial/

    Проверьте качество страниц, которые не индексируются. Улучшите качество, где это необходимо, и запросите индексирование в Google Search Console.

    Также следует проверить возможность дублирования контента. Google старается не индексировать страницы-копии и очень похожие страницы. Загляните в отчет Content quality (Качество контента) в сервисе Site Audit, чтобы проверить этот вариант.

     

    9) Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)

    Слишком большое число некачественных страниц на сайте приводит к пустой трате краулингового бюджета.

    Вот что об этом говорят в Google:

    [Страницы-с-низкой-ценностью] отвлекают на себя активность сканирования от страниц, которую действительно имеют ценность, что способно приводить к значительным задержкам в обнаружении хорошего контента на сайте.

    Представьте, что учитель проверяет сочинения, одно из которых — ваше. Если ему нужно оценить десять сочинений, то он довольно быстро доберется до вашего. Если сочинений будет сто, то ему потребуется гораздо больше времени. Если их будут тысячи, то нагрузка будет слишком высокой, и учитель может вообще никогда не добраться до оценки вашего сочинения.

    В Google заявляют, что «краулинговый бюджет […] — это не то, о чем большинству стоит беспокоиться», и что «если на сайте меньше нескольких тысяч адресов, то большую часть времени он будет сканироваться эффективно».

    Тем не менее, удаление некачественных страниц с вашего сайта никогда не повредит. Это только пойдет на пользу краулинговому бюджету.

    Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.

     

    10) Получите качественные обратные ссылки

    Обратные ссылки сообщают Google о том, что страница, на которую они ведут, важна. Раз кто-то дает на нее ссылку, значит, у нее должна быть некая ценность, верно? Поэтому Google индексирует страницы с обратными ссылками.

    Для полной прозрачности Google индексирует не только страницы, имеющие обратные ссылки. Есть множество (миллиарды) проиндексированных страниц без обратных ссылок. Но поскольку Google считает страницы с качественными ссылками более важными, поисковик будет быстрее и чаще сканировать такие страницы, чем те, у которых нет обратных ссылок. То есть, индексирование страниц с качественными обратными ссылками происходит быстрее.

    В нашем блоге есть много материалов по созданию качественных обратных ссылок.

    Ниже приведены ссылки на некоторые из них.

    Связанные статьи

    Индексирование и ранжирование — это разные вещи

    Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик.

    Это разные вещи.

    Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.

    Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.

    В общих чертах поисковая оптимизация (SEO) включает в себя:

    • Определение тем, которые ищут ваши клиенты.
    • Создание контента на эти темы.
    • Оптимизацию созданных страниц под целевые ключевые фразы.
    • Наращивание обратных ссылок.
    • Постоянное поддержание контента в актуальном состоянии.

    Вот видео, которое поможет разобраться в основах SEO:

    …И несколько статей:

    Связанные статьи

    Напоследок

    Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:

    1. Технические проблемы, которые не дают поисковому роботу сделать это.
    2. Качество контента — Google считает ваш сайт или страницу некачественными и бесполезными для своих пользователей.

    Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.

    Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.

    Только не забывайте, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.

    Перевела Кирик Наталья, владелец студии по написанию текстов для сайтов WordFactory.ua

    10 способов заставить Google индексировать сайт

    Содержание

    • Как проверить, есть ли сайт в индексе Google
    • Способы, как ускорить индексацию сайта в Google
    • Отправьте сайт на проверку вручную
    • Проверьте правила в robots.txt
    • Проверьте карту сайта sitemap.xml
    • Сделайте грамотную внутреннюю перелинковку сайта
    • Получите качественные обратные ссылки
    • Проработайте nofollow-ссылки
    • Проверьте дубли и корректность использования атрибута rel=«canonical»
    • Пишите качественный и уникальный контент
    • org/ListItem»> Проверьте наличие страниц-сирот

    Базовый этап работы по SEO — это настройка индексации сайта, ведь без индексации ресурс не смогут увидеть пользователи. Грамотная индексация в дальнейшем позволит избежать проблемы с продвижением. 

     

    Что такое индексирование сайта

    Индексация сайта в Google — сбор и внесение информации о контенте ресурса в базу поисковой системы. Ранее Google сначала проверял десктопную версию сайта, но с 2019 года индексация сайта в Гугл начинается с проверки мобильной версии.

     

    к содержанию ↑

    Как проверить, есть ли сайт в индексе Google

    Если вам надо знать, как проверить индексацию страницы в Google, обратитесь к одному из этих способов:

    1. Используйте операторы поиска Google.

    2. Откройте инструмент проверки URL-адресов в Google Search Console. 

     

    к содержанию ↑

    Способы, как ускорить индексацию сайта в Google

    Сложно сказать, как долго Гугл индексирует новый сайт. Это зависит от скорости загрузки, количества страниц и краулингового бюджета. Но все же существует ряд способов, которые могут ускорить индексацию сайта в Google.

     

    Отправьте сайт на проверку вручную

    Чтобы отправить сайт на индексацию в Гугл, необходимо:

    • зайти в Google Search Console и найти инструмент проверки URL;
    • ввести URL-адрес и подождать, пока Google его проверит; 
    • нажать на «Запросить индексирование».

    Подобный способ больше подходит для новых страниц. Если вам необходимо понять, почему Google не индексирует сайт, либо вас интересует, как индексировать сайт в Гугл, когда ему уже несколько лет, присмотритесь к следующим способам. 

     

    к содержанию ↑

    Проверьте правила в robots.txt

    Просканируйте файл robots.txt на наличие блоков и запретов. Проблема может возникнуть из-за наличия правила «disallow». Если найдете подобные правила, значит Googlebot не сканирует и, соответственно, не индексирует страницу.  

    Для проверки откройте Google Search Console, найдите вкладку «Покрытие» и просканируйте robots.txt. Чтобы исправить ситуацию, достаточно удалить правило Disallow: / и снова отправить страницу на индексацию в Гугл.

     

    к содержанию ↑

    Проверьте карту сайта sitemap.xml

    Sitemap распределяет и отображает важность страниц сайта. Быстро проверить наличие страниц в Sitemap вам поможет инструмент проверки URL в Search Console. Когда на экране появятся такие ошибки, вероятно страницы в карте сайта нет. 

    После того, как вы добавите необходимые страницы в файл sitemap.xml, не забудьте сообщить Google об обновлении. 

    к содержанию ↑

    Проверьте использование тега noindex

    Наличие тега в описании страницы не разрешает Googlebot индексировать ее. Чтобы проверить, если он на сайте, перейдите в контейнер <head>. Если там тег noindex присутствует рядом с тегом googlebot, тогда страница не индексируется в данной поисковой системе. Удалите теги, и страница снова будет доступна для индексации. 

    к содержанию ↑

    Сделайте грамотную внутреннюю перелинковку сайта

    Она предусматривает проставление ссылок с одной страницы ресурса на другую. Внутренняя структура повышает юзабилити, помогает пользователю быстро ориентироваться. Грамотная внутренняя перелинковка обеспечит значительное увеличение скорости индексации новых материалов и их появление в списке поисковых систем.

     

    к содержанию ↑

    Получите качественные обратные ссылки

    Наличие этих ссылок показывает Google, что страница, на которую они указывают, имеет вес. Такие ресурсы Google считает более важными, поэтому чаще их сканирует. Но в погоне за обратными ссылками важно размещаться только на качественных и авторитетных ресурсах.

     

    Проработайте nofollow-ссылки

    Иногда индексация сайтов в Google невозможна из-за тега rel=«nofollow». Для исправления просканируйте внутренние ссылки и удалите его в случае обнаружения.

    к содержанию ↑

    Проверьте дубли и корректность использования атрибута rel=«canonical»

    Наличие дублированного контента может быть еще одной причиной медленной или нулевой индексации Google. Если страница дублируется или имеет содержание на 99% похожее на другую страницу, Google вряд ли проиндексирует ее.

    Итак, убедитесь, что на сайте нет повторяющихся страниц. Если есть, то рекомендуется указать каноническую версию ресурса с помощью тега rel=«canonical» или же удалить такие страницы, поскольку Google будет считать их содержание неуникальным.

     

    к содержанию ↑

    Пишите качественный и уникальный контент

    Google не обращает внимание на страницы с неуникальным контентом. Поэтому если нет технических проблем, проблема может быть в содержании. Попробуйте взглянуть на контент глазами обычного человека, сделать его более интересным и полезным. 

     

    Проверьте наличие страниц-сирот

    Страницы-сироты — это страницы, не связанные ни с одной другой страницей ресурса. Если  SEO-аудит сайта  выявил страницы-сироты, либо полностью уберите их из sitemap, либо добавьте, чтобы Google смог их индексировать. 

    Индексирование сайта значит, что поисковая система знает о ресурсе, но не факт, что он попадет в ТОП поисковой выдачи. Чтобы сайт получил ключевое место в выдаче, вам нужна SEO-оптимизация. 

    Специалисты digital-агентства Ланет CLICK осуществят проверку индексации сайта в Гугл, займутся SEO-продвижением, обеспечат грамотный линкбилдинг и качественный копирайтинг. С Ланет CLICK сайт не только будет индексироваться, но и попадет в ТОП поисковой выдачи.

    Индексация сайта в Google — как Гугл индексирует сайты

    Последнее обновление: 02 декабря 2020 года

    3812

    О чем статья:

    • Зачем поисковики индексируют сайты;

    • Почему это важно пользователям и компаниям;

    • Что влияет на индексацию;

    • Как проиндексировать сайт в Google;

    • Как проверить результат и избежать ошибок.

    Индексация сайта: зачем она нужна и как выполняется

    На конец 2020 года в интернете насчитывается около 2 миллиардов веб-сайтов. Из них активны примерно 400 миллионов. И каждый день создаются тысячи новых страниц. Чтобы пользователи могли легко и быстро находить в таком объеме данных именно то, что их интересует, поисковые системы четко структурируют информацию и размещают её в своих каталогах — в них хранятся сведения обо всех страницах всех сайтов в интернете.

    Индексация сайтов – это, по сути, внесение всей имеющейся на страницах информации, включая изображения, тексты, ключевые фразы, ссылки, и видео, в каталог поисковика. Только после этого сайты могут попасть в поисковую выдачу.

    Алгоритмы индексации

    Индексацию выполняют поисковые роботы. Они в автоматизированном режиме проверяют обновление контента на сайте. Считается, что среди всех поисковых систем именно Google выполняет проверку новых ресурсов быстрее всего. Тем не менее, на скорость работы роботов также влияет посещаемость сайта и частота обновления информации. Например, на новостные порталы, где контент обновляется постоянно и через короткие промежутки времени, роботы заходят до нескольких раз в день. Если информация обновляется реже, то индексация может проводиться 1-2 раза в неделю. Если содержание страницы не обновлялось давно, робот будет заходить на нее, но не чаще раза в неделю.

    За одно посещение робот индексирует 20-30 страниц, чтобы не перегружать сервер. Если на сайте больше страниц, робот зайдет на него несколько раз.
    Каждый поисковик устанавливает глубину индексации – то есть, на сколько уровней робот может опуститься, переходя по ссылкам одного ресурса. Как правило, он изучает верхние уровни и при достижении определенной метки покидает сайт. Это означает, что при разветвленной структуре некоторые вложенные страницы могут остаться непроиндексированными.

     

    Ранжирование сайта после индексации

    После того, как роботы закончат анализ страницы, они вносят всю информацию в базу данных каталога, ранжируют сайт и определяют его авторитетность. Показатели PageRank зависят от количества и качества ссылок, которые ведут на ресурс – чем больше ссылочная масса, тем выше рейтинг. Авторитетность страниц определяется по 10-балльной шкале. Если сайт набрал 4-5 баллов, то это хороший показатель. 

    Требования к сайту для индексации

    Есть три основных фактора, которые влияют на индексацию.

    • Посещаемость ресурса. Содержание страниц должно соответствовать запросам пользователей в поисковике. Для этого в текстах и метатегах необходимо размесить ключевые слова.

    • Качество контента. Контент должен быть уникальным и полезным, а тексты написаны без грамматических ошибок.

      Роботы отслеживают ошибки и снижают авторитетность сайтов. Желательно регулярно обновлять контент. О том, какой контент нравится Google, читайте в нашей статье.

    • Внутренняя оптимизация. Сайт должен иметь понятную и удобную для пользователей структуру. Необходимо, чтобы раздел контактов и обратной связи содержал релевантную информацию. Желательно размещать портфолио и отзывы. Все исходящие ссылки должны быть работающими. 

    Как добавить сайт на индексацию в Google?


    Для того чтобы сайт появился в результатах поиска Google, не обязательно предпринимать какие-либо действия. Рано или поздно поисковые роботы найдут его и проиндексируют. Но, как мы говорили выше, боты перемещаются по сайту, переходя по ссылкам, и если ссылочной массы, ведущей на страницу, недостаточно, то пройдет довольно много времени, прежде чем роботы попадут на неё.

    Чтобы помочь поисковым алгоритмам быстрее понять, как организован контент на вашем сайте, и точнее проиндексировать его, Google предлагает бесплатный инструмент Search Console. С его помощью можно подавать запросы на индексирование, узнать, как роботы видят сайт, выявить и устранить проблемы. В Google Search Console можно получить информацию, которая поможет улучшить взаимодействие ресурса с системами и пользователями. 

    Индексация сайта с помощью Search Console

    Для индексации в Google, выполните следующие шаги:

    • Создайте Google-аккаунт, если у вас его еще нет, или авторизуйтесь в существующем.

    • Перейдите в раздел Инструменты веб-мастера по ссылке https://www.google.com/webmasters/tools/submit-url.

    • Введите адрес главной страницы сайта и пройдите проверку, что вы не робот.

    • Подтвердите свои права на сайт. В инструкции Google предлагает 8 вариантов подтверждения и напоминает, что лучше иметь несколько запасных на случай, если основной перестанет работать.

    • Создайте файл Sitemap.xml. Это карта сайта, в которой содержится информация о структуре и контенте ресурса – страницах, изображениях, видео и пр. В файле можно указать все дополнительные сведения: какие разделы важны, когда страница обновлялась последний раз, есть ли версии на других языках и другие. Также можно добавить специфические данные о видео и изображениях: продолжительность записи, возрастные ограничения, тип файла, условия лицензирования и т.д.

    • Проверьте, что в файле Sitemap.xml нет ошибок. В разделе Инструменты веб-мастера зайдите в панель управления сайтом. Нажмите кнопку «Сканирование» и выберите пункт «Файлы Sitemap». Перейдите в раздел «Добавление/проверка файла Sitemap» и укажите адрес файла. Выберите «Проверить Sitemap».

    • После проверки в этом же разделе нажмите на кнопку «Отправить файл Sitemap».

    Теперь сайт индексируется в Google. Помните, что индексация материалов сайтов поисковиком не означает продвижение. Для того чтобы попасть в топ выдачи придется приложить гораздо больше усилий. Об эффективной поисковой оптимизации читайте в наших статьях с хештегом SEO.

    Как проверить, что сайт проиндексирован

    Базовый способ – посмотреть данные на обзорной странице Search Console. Там будут представлены все сводные данные на основе ключевых показателей, в том числе – статус индексирования. В Search Console также доступен Отчет об индексировании и Отчет о файлах Sitemap. Если вы видите рост количества ошибок, связанных с индексированием, своевременно исправляйте их, так как ошибки влияют на результаты поисковой оптимизации.

    Второй вариант проверки – вручную с помощью поискового оператора «site:». Введите в поисковую строку команду: site:[url_сайта], чтобы получить данные о количестве проиндексированных страниц.

    В автоматическом режиме можно выполнить проверку с помощь плагинов и букмарклетов – закладок браузера.

    Также можно установить специальные сервисы для проверки индексации сайта. 

    Возможные проблемы при индексации

    Возможны две ситуации, при которых Google не проиндексирует ваш сайт:

    • В случае проблем с сервером. Вы увидите сообщение о том, что хостинг не отвечает на запросы системы, и не сможете выполнить процедуру. В этом случае повторите попытку позже, когда сайт снова заработает. Если проблемы с хостингом возникают систематически, подумайте о смене провайдера. Отсутствие ошибок на сайтах и стабильная их работа учитывается алгоритмами поисковых систем при ранжировании в выдаче. Кроме того, вряд ли вы захотите потерять клиентов из-за неработающего сайта.

    • При попадании под санкции Google. В этой ситуации появится сообщение о том, что адрес сайта запрещен к добавлению на индексацию. Санкции могут быть разными, и выданы по разным причинам. Если вы уверены, что не сделали ничего плохого за время владения сайтом, возможно, санкции были наложены в тот период, когда им управлял предыдущий собственник. Поэтому очень важно проверять сайты на бан поисковиков перед тем, как покупать их. Если вы узнали о санкциях по факту, можно попробовать узнать причину на форуме Google. Но для того, чтобы быстро пройти индексацию сайта, проще развивать проект на другом домене.

    Быстрая индексация в Google

    Чтобы не ждать, пока робот поисковой системы зайдет на сайт и проиндексирует новые страницы, можно ускорить процесс и прибегнуть к нескольким эффективным способам:

    • Через панель веб-мастера Google. В разделе «Сканировать» выберите пункт «Посмотреть как Googlebot». Вставьте адрес новой страницы в соответствующее поле без адреса самого сайта — то есть удалить из URL эту часть. Нажмите кнопку «Сканировать», а по завершении процесса – кнопку «Добавить в индекс». Появление сканированной страницы в индексе займет от нескольких минут до получаса. Единственный недостаток такого способа заключается в том, что его необходимо выполнять вручную. Если вам нужно проиндексировать в Google сразу несколько страниц, это потребует времени.

    • С использованием файла Sitemap.xml. Он определяет скорость индексации новых страниц, поэтому ссылки на них нужно добавлять сразу же. Так роботы будут находить их быстрее. Рекомендуем использовать динамический Sitemap.XML, а не обновлять его вручную после каждой корректировки сайта.

    • С помощью оптимизации файла robots.txt. Этот файл позволяет задать поисковым роботам Google директивы, в соответствии с которыми они могут проиндексировать содержимое сайта. На скорость процесса особенно влияет директива Disallow. Она определяет, какие файлы, веб-страницы и разделы не нужно индексировать и благодаря этому роботы быстрее доходят до новых страниц.

    • С помощью социальных сетей и RSS-канала. Можно ускорить индексацию сайта или нового контента, если опубликовать ссылки на него в социальных сетях. Добавьте на страницы кнопки соцсетей, чтобы посетители могли делиться вашими материалами в своих профилях и наращивать ссылочную массу. Создайте RSS-канал и добавляйте в него ссылки на новые страницы. С точки зрения пользователей, этот формат распространения информации устаревает, однако для поисковых систем он все еще является хорошим источником сведений о появлении нового материала на сайте.

    Индексация сайта в Google – не самая сложная задача. Однако после индексации стоит заняться продвижением, а это уже требует комплексной и продолжительной работы.

    Материал подготовила Светлана Сирвида-Льорентэ.

    Что такое индексация сайта в Google? — SEO

    Категории

    Olga Borzenko

    14 сентября | 2021

    Olga Borzenko

    14 сентября | 2021

    Вы задумывались, как быстро появляются результаты в Google после ввода поискового запроса? Сколько времени уходит у поисковика на отображение списка ссылок? Стоит только нажать Enter и моментально собираются миллионы релевантных результатов.  

    На самом деле, Google не ищет результаты по всем сайтам в Интернете. Он ищет их в своем индексе. Если владелец сайта не добавил страницы в индекс поисковой системы, пользователи не смогут их найти.

    Индекс Google. Что это?

    Индекс проще сравнить с огромной библиотекой. В ее каталоге содержатся миллиарды страниц. Когда пользователи хотят что-то найти, Google из своей библиотеки выбирает наиболее подходящие ссылки и формирует из них выдачу.

    «Проиндексированная» веб-страница потенциально может появиться в результатах поиска. Без индексации в Google никто не сможет найти страницу, даже если она на 100% подходит под запрос пользователя.

    Как Google индексирует страницы?

    Процесс индексирования Google сложен. В нем много влияющих друг на друга этапов, но можно выделить три основных:

    1. Обнаружение — владелец сайта отправляет поисковому роботу файл XML sitemaps. В нем записаны все адреса страниц, размещенных на вашем сайте. Если Google видит новые адреса, он ставит их в очередь на сканирование.
    2. Сканирование — поисковик просматривает каждую обнаруженную страницу. Проводится сканирование контента для определения, на какие релевантные запросы он отвечает. Найденная информация передается в каталог индексации.
    3. Индексация — выполняется анализ содержимого и визуализация страницы. Google определяет, на какую позицию в рейтинге поместить вас. Далее страница отправляется в соответствующий каталог или индекс.

    Цель поисковой системы Google — найти наилучшие ответы на запросы пользователей. 

    Как проверить, проиндексирована ли страница в Google?

    Самый простой способ — ввести в поисковую строку Google URL-адрес страницы, которую нужно проверить. Если страница проиндексирована, она появится на первой позиции. Второй способ  —  использовать команду «site:» перед ссылкой (это узкий поиск только по вашему сайту).

    Если страница не появилась, значит еще находится в «очереди на сканирование».

    Полный список непроиндексированных страниц можно найти в Google Search Console.

    Как ускорить индексацию?

    Если на сайте часто публикуется контент, поисковик сам периодически сканирует его страницы. Это хорошо видно по новостным ресурсам. Изменения в поисковой выдаче появляются в первые несколько часов после публикации.

    Скорее всего, на вашем сайте нет такого объема контента. Поэтому Google уделяет сайту меньше внимания, а автоматическая индексация занимает 1-2 недели. Хотите быстрее? Есть несколько способов.

    Google Search Console

    Если нужно проиндексировать одну страницу, введите ее URL в верхней строке Search Console. Система выполнит поиск адреса в своей базе. Если он новый, вы увидите сообщение «URL нет в Google».

    Нажмите кнопку «Запросить индексирование» и если робот не найдет ошибок, запустится процесс индексации. Это займет от суток до нескольких недель. Конкретнее сказать сложно. Зависит от репутации сайта и плановой работы, которую предстоит выполнить Google.

    Если обнаружится, что URL является неиндексируемым, запросить индексирование будет невозможно. В таком случае используйте файл Sitemap.xml.

    Файл Sitemap.xml

    Чтобы ускорить индексацию большого количества нового контента или новых страниц сайта, добавьте их в файл Sitemap.xml. Готовый файл также нужно отправить в Google из Search Console на индексацию. 

    Для этого необходимо набрать в браузере: 

    https://www.google.com/ping? sitemap = https://www.ваш сайт.xxx/sitemap_index.xml 

    (Вместо sitemap_index.xml может быть sitemap.xml. Это зависит от вашего SEO-специалиста или веб-мастера. Просто нужен путь к вашему файлу Sitemap)

    Search Console показывает общее количество URL-адресов, включенных в Sitemap, и дату их последнего сканирования. 

    Перелинковка (внутренние ссылки)

    Индексация контента пройдет быстрее, если создать на него ссылки с других страниц. Важно! Они должны быть уже проиндексированными и регулярно приводить органический трафик.

    Как это правильно сделать? Найдите в Google Analytics страницы с регулярным органическим трафиком. Откройте нужную в админке и добавьте в текст ссылку на новую страницу.

    Google Adwords

    Еще один вариант, с помощью которого вы можете попытаться «обнаружить» URL-адрес в Google, это использовать инструмент Google Adwords.

    В планировщике ключевых слов сделайте подборку ключей через вкладку «Указать сайт». Рекламный кабинет тесно связан с поисковым роботом, поэтому добавление в него новой ссылки поможет обратить на себя внимание Google.

    Сайты статистики и пинга

    В Интернете существует множество статистических служб. Они занимаются сканированием сайтов, чтобы собирать данные типа регистратора домена, хостинг и т.д. Эти службы можно использовать, чтобы распространять ваш URL-адрес и получать временные бэклинки:

    1. Indexkings.com.
    2. Linkcentaur.com (нужно создать учетную запись).
    3. Pingfarm.com.
    4. Bulklink.org.

    Еще попробуйте расширение для браузера Chrome: Mass Fast Pinger.

    Социальные сети

    Переходы пользователей по новой ссылке помогут обратить внимание поискового робота. Для этого отлично подойдут социальные сети с платным и бесплатным трафиком. Можно размещать URL в собственных аккаунтах и в чужих блогах, но тут стоит осторожничать. Можно попасть под бан модераторов.

    Для корпоративных сайтов хорошо подойдут:

    1. Facebook.
    2. Linkedin.
    3. Twitter.

    Для творчества и увлечений:

    1. Pinterest.
    2. Instagram (ссылка в шапке профиля).
    3. Behance.

    Если есть собственный SMM-щик, а контент гибкий, никто не мешает комбинировать оба списка. Главное — живые переходы. 

    YouTube

    Опубликуйте видео на YouTube со ссылкой на страницу, которую Google нужно проиндексировать. Лучше всего это работает в популярных каналах с регулярной публикацией новых роликов.

    Если ваш аккаунт не популярен, можно пойти через сторонние каналы. Есть друзья-блогеры? Отлично, возможно они бесплатно добавят ссылку. Нет друзей-блогеров? Можно поискать тематические каналы договориться о платном размещении. Правда это уже из области рекламы 😉

    5 ошибок, которые мешают индексации страниц

    Google открыто говорит — даже если поисковая система найдет и полностью просканирует URL-адрес, это не гарантия включения страницы в «каталог». Вот несколько причин, почему страницы не попадают в индекс:

    1. Качество — отсутствие уникального, ценного контента, который Google хочет показать пользователям.
    2. Дублированные страницы — если на сайте есть дубли, используйте атрибут canonical или 301 редирект. Атрибут canonical указывает, какие страницы являются основными, каноничными. Он сделает так, что поисковик не будет ругаться на повторы и выдаст пользователю страницу только с каноничным тегом.
    3. Краулинговый бюджет (Crawl Budget) — Googlebot, сканирует только определенное (неизвестное) количество URL-адресов на каждом сайте. Потратив «бюджет» на ненужные страницы, бот может уйти, так и не посетив страницы с важным контентом. Этот параметр стоит учитывать, если нужно проиндексировать сразу много страниц.
    4. Страницы с ответом сервера 404 — ошибка 404 означает, что на индексацию отправлена удаленная или несуществующая страница. 
    5. Проблемы индексации — часто с самим сайтом есть технические проблемы, которые не позволяют провести сканирование. Одной из важных является проблема с robots.txt. Если Googlebot находит robots.txt, но не может получить к нему доступ, он игнорирует сайт вообще.

    Какие страницы необходимо исключать из индекса?

    В ваших интересах исключить некоторые страницы из индексации. К ним относятся: старые URL-адреса, неактуальные статьи, страницы с личными данными пользователей, все возможные дубли и т.д. Попадание таких страниц в список индексации ухудшит ее качество.

    Закрыть страницы от индекса можно двумя способами:

    1. Файл robots. txt. — он расположен в корневом каталоге сайта. Через директивы «Allow» и «Disallow» он разрешает или запрещает поисковым системам индексировать страницы сайта.
    2. Тег «NoIndex» — это строка кода, которая добавляется в HTML-код страницы сайта. Например: <meta name=»robots» content=»noindex,follow» />. Для правильной работы он должен размещаться в разделе head.

     

    Выводы

    Индексация поисковым роботом — необходимое условие для получения органического трафика от Google. Нехитрыми манипуляциями этот процесс можно ускорить.

    Хоть мы все представляем Google как поискового монополиста, он постоянно конкурирует с менее развитыми поисковиками. Ему нужен полезный контент, чтобы показать его пользователям. Если вы его сделаете и будете следовать вышеописанным инструкциям, органический трафик придет на страницы очень быстро.

    • #SEO
    • #индексация сайта

    Подписаться

    Блог

    Vacancy

    Подписаться

    Блог

    Vacancy

    Получить спецпредложение

    Некорректно введен Email

    Пожалуйста, заполните поля отмеченные

    UP

    Как быстро добавить страницу в индекс Яндекса и Google

    #Оптимизация сайта #Индексация

    #37

    Апрель’17

    19

    Апрель’17

    19

    Новый ваш сайт или давно действующий в определенный момент вам понадобиться добавление страниц в поиск. Отдельная страница акции, новый товар или контент — он должен быть проиндексирован и быть видимым для поисковых системы. Мы расскажем как это сделать.

    Чтобы быстро добавить страницу в поиск Яндекса, необходимо войти в сервис Яндекс.Вебмастер и воспользоваться инструментом «Переобход страниц».

    Важно! Права на сайт должны быть заранее подтверждены.

    Чтобы добавить страницу в индекс Google, надо войти в Search Console, выбрать необходимый сайт. Далее в разделе «Сканирование» выбрать «Просмотреть как Googlebot», добавить адрес новой страницы, выбрать «Сканировать» и далее кликнуть на «Запросить индексирование».

    Для ускорения индексации страниц также рекомендуется:

    • автоматическое добавление новой страницы в карту сайта sitemap.xml;
    • наличие ссылок на новую страницу с популярных разделов вашего сайта или с внешних веб-ресурсов.

    Похожее

    Оптимизация сайта Индексация

    Атрибут rel=canonical

    Оптимизация сайта Индексация

    Индексация ссылок

    Оптимизация сайта Индексация

    #133

    Атрибут rel=canonical

    Сентябрь’22

    9669

    22

    Оптимизация сайта Индексация

    #119

    Индексация ссылок

    Апрель’19

    4100

    30

    Оптимизация сайта Индексация

    #111

    Описание и настройка директивы Clean-param

    Апрель’19

    7464

    24

    Оптимизация сайта Индексация

    #104

    Как привлечь быстроробота Яндекс

    Февраль’19

    1977

    21

    Оптимизация сайта Индексация

    #94

    Проверка индекса сайта. Как найти мусорные или недостающие страницы

    Декабрь’18

    7783

    28

    Оптимизация сайта Индексация

    #86

    Как закрыть ссылки и текст от поисковых систем

    Ноябрь’18

    4962

    22

    Оптимизация сайта Индексация

    #82

    Почему Яндекс удаляет страницы из поиска

    Ноябрь’18

    2798

    19

    Оптимизация сайта Индексация

    #60

    Правильная индексация страниц пагинации

    Февраль’18

    6927

    19

    Оптимизация сайта Индексация

    #47

    Как узнать дату индексации страницы

    Ноябрь’17

    6788

    18

    Оптимизация сайта Индексация

    #46

    Какие страницы надо закрывать от индексации

    Ноябрь’17

    9087

    18

    Оптимизация сайта Индексация

    #38

    Как удалить страницу из индекса Яндекса и Google

    Ноябрь’17

    12180

    20

    Оптимизация сайта Индексация

    #7

    Как закрыть сайт от индексации

    Ноябрь’17

    8160

    17

    Оптимизация сайта Индексация

    #2

    Как проверить индексацию сайта в поисковых системах

    Ноябрь’17

    15796

    27

    Оптимизация сайта Индексация

    #1

    Как ускорить индексацию сайта

    Ноябрь’17

    4824

    29

    9 причин почему Google не индексирует сайт

    Google не индексирует ваш сайт? Распространенная проблема, у которой есть много причин. Ниже рассмотрены 9 наиболее популярных и способы их решения.

    Долгая загрузка сайта

    Долго загружающиеся сайты не нравятся Google и индексируются дольше. У медленной загрузки есть множество причин. Например, слишком большое количество контента для обработки пользовательским браузером. Или использование устаревших серверов с ограниченными ресурсами.

    Читайте также:

    Как проверить скорость загрузки сайта и как ускорить загрузку

    Проверить скорость загрузки сайта можно с помощью двух инструментов:

    1. PageSpeed Insights. Этот инструмент Google анализирует скорость загрузки сайта и дает рекомендации для оптимизации. Хороший показатель — от 70 баллов. Чем ближе к 100, тем лучше.
    2. WebPageTest. Этот инструмент оценивает скорость загрузки сайта и выделяет элементы, которые ее снижают.
    Скриншот PageSpeed Insights за январь 2022 года

    Более быстрый хостинг или использование CDN (сеть доставки содержимого) увеличат скорость загрузки сайта.

    Присоединяйтесь к нашему Telegram-каналу!

    • Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
    • Для этого вам необходимо подписаться на наш канал.

    У сайта бесконечный цикл переадресации

    Бесконечный цикл переадресации — еще одна частая проблема, мешающая индексации. Она может появиться из-за банальной опечатки. Но решить ее просто.

    Если используется WordPress, файл .htaccess поможет найти страницы, с которых перенаправляется трафик. Просто вставьте в поиск Redirect 301, чтобы обнаружить все файлы с перенаправлением. Исправьте опечатки. Если присутствует 302 редирект, его стоит поменять на 301.

    Читайте также:

    Как сделать редирект — подробное руководство по настройке и использованию

    С помощью инструмента Screaming Frog можно найти дополнительные ошибки на сайте. После их устранения воспользуйтесь Google Search Console, чтобы повторно подать запрос на индексацию. Обычно процесс занимает около семи дней.

    Использование плагинов, блокирующих Googlebot

    Некоторые плагины могут блокировать работу поискового робота Googlebot. В таком случае поисковая система не сможет просканировать сайт. Если вы настраиваете файл robots.txt через одноименный плагин для WordPress, Googlebot будет заблокирован.

    Самостоятельная настройка файла решит проблему. Robots.txt должен размещаться в корневой папке сайта и быть доступен по адресу ваш_домен.ru/robots.txt. Убедитесь, что в файле нет косой черты в строчке Disallow:

    User-agent: *

    Disallow: /

    Наличие косой черты «/» блокирует все страницы из корневой папки сайта. Чтобы поисковый робот мог проиндексировать весь сайт, ее нужно убрать.

    Читайте также:

    Robots.txt: что это, как создать и правильно настроить

    Для рендеринга используется JavaScript

    В процессе рендеринга веб-страницы браузер преобразует код в картинку. Использование JavaScript не всегда приводит к проблемам с индексацией. Но они точно возникнут, если JavaScript используется для маскировки.

    Маскировка — это прием, при котором сайт предоставляет пользователям и поисковым системам неодинаковый контент или разные URL. Это нарушение рекомендаций Google.

    Иногда рендерная и сырая версия страницы отличаются друг от друга, что может восприниматься как маскировка. В таком случае индексация остановится. Скрытие файлов JavaScript и CSS также не позволит Google проиндексировать сайт.

    В Google Search Console не указаны все варианты домена

    В Google Search Console должны быть указаны и верифицированы все варианты вашего домена. Это особенно важно, если вы мигрируете с http:// на https://.

    Установлены метатеги noindex, nofollow

    Установка метатегов noindex, nofollow бывает необходима. Но если метатеги появляются не на той странице или применяются ко всему сайту, он не будет индексироваться.

    Читайте также:

    4 метатега, которые стоит использовать: Robots, Rel canonical, Hreflang, Schema.org

    Решить эту проблему просто — поменяйте все метатеги noindex, nofollow на index, follow.

    Штрафные санкции со стороны Google

    За нарушение рекомендаций Google может пессимизировать сайт. Штрафные санкции накладываются как вручную, так и автоматически. Например, после обновления алгоритмов.

    Да за что?!

    До тех пор, пока нарушения не устранены, сайт не будет индексироваться. Чаще всего штрафы накладываются за наличие:

    • вредоносного и нежелательного ПО на сайте;
    • скрытого текста и ссылок;
    • маскировки;
    • скрытой переадресации;
    • нерелевантных ключевых слов;
    • избыточного количества ключевых слов;
    • дублированного контента.

    Сайт не адаптирован под мобильные платформы

    Адаптация сайта под мобильные платформы — критический момент. С 1 июля 2019 года Google при индексации отдает приоритет мобильному контенту.

    Необязательно вносить много изменений. Бывает достаточно плавающей сетки и медиавыражений. Под плавающей сеткой понимается макет сайта, адаптирующийся под меняющиеся размеры экрана или устройство пользователя. А медиавыражения позволяют CSS адаптироваться под параметры или характеристики устройства.

    Специальный инструмент Google позволит проверить оптимизацию для мобильных устройств. Он подскажет, не было ли нагромождений кода при написании сайта, что также влияет на индексацию.

    Проблемы с техническим SEO

    Техническое SEO — важный элемент при работе с сайтом. Именно техническая оптимизация помогает поисковым системам сканировать, понимать и индексировать страницы.

    С помощью грамотно выполненного технического SEO можно идентифицировать проблемы с основными интернет-показателями, сканированием и индексацией. Порой может казаться, что проще запустить новые сайт, но качественное техническое SEO поможет решить проблемы.

    Технический аудит сайта

    • Наличие дублей страниц, безопасность, корректность всех технических параметров: переадресаций, robots.txt, sitemap.xml скорость загрузки и др.
    • Техническая оптимизация — один из основных этапов в продвижении.

    Поисковые роботы, вперед!

    Чтобы сайт был успешным, важно размещать на нем хороший контент, работать с техническим SEO и создавать качественные обратные ссылки. Но все это будет впустую, если он не индексируется.

    Убедитесь, что все проблемы с индексацией решены, и тогда Google отблагодарит вас хорошим трафиком.

    Как заставить Google индексировать мой сайт быстрее? (Как отправлять URL-адреса)

    Индексация сайта может показаться довольно пассивной задачей.

    Просто напишите какой-нибудь контент, оптимизируйте его для поисковых систем, загрузите на свой сайт и просто подождите, пока не произойдет волшебство — верно?

    Не обязательно.

    Как ускорить размещение своего контента в Google? Как заставить Google индексировать страницы, которые вы обновили?

    Процесс индексации Google очень эффективен, но не идеален.

    А учитывая, что невозможно достичь ваших маркетинговых целей, если ваши страницы не проиндексированы, индексацию не следует оставлять на волю случая.

    К счастью, есть много способов помочь Google быстро и точно проиндексировать ваши страницы.

    В этом посте я расскажу о девяти способах более активного подхода к индексации вашего сайта и, как следствие, улучшения его видимости в Интернете.

    Вы узнаете, как заставить Google проиндексировать ваш веб-сайт и как проверить свой рейтинг в индексе Google.

    Но сначала давайте сделаем шаг назад и посмотрим, что такое индексация , и почему она играет такую ​​важную роль в ваших результатах цифрового маркетинга.

    Что такое индексация Google?

    Прежде чем мы сможем перейти к способам ускорения процесса индексации, важно понять, что такое индексация.

    Что такое веб-индекс?

    В своей самой простой форме указатель представляет собой список информации. Задолго до Интернета индексы существовали во многих формах, например алфавитные указатели в конце книг.

    Таким образом, веб-индекс представляет собой базу данных информации в Интернете.

    Поисковые системы используют эти базы данных для хранения миллиардов страниц информации. Поэтому, когда вы используете поисковую систему, вы на самом деле не ищете все, что существует в Интернете.

    Вы ищете индекс сохраненных страниц и информации этой поисковой системы.

    Боты или «пауки» сканируют новые страницы в Интернете и сохраняют их в индексе на основе их тем, релевантности, авторитетности и т. д.

    Как работает индекс Google?

    У каждой поисковой системы есть свой индекс. Но поскольку Google — крупнейшая в мире поисковая система, и именно здесь большинство маркетологов фокусируют свои стратегии SEO, мы сосредоточимся на их стратегиях.

    В 2016 году Google заявил, что ему известны 90 053 более 130 триллионов отдельных 90 054 страниц.

    Сегодня он не указывает точно, сколько страниц находится в его индексе, но говорит, что его алгоритм поиска сортирует « сотни миллиардов страниц в своем индексе для получения полезных и релевантных результатов.

    Как Google индексирует Интернет?

    Для создания библиотеки с миллиардами страниц требуются мощные инструменты.

    Самые важные из этих инструментов называются пауками. Эти автоматические боты представляют собой автоматические браузеры, которые «ползают» с сайта на сайт , переходя по ссылкам в поисках контента.

    Вся информация, которую сканируют эти пауки, хранится в индексе Google.

    Затем, когда пользователь выполняет поиск, поисковый алгоритм Google сортирует свою гигантскую базу данных, чтобы найти наиболее релевантные страницы.

    Извлечение из этой установленной базы данных (вместо попыток найти информацию в режиме реального времени) позволяет поисковой системе быстро и эффективно выдавать результаты.

    Пауки Google постоянно ищут новую информацию и обновляют свою базу данных.

    Несмотря на то, что результаты извлекаются из сохраненного источника, цель поисковой системы — всегда предоставлять актуальные результаты.

    Таким образом, когда вы добавляете новый контент, в ваших же интересах убедиться, что он проиндексирован как можно быстрее.

    Почему важно, чтобы ваш сайт быстро индексировался в Google?

    Учитывая, что поисковые роботы Google постоянно сканируют информацию, вам может быть интересно, зачем вам прикладывать дополнительные усилия, чтобы помочь им.

    В конце концов — если они уже сканируют, они все равно не найдут ваш сайт?

    Дело в том, что они могут.

    Но если ваш сайт относительно новый или редко сканируется, могут пройти дни или даже недели, прежде чем ваш новый контент будет проиндексирован.

    Это приводит к задержкам в поисковой системе видимости  — что является одним из важнейших факторов вашего успеха в цифровом маркетинге.

    Вы можете привлекать трафик из различных источников, но если учесть, что 51% всего отслеживаемого трафика веб-сайта приходится на органический поиск, невозможно отрицать, что ваше присутствие в поиске может повлиять на ваш успех.

    [tweet_box design=»default»]Обычный поиск может оказать серьезное влияние на ваш трафик, но вы не увидите этот трафик, пока ваш сайт не будет проиндексирован.[/tweet_box]

    Индексация необходима для повышения рейтинга, привлечения трафика и достижения целей вашего сайта.

    Google, вероятно, проиндексирует ваш веб-сайт в любом случае, если вы специально не предприняли действия по отказу от индексации (о чем мы поговорим позже).

    Но вы хотите, чтобы ваш сайт индексировался быстро .

    Чем раньше ваши страницы будут проиндексированы, тем раньше они смогут начать конкурировать и занимать первые места в результатах поиска.

    Учтите, что только 5,7% вновь опубликованных страниц попадают в первую десятку результатов в течение года.

    Понятно, что высокие рейтинги не достигаются в одночасье. Эти данные показывают, что Google предпочитает устоявшийся контент.

    На самом деле средний рейтинг первой страницы составляет за два года , а средний рейтинг страницы на первой позиции составляет почти три года  .

    Это не значит, что новые страницы не могут ранжироваться хорошо, конечно. Но достичь первого места быстро удается редко.

    На самом деле из всех страниц, находящихся на первой позиции, менее двух процентов были моложе года.

    Чем раньше ваши страницы будут проиндексированы, тем быстрее они смогут начать конкурировать за первые места.

    Это особенно важно для новых веб-сайтов. Если у Google нет существующей записи о сайте, его пауки не могут просто переходить по внутренним ссылкам, чтобы найти новые страницы.

    Таким образом, в то время как другие сайты продолжают добавлять новые страницы в свою базу данных, ваш сайт может быть проигнорирован.

    То же самое верно, если вы переключаете доменные имена. Даже если вы перенесете все вашего контента, Google будет рассматривать ваш новый домен как совершенно новый сайт.

    Например, когда компания Podia (ранее Coach) недавно провела ребрендинг и приняла новое имя, они также изменили свое доменное имя, чтобы отразить это. Их услуги остались в основном такими же, как и содержание их сайта.

    Но Google не может сразу распознать, когда сайт просто переключается на новое место.

    Таким образом, хотя клиент, вероятно, мог определить, что это именно тот сайт, который он искал, ему нужно было предпринять шаги, чтобы гарантировать, что Google сможет привлечь этих пользователей туда.

    Google помогает в этом процессе, позволяя веб-мастерам, меняющим домены, заполнить форму «Изменение адреса».

    Но помимо этого есть множество других шагов, которые вы можете предпринять, чтобы убедиться, что ваш контент индексируется как можно быстрее и эффективнее

    Как заставить Google проиндексировать мой сайт с помощью этих инструментов SEO: Google Search Console и Yoast

    Правильная индексация вашего сайта может показаться сложной задачей.

    Правда в том, что иногда это возможно, но существует множество инструментов для упрощения процесса, многие из которых чрезвычайно удобны для пользователя.

    Существует множество опций, которые предлагают расширенные функции и функции, но наиболее важными и широко используемыми являются две.0053 Google Search Console и Yoast SEO.

    Google Search Console — это бесплатный инструмент, который поможет вам отслеживать присутствие вашего сайта в индексе и результатах поиска Google. Вы можете использовать его, чтобы убедиться, что Google может получить доступ к вашему контенту, отправить новый контент, а также отслеживать и решать любые проблемы.

    Yoast SEO — это бесплатный плагин WordPress, разработанный для простой оптимизации сайтов для поиска. Если у вас есть сайт WordPress, это один из лучших инструментов, который вы можете использовать для улучшения своего присутствия в поиске — и на данный момент он считается важным инструментом.

    Если вы уже знакомы с этими инструментами, смело переходите к следующему разделу, где вы найдете девять советов, которые помогут вам улучшить индексацию.

    Консоль поиска Google

    Консоль поиска Google (ранее известная как Инструменты Google для веб-мастеров) — это один из самых ценных инструментов SEO в вашем распоряжении, и он совершенно бесплатный.

    Вы можете использовать его, чтобы следить за различными аспектами вашей поисковой видимости. Но ради индексации вы можете использовать его для мониторинга сканирования, ошибок индексирования и проблем с безопасностью.

    Если у вас еще нет учетной записи, перейдите в Search Console и войдите в свою учетную запись Google.

    Если у вас уже есть учетная запись Google Analytics, зарегистрируйтесь с тем же адресом электронной почты. Это упростит процесс и позволит хранить всю информацию в одном месте.

    Создав учетную запись, нажмите кнопку «Добавить свойство» в правом верхнем углу.

    Введите имя домена и нажмите «Добавить».

    После этого вы попадете на страницу с инструкциями по подтверждению вашего права собственности на недвижимость.

    Если вы решите подтвердить загрузку HTML-файла, вы увидите HTML-файл, доступный для загрузки.

    Загрузите файл подтверждения, затем используйте FTP, чтобы загрузить его в корневой каталог.

    После того, как вы загрузили файл, вы можете убедиться в этом, открыв целевой URL-адрес в браузере. Если вы видите имя файла в окне браузера, загрузка завершена. Вернитесь в Search Console и нажмите «Подтвердить».

    После завершения этого шага вы можете получить доступ к своим данным Search Console. Однако важно отметить, что вам нужно будет оставить файл подтверждения на своем сайте. Даже после первоначальной проверки этот файл показывает Google, что вы являетесь правильным владельцем.

    Если у вас возникли проблемы с подтверждением вашего сайта с помощью HTML-файла — или если вы просто предпочитаете проверить это другим способом — есть несколько других вариантов, которые вы можете использовать.

    Если у вас уже есть учетная запись Google Analytics, это простой способ использования. Убедитесь, что вы вошли в систему с той же учетной записью Google, которую используете для Analytics, выберите «Google Analytics» и нажмите «Подтвердить».

    После аутентификации вашей учетной записи вы можете ознакомиться с несколькими основными функциями.

    Установка предпочтительного домена

    Одно из самых простых исправлений, которые вы можете сделать для целей индексации, — это установка предпочтительного домена.

    Пользователи могут попасть на ваш сайт, введя имя вашего домена с WWW или без него. Может показаться, что это не проблема, но Google рассматривает WWW- и не-WWW-версии вашего домена как разные сайты.

    Если вы не сообщите Google, что это оба ваших сайта (и какой из них вы предпочитаете), он может индексировать один и тот же контент по разным URL-адресам. Это может создать некоторые раздражающие, но легко предотвратимые проблемы.

    Установка предпочтительного домена сообщает Google, какую версию вы предпочитаете, и гарантирует, что все ваши страницы проиндексированы в правильном месте.

    К счастью, это также простой процесс.

    Сначала добавьте все версии вашего домена, следуя той же процедуре, что и выше. Убедитесь, что вы добавили версии WWW и не WWW, а также версии HTTP и HTTPS, если у вас включен HTTPS.

    Это означает, что многие владельцы сайтов получают четыре свойства для одного сайта:

    • http://www.yourdomain.com
    • https://www.yourdomain.com
    • http://вашдомен.com
    • https://yourdomain.com

    После того, как вы добавили все версии своего домена, щелкните значок шестеренки и выберите «Настройки сайта».

    В верхней части страницы у вас будет возможность указать, какую версию вашего сайта вы хотите, чтобы Google распознавал.

    Таким образом, если другой сайт ссылается на WWW-версию вашего сайта, но вы предпочитаете не-WWW-версию, Google будет знать, что ссылка должна быть привязана к той версии, которую вы предпочитаете.

    Версия, которой вы пользуетесь, по существу субъективна.

    Владельцы сайтов спорили лет , что лучше, но нет никаких признаков того, что выбор одной из версий лучше другой для целей SEO. Главное — выбрать одну — неважно какую.

    Установив предпочитаемый домен, вы можете начать использовать множество функций, доступных в Search Console. Но для целей этого поста наиболее важными являются те, которые перечислены в разделах «Индекс Google» и «Сканирование» в левом меню.

    Статус индексирования

    Отчет о статусе индексирования показывает, сколько ваших URL-адресов Google проиндексировал за последний год.

    Этот отчет позволяет легко определить, находит ли Google и индексирует ли ваши страницы.

    Вы также можете проверить вкладку «Дополнительно», чтобы узнать, сколько страниц на вашем сайте было заблокировано вашим файлом robots.txt (к которому мы вернемся позже).

    Если вы намеренно запрещаете Google индексировать определенные страницы, эта вкладка сообщит вам, что вы правильно настроили блоки.

    И если вы не хотите запретить Google индексировать определенные страницы, эта вкладка сообщит вам, если возникнет проблема.

    Удалить URL-адреса

    Если вы когда-нибудь захотите временно удалить принадлежащий вам URL-адрес из результатов поиска, вы можете сделать это с помощью функции «Удалить URL-адреса».

    Это не приведет к окончательному удалению страницы из результатов поиска, но может быть полезно для страниц, которые находятся в стадии разработки, или если вы не хотите привлекать трафик по какой-либо другой причине.

    Ошибки сканирования

    Отчеты об ошибках сканирования дают краткий обзор любых проблем с сайтами или URL-адресами за последние 90 дней.

    Это упрощает быстрое выявление и устранение проблем, которые могут препятствовать индексации и ранжированию ваших страниц.

    Статистика сканирования

    Отчет «Статистика сканирования» показывает активность Google на вашем сайте за предыдущий 90-дневный период, включая просканированные за день страницы, загруженные за день килобайты и время, затраченное на загрузку страницы.

    Верхний график страниц в день, пожалуй, самый важный из трех, поскольку он показывает, как часто Google сканирует и индексирует ваш контент.

    Чем чаще Google сканирует ваш сайт, тем лучше.

    Хотя вы не можете напрямую повлиять на скорость сканирования вашего сайта, вы можете с уверенностью предположить, что если Google сканирует ваш сайт с постоянной скоростью, ваш сайт находится в приличном состоянии.

    Если вы видите внезапное падение, это может указывать на такую ​​проблему, как неработающие ссылки или неподдерживаемый контент. Наблюдение за этой частотой может помочь вам выявить потенциальные проблемы до того, как они превратятся в реальные проблемы.

    Yoast

    Если ваш сайт работает на WordPress, плагин Yoast SEO является важным плагином. Он разработан, чтобы упростить SEO для пользователей WordPress и не требует каких-либо технических знаний или знаний в области кодирования.

    Yoast предлагает платную премиум-версию с расширенными функциями, но ее бесплатная версия имеет множество функций для большинства пользователей. Все советы, которые мы упоминаем в этом посте, можно выполнить в бесплатной версии.

    Если вы еще не установили его, войдите в свою панель управления WordPress и выберите «Плагины».

    Выберите «Добавить новый», затем найдите Yoast в строке поиска.

    Нажмите кнопку «Установить сейчас», чтобы загрузить и установить подключаемый модуль, затем следуйте инструкциям для его активации.

    Yoast упрощает многие этапы оптимизации вашего сайта.

    Например, он будет автоматически анализировать вашу поисковую оптимизацию на странице  для каждой новой публикации, которую вы добавляете, и поможет вам выявить проблемы с тегом заголовка, метаописанием и удобочитаемостью.

    Существует тонны функций, которые стоит изучить , но для индексации наиболее важным является модуль XML Sitemaps.

    Щелкните значок Yoast в строке меню, затем выберите «XML Sitemaps».

    Затем переключите функцию карты сайта XML на «Включено».

    Параметры по умолчанию подходят для большинства пользователей, но если у вас есть особые предпочтения относительно того, как они настроены, вы можете установить их здесь.

    Затем нажмите «Сохранить изменения».

    Поздравляю! У вас есть карта сайта. Продолжайте читать, чтобы узнать, что с этим делать.