Содержание

Как проверить индексацию всего сайта и конкретной страницы в Яндексе и Google: инструкция по сервисам и рекомендации

Технические доработки под требования SEO и оптимизация структуры сайта – это первостепенные моменты в продвижении ресурса, но если поисковые системы не знают о нем, то есть он не проиндексирован, то продвижение невозможно.

 

Что же такое индексация? Это добавление поисковыми роботами собранных сведений о ресурсе в базы данных. Дальнейшее ранжирование происходит уже по проиндексированным страницам. Предлагаем несколько простых и понятных способов проверки страниц, которые «видят» поисковые системы.

Рассмотрим каждый вариант подробнее.

 

Оглавление:

  1. Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

  2. Проверка количества проиндексированных страниц в ПС при помощи операторов

  3. Анализ индексации сайта при помощи плагинов и расширений

  4. Отслеживание проиндексированных страниц с помощью online сервисов

  5. Программы для контроля индексации сайта

  6. Проверка индексации страницы

  7. Почему сайт может не индексироваться

  8. Выводы SEO-специалиста Веб-Центра

1.

Проверка индексирования сайта через панель Яндекс.Вебмастера и Google Search Console

Бесплатный и достоверный способ с использованием сервисов для вебмастеров.

Яндекс.Вебмастер

В первую очередь выполняем авторизацию в аккаунте Яндекса и входим в сервис Вебмастер. Далее вводим url ресурса и нажимаем кнопку «Добавить».

Добавление сайта в вебмастер Яндекса

 

После прохождения верификации переходим в панель и нажимаем вкладку «Индексирование» – «Страницы в поиске». Тут представлены страницы веб-сайта, участвующие в поиске Яндекса.

Просмотр страниц в поиске Яндекса через панель для вебмастеров

 

Также количество загруженных и проиндексированных страниц можно посмотреть в сервисе на странице «Мои сайты».

Просмотр количества страниц в поиске на вкладке «Мои сайты»

 

Для анализа список страниц можно скачать из сервиса файлом в форматах . xls и .csv.

Google Search Console

Аналогично вебмастеру Яндекса проходим авторизацию в аккаунте Google, входим в сервис search.google, вводим url сайта и нажимаем кнопку «Добавить ресурс».

Пример верификации в панели вебмастеров в Гугл

 

После подтверждения прав на сайт для проверки индексации ресурса в панели Вебмастера Гугл переходим во вкладку «Индекс» – «Покрытие».

Просмотр страниц в ПС Гугл через панель для вебмастеров

 

Нужно учитывать, что информация в Google Search Console примерная, так как в отчете показывается статистика после последнего обхода, то есть количество страниц может быть другим на текущий момент проверки.

Примеры проверки индексации сайта

На скриншоте – сайт, у которого нет проблем с индексацией в Яндексе

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Яндекса

 

На скриншоте – сайт, у которого регулярно удаляются страницы из поиска Гугл


Читайте также Обновлённый поиск Яндекса «Андромеда» — что нового и влияние на SEO


2.

Проверка количества проиндексированных страниц в ПС при помощи операторов
1. Оператор «site»

Применяя документный оператор «site» возможно увидеть примерное количество страниц в индексе. Для использования этого параметра введите в строке поиска «site:адрес_интересующего_сайта», например «site:https://www.bordur32.ru».

Пример использования оператора «site» в Яндексе

 

Пример использования команды «site» в Гугле

Но в использовании этого оператора есть особенность. Если на сайте более 2 тысяч страниц, то Яндекс часто показывает их некорректное количество. Поэтому сам Яндекс рекомендует уточнять информацию по количеству страниц в индексе через панель вебмастеров, о которой говорили выше.

С помощью оператора мы видим количество страниц – 2 тысячи, если смотреть через панель вебмастера, то число будет совсем другим – 7 808:

Оператор «host»

Оператор «host:» работает по принципу оператора «site», только он позволяет сузить область поиска до конкретного домена. Поддомены не учитываются и не выводятся в результатах поиска. Чтобы использовать оператор, введите в строке поиска «host:адрес_интересующего_сайта».

Если бы мы использовали оператор «site», в выдачу попали бы страницы с поддоменами других городов.

3. Анализ индексации сайта при помощи плагинов и расширений

Чтобы не вводить операторы в строке браузера перед url используется данный автоматизированный способ. Скачиваем бесплатный букмарклет для браузера (небольшой по размеру скрипт, сохраняемый в закладках) и кликаем на специальную иконку находясь на сайте.

Пример использования плагина SEO-tools

 

Установить расширение вы можете по ссылке

 

Пример использования расширения RDS bar

 

Установить расширение вы можете по ссылке

 

4.

Отслеживание проиндексированных страниц с помощью online сервисов

Еще один способ проверки индексации это использование сторонних ресурсов. Например, переходим на сайт a.pr-cy.ru вводим url и нажимаем «Анализировать».

Скриншот проверки индексации сайта в a.pr-cy.ru

 

Индексацию сайта можно проверить и в других сервисах, например: seogadget.ru, xseo.in и других.

 

5. Программы для контроля индексации сайта

Существуют бесплатные (Site-Auditor) и платные программы (Semonitor) для анализа сайта и проверки страниц в индексе. Выбранное программное обеспечение скачиваем и устанавливаем на ПК. В строку ввода добавляем url проверяемого сайта.

Скриншот фрагмента анализа сайта в программе Site-Auditor

 

Проверка индексации страницы

Иногда требуется не только узнать сколько страниц проиндексировано в Яндексе и Google, но и нужно определить индексируется ли какая-то конкретная страница. Это можно сделать следующими способами:

1. В панели для вебмастеров:

  • Яндекс – следовать по пути «Индексирование» – «Проверить статус URL». В поле для ввода данных ввести либо полный урл интересующей страницы, либо путь от корня сайта начинающийся с «/». Далее нажать кнопку «Проверить».

    Проверяемая страница в поиске Яндекса


  • Google – перейти во вкладку «Проверка URL» и ввести урл интересующей страницы.

    Проверяемая страница проиндексирована в Google

2. Оператор «url»

В строке поиска вводим специальный оператор. Запрос будет выглядеть так: «url:адрес_интересующей_страницы».

Пример использования оператора «url» в ПС Яндекс

Ранее, по типу оператора «url» в Яндекс, в поисковой системе Google был оператор «info». В 2019 году Google отключил данный поисковый оператор. Причиной этого решения стал тот факт, что эта команда мало используется, а получить эти данные можно с помощью инструмента проверки URL в Search Console.

Используя оператор info, можно было просмотреть канонический URL для конкретной страницы. Однако, поскольку эти данные доступны в инструменте проверки URL, то отдельный поисковый оператор, по мнению Google, больше не нужен.

3. Оператор «info»

В поисковой системе Google можно воспользоваться оператором «info». Запрос в строке поиска будет выглядеть следующим образом: «info:адрес_интересующей_страницы»

Пример использования оператора «info» в ПС Гугл

 

Почему сайт может не индексироваться

В идеале страницы ресурса должны быть проиндексированы и их количество в поисковых системах должно быть примерно одинаковым. Но так бывает далеко не всегда. Рассмотрим причины мешающие индексации сайта.

Ошибки в файле robots.txt

Файл robots.txt – это текстовый документ в формате .txt лежащий в корневом каталоге веб-сайта, запрещающий или разрешающий индексирование страниц роботам ПС. Поэтому неправильное использование директив может закрыть от индексации весь сайт или отдельные страницы ресурса.

Отсутствие файла sitemap.xml

Карта сайта (файл sitemap.xml) – это специальный документ расположенный в корневом каталоге, содержащий ссылки на все страницы ресурса. Этот файл помогает поисковым роботам оперативно и качественно индексировать ресурс. Поэтому в него нужно добавлять только те страницы, которые должны попасть в индекс.

Новый сайт

Процесс индексации нового ресурса занимает некоторое время. Поэтому в данном случае нужно просто подождать, не забывая контролировать процесс индексации.

Приватные настройки

В некоторых CMS, таких, как WordPress и Megagroup, существует возможность скрыть от индексации страницы через админку сайта, данные настройки могут стоять по умолчанию.

Тег «noindex»

Страницы могут быть закрыты от индекса в коде с помощью мета тега name=»robots» content=»noindex, nofollow» />. Нужно проверить его наличие и либо убрать из кода, либо заменить на «index» и «follow».

Мусорные страницы

Еще одной из причин может стать большое количество мусорных страниц, не предоставляющих полезного и уникального контента в рамках сайта. Такие страницы нужно закрывать от индексации, чтобы не возникали проблемы с индексированием ресурса и робот не тратил время на посещения этих страниц.

 

Также причиной не индексации страниц ресурса могут быть ошибки сканирования, блокировка сайта в файле .htaccess, дубли страниц, не уникальный контент, низкий uptime хостинга, медленная скорость загрузки сайта, баны и фильтры ПС.


    Если вы не смогли решить проблему с индексацией отдельных страниц, или хотите поручить поисковую оптимизацию сайта профессионалам, расскажите нам о вашем проекте. Команда Веб-Центра выводит в топ сайты любой тематики.

Выводы SEO-специалиста Веб-Центра

Главная цель как владельца сайта так и SEO-специалиста добиться индексирования нужных страниц ресурса. Для этого нужно регулярно контролировать страницы в поиске Яндекса и Google, проверять сервисы для вебмастеров на наличие ошибок на сайте, наполнять его уникальным и полезным контентом, следить и оптимизировать скорость загрузки ресурса.

 

Для ускорения процесса индексации нужно подтвердить права на сайт в Яндекс.Вебмастер и Google Search Console и разместить в них ссылку на файл sitemap.xml, также можно отправлять на переобход важные страницы ресурса.

Подробно эту тему мы разобрали в видео на нашем Ютуб-канале


    А если у вас возникли трудности или вы не хотите тратить время, то можете заказать бесплатную SEO-консультацию у наших специалистов.

Как проверить индексацию сайта в Яндекс и Google: советы и способы проверки

Поисковые системы по разным причинам индексируют не все страницы сайта. Крупные ресурсы и интернет-магазины теряют доход, если их товарные страницы отсутствуют в поиске, поэтому проверка индексации сайта в Яндекс и Google так важна. При обнаружении проблемы вебмастер должен провести своевременную аналитику.

Как узнать количество проиндексированных страниц?

Чтобы узнать, сколько страниц сайта не проиндексировано, необходимы данные об общем количестве. Существует несколько способов узнать это:

  • Воспользоваться картой сайта. Ее можно найти по адресу: название ресурса/sitemap.xml. В файле отображаются все страницы сайта, но в некоторых случаях sitemap может генерироваться неверно и не все url могут корректно отображаться.


  • Проверить индексацию сайта с помощью программ. Сервисы автоматически сканируют все страницы и выдают актуальные результаты. Вы можете воспользоваться платным ресурсом Screaming Frog Seo или бесплатным — Xenus Links Sleuth.


Основные методы проверки индексации

1. Панели Яндекс.Вебмастер и Google Search Console

После верификации можно проверить индексацию страниц сайта в поисковой системе Яндекс в панели управления вебмастера во вкладке «Индексирование», далее — «Страницы в поиске». Вы увидите перечень страниц, которые участвуют в индексации в Yandex поиске. Сохранить информацию для дальнейшего анализа можно в формате .xls и .csv.

Проверка в Google Search Console также начинается с подтверждения прав на владение сайтом, далее в панели управления вебмастера Гугл выбираем вкладку «Индекс», затем — «Покрытие». Полученные статистические данные по индексированным страницам примерные, так как. информация предоставляется на время последнего обновления системы. На текущий момент количество страниц может разниться, важно это учитывать.

Как узнать, проиндексирована ли конкретная страница в Google? Для этого необходимо вставить URL-адрес в поисковую строку Search Console. Если страница еще не проиндексирована, вы увидите следующее сообщение:

Так можно вручную отправлять выбранные страницы в очередь для индексации. В вебмастере Яндекс тоже имеется такой функционал. Для добавления страниц в очередь для индексации необходимо перейти во вкладку «Индексирование», далее — «Переобход страниц» и добавить необходимые url.

2. Поисковые операторы

Операторы поиска — набор команд, которые фильтруют и уточняют результат выдачи. Команда «site:» выдает данные о примерном количестве страниц, которые присутствуют в индексе. Чтобы проверить индексацию сайта в поисковых системах, нужно ввести «site:[url вашего сайта]» в строку поиска. Если информация в Google и Яндекс разительно отличается между собой, значит требуется провести аудит сайта и найти причину некорректной работы.

Для быстрого и расширенного поиска можно использовать дополнительные инструменты. Чтобы увидеть изменения в индексации за последние сутки, нужно воспользоваться вкладками (ниже поисковой строки) «Инструменты поиска» и выбрать диапазон «За год/месяц/неделю/24 часа/час».

3. Плагины и букмарклеты

Это javascript-программы для автоматизированной проверки сайта, которые браузер сохраняет в качестве закладок. Преимущество плагинов заключается в том, что не нужно заходить в Яндекс или Google и вводить нужный запрос каждый раз. Работа расширений настроена через специальные скрипты, которые автоматически произведут проверку.

Один из самых известных плагинов — RDS bar. Он анализирует и показывает данные относительно всего сайта и его отдельных страниц. Для полноценной работы плагина рекомендуется установить браузер Mozilla Firefox.

Плагин Seo Magic также предоставляет полезную информацию для анализа, в том числе данные о количестве индексированных страниц в Яндекса и Google.

4. Программы-помощники для SEO-специалистов

Проверка индексации страниц сайта может производиться через связку программ.

Netpeak Spider — полностью сканирует сайт и выдает список подробных данных о нем. Программа позволяет узнать следующие данные: заголовки, название, метаописания, canonical, код ответа, внешние и внутренние ссылки, редиректы, robots. txt, а также сигнализирует об ошибках в системе. Полученные URL-адреса необходимо выгрузить в Netpeak Checker, где и происходит проверка страниц на наличие в индексе.

Основные проблемы индексации сайта

Есть перечень причин, которые препятствуют страницам сайта индексироваться.

Как ускорить процесс индексации сайта?

Количество страниц, обрабатываемых поисковиками за раз, ограничено. В основном это зависит от выделенного краулингового бюджета. Вот еще несколько продуктивных методов ускорить процесс индексации:

  1. Способ автоматического обновления карты сайта.

    Sitemap предоставляет роботам информацию о структуре сайта, в файле перечислены все адреса страниц. Важно указать частоту посещения и приоритетность страниц, поэтому позаботьтесь о том, чтобы все новые страницы сайта автоматически добавлялись в карту.

  1. Устранение дублированных страниц и неуникального контента.

    Дубли страниц препятствуют индексации страниц сайта. Поисковый робот просто может не дойти до нужной страницы, поэтому вебмастер должен следить за состоянием ресурса.

  1. Регулярный мониторинг внутренних редиректов и битых ссылок.

    Наличие на сайте битых ссылок и редиректов в большом количестве приводит к тому, что робот попадает на несуществующие страницы или те адреса, которые уже отсканировал. Важно контролировать количество внутренних редиректов и не допускать наличие битых ссылок на сайте.

  1. Грамотная настройка robots.txt.

    Файл robots.txt. не является обязательной инструкцией к применению, но пренебрегать его возможностями не стоит. Корректная настройка откроет доступ к новым страницам сайта и облегчит поиск для роботов.

  1. Улучшение скорости загрузки сайта.

    Скорость загрузки сайта — важный фактор ранжирования. Оптимальная скорость загрузки страницы составляет 3-5 секунд, а время ответа сервера — 200 мс. Для контроля и оптимизации можно использовать сервис PageSpeed Insights, в котором предложены основные рекомендации по оптимальным настройкам загрузки сайта.

  1. Перелинковка

    Суть перелинковки заключается в грамотном распределении внутреннего веса между страницами сайта. Переходя по внутренним ссылкам, робот также быстро находит новые страницы и оперативно добавляет их в индекс.

  1. Вывод превью новых товаров и свежих статей на главную страницу сайта.

    Чтобы пользователи и поисковики быстрее заметили новый товар или раздел каталога, ссылку на материал целесообразно разместить на главной странице.

  1. Размещение ссылки в соцсетях.

    Публикация ссылки на новую страницу сайта увеличивает ее активность и соответственно ускоряет индексацию.

  1. Постоянное обновление контента.

    Поисковики любят активные сайты. Поддержать актуальность ресурса поможет публикация интересного уникального контента, обновление каталога, размещение ссылок на новые материалы, дополнение старых страниц новой полезной информацией. Обновлять контент рекомендуется не реже 1 раза в неделю.

Чек-лист «Устранение ошибок при индексации сайта»

Проверка индексации сайта — важная задача SEO-специалиста. Что может улучшить индексацию?

Как проверить индексацию страницы | Сервисы проверки индексации сайта.

Продвижение

Содержание

Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).

  • Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
  • Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
  • В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).

Работая с клиентами, я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.

Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.

Если вы владелец сайта

Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.

https://webmaster.yandex.ru/ — Яндекс

https://www.google.com/webmasters/ — Google

Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска.

Яндекс Вебмастер

В вебмастере целый раздел так и называется «Индексирование»

В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.

Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.

Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:

Пример проверки отдельной страницы

Google Search Console (Google Вебмастер)

В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.

Пример проблем с индексацией. Серые столбики — исключенные страницы.Проверка отдельной страницы

Имея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.

Если сайт чужой

Если сайт чужой, то можно посмотреть сколько страниц проиндексировано в поисковой системе с помощью специального запроса

Проверка индексации сайта в ЯндексеПроверка индексации в Google

Можно заметить, что у меня отличается число для Google и Яндекс. Это может свидетельствовать о проблемах, если вы не знаете настоящей причины. В данном случае причина в том, что я недавно добавил каталог услуг и Яндекс быстрей проиндексировал новые страницы.

Чтобы проверить отдельную страницу, достаточно скопировать ее адрес URL и вставить в строку поиска. Если в результатах будет нужная страница, значит она проиндексирована.


Проверяем индексацию страницы в ЯндексеПроверяем индексацию страницы в Google

С помощью сервисов

Сервисы — это менее точный метод, но его хорошо использовать, когда нужно проанализировать много сайтов.

Сервис Be1.ru

https://be1.ru/

Вот так показывает индексацию сервис Be1

Как видно, сервис показал, что у меня недавно было прибавление страниц в Яндексе (и это соответствует реальности), а Google запаздывает.

Сервис PR-CY

https://a.pr-cy.ru/

Пример отчета по индексации из сервиса PR-CY

Сервис Серпхант

https://serphunt.ru/indexing/

Сервис предоставляет мощный функционал для SEO специалистов, но в данном случае нас интересует инструмент проверка индексации. Проверяет Яндекс и Google

Пример проверки индексации в Серпханте

Arsenkin

https://arsenkin. ru/tools/indexation/

Cервис бесплатно проверяет индексацию в Яндексе, а для Гугл надо подключить базовый тариф.

Пример проверки индексации в Arsenkin

Promopult — платно, но дешево и много

https://promopult.ru/tools/indexing_analysis.html

Когда нужно проверить большее количество URL разом, то я использую сервис Promoputl. Проверка индексации в Яндекс и Google одной страницы стоит 2 копейки, отчет предоставляется в Excel

Проверка индексации от Promopult

Как узнать количество страниц на сайте

Хорошо, теперь вы знаете как проверить индексацию. А как понять соответствует ли оно реальности. В самом простом случае, надо знать сколько страниц на сайте и сколько из них разрешены к индексации.

Чтобы узнать эту информацию можно просканировать сайт программой SiteAnalyzer (https://site-analyzer.ru/)

Просканировал сайт и вижу, что HTML страниц 190

Если вы внимательно читали статью и смотрели скриншоты, то видите, что количество страниц на сайте не совпадает с информацией от поисковых систем и сервисов. Но число примерно похоже.

Дальше, используя программу SiteAnalyzer и перечисленные методы можно вычислить какие страницы не в индексе, а также страницы которые до сих пор в индексе, но нет на сайте.

Популярные проблемы с индексацией

Когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:

  1. Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке. Хотя все равно рекомендую проверить и сравнить.
  2. Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
  3. Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.

Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.

Заключение

Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.

← Как продвигают сайтыКак посмотреть статистику страницы Вконтакте (и как вас могут обмануть) →

специалист по SEO продвижению

Как проверить, проиндексирована ли ваша страница, и как исправить проблемы

Вы изо всех сил пытаетесь найти свои веб-страницы с помощью онлайн-поиска? В этом посте вы узнаете, как проверить, проиндексированы ли ваши страницы.

Если вы не ранжируете что-либо из того, что вы пытаетесь сделать, независимо от того, насколько оно специфично, это может быть проблемой индексации.

Каждая поисковая система извлекает свои результаты из индекса, и если веб-страница отсутствует в этом индексе, она, очевидно, не может появиться в результатах. Из-за этого проблема с индексацией может привести к тому, что весь ваш высококачественный контент и работа по оптимизации на странице будут потрачены впустую.

Если вы не уверены, правильно ли проиндексированы ваши веб-страницы, или вам нужен совет по решению проблемы с индексацией, эта статья для вас. Мы рассмотрим, как работает индексирование, каковы наиболее распространенные проблемы с индексированием и как вы можете внести необходимые изменения, чтобы убедиться, что у вас больше не будет проблем с индексированием.

Как работает индексация

Когда новые веб-сайты или страницы размещаются в Интернете, они не сообщают о себе поисковым системам — поисковые системы должны приложить усилия, чтобы найти их. Они делают это с помощью ботов поисковых систем (также называемых сканерами). Сканеры, как следует из названия, пробираются через веб-сайты, переходя по внутренним и внешним ссылкам с целью индексации и систематизации всего найденного контента.

Все данные, собранные по пути, сохраняются в индексе, готовые к использованию поисковой системой. Когда пользователь отправляет поисковый запрос, поисковая система выполняет следующие действия:

  • Анализирует запрос, чтобы наилучшим образом судить о намерениях искателя.
  • Отфильтровать индекс в соответствии с предполагаемым намерением.
  • Выберите все страницы, которые считаете подходящими (учитывая большое количество факторов).
  • Представить их пользователю в порядке значимости.

Поскольку страницы регулярно обновляются, их качество или релевантность определенным темам повышается или понижается, поисковые роботы должны регулярно возвращаться на проиндексированные сайты. Насколько регулярно сканируется сайт, будет зависеть от того, как часто он меняется, насколько авторитетен он считается и многих других показателей.

Почему некоторые страницы не должны быть проиндексированы

Поисковые индексы — это не просто базы данных всего, что найдено поисковыми роботами.

Есть три причины, по которым было бы плохой идеей указывать в поисковом индексе абсолютно все действующие ссылки: ) не содержат такого контента и не заслуживают включения. Например, веб-сайты с фильтрами продуктов часто могут автоматически генерировать длинные списки различных URL-адресов для отфильтрованных или отсортированных представлений, и многие из этих представлений никому не будут интересны.
Кроме того, если несколько страниц имеют одинаковый контент, должна быть возвращена только одна из них: поисковики не получают выгоды от нескольких результатов с одинаковым содержанием.
  • Страница должна быть подходящей не только с точки зрения содержания, но и с технической точки зрения. Если пользователь щелкает ссылку в результатах поиска, а страница не загружается, открывает спам-всплывающие окна или создает неприемлемый пользовательский интерфейс, это плохо отражается на поисковой системе и обескураживает пользователя.
  • Поисковые системы хотят, чтобы владельцы веб-сайтов занимались самостоятельным курированием, поскольку нет никакой выгоды от включения страниц, которые владельцы не хотят индексировать. Иногда владельцы веб-сайтов хотят сохранить контент для потомков, но предпочитают архивировать его, потому что он устарел и/или не соответствует назначению. Результаты поиска следует размещать на самых ценных страницах, а это именно те страницы, которые владельцы веб-сайтов активно хотят видеть.

    • В результате существуют различные факторы, которые могут привести к тому, что страница не будет проиндексирована поисковой системой. Сканер может не только решить, что страницу не стоит включать, но и владелец веб-сайта может указать, что страница не должна быть проиндексирована, и даже пометить определенные ссылки, чтобы сканеры не переходили по ним в первую очередь.

    Проверьте свои обратные ссылки

    Получите мгновенное представление о том, кто ссылается на ваш сайт

    Как узнать, проиндексирована ли страница

    Чтобы узнать, были ли ваши страницы проиндексированы Google, используйте инструмент Google Index Checker. Это отличный инструмент для точного определения того, какие из ваших страниц не проиндексированы и могут потребовать настройки или улучшения.

    Распространенные причины, по которым страница не индексируется

    Как уже отмечалось, существует множество причин, по которым страница не индексируется. Вот самые распространенные:

    • Краулеры не могут найти. Если на вашем веб-сайте нет всеобъемлющей XML-карты сайта (список всех страниц, которые необходимо проиндексировать) или внутренних ссылок на определенную страницу, или она скрыта глубоко внутри папок, сканер часто не сможет ее найти, и таким образом, он не сможет его индексировать.
    • Для страницы установлено значение «noindex». Даже если у вас есть внутренняя ссылка на страницу или внешняя ссылка, указывающая на нее из другого домена, страница могла быть помечена как «без индекса», что привело к ее игнорированию поисковыми роботами.
    • Заблокировано в robots.txt. Каждый веб-сервер предоставляет файл robot.txt, содержащий инструкции для поисковых роботов. Если файл robots.txt запрещает всем поисковым роботам индексировать сайт, это, очевидно, огромная проблема. Хотя это необычно, разработчик нередко пытается заблокировать определенные страницы, но случайно блокирует гораздо больше в процессе.
    • Уровень качества недостаточно высок. Если в вашем домене есть малоценные ссылки и недостаточно контента (или вообще нет контента), поисковые системы могут решить не ранжировать некоторые или все ваши страницы, чтобы поддерживать высокий стандарт.

    Существуют различные другие возможные причины того, что страницы не индексируются, но они могут быть технически сложными и зависеть от конкретной природы вашего сайта. В подавляющем большинстве случаев объяснение будет одним из перечисленных выше.

    Последствия проблем с индексацией

    Степень влияния проблем с индексацией на веб-сайт зависит от характера и масштаба проблем, а также от того, какие страницы они затрагивают. Если второстепенная страница на вашем сайте не проиндексирована, это не конец света, но если не проиндексирована высококачественная SEO-дружественная часть вечнозеленого контента, это значительная трата усилий.

    А для сайтов в сфере электронной коммерции индексация имеет еще большее значение. Органический трафик на сегодняшний день является наиболее рентабельной формой трафика для страниц продуктов, потому что он ничего не стоит за появление в результатах поиска, в отличие от контекстной рекламы или рекламы в социальных сетях. Если половина продуктов компании не проиндексирована, возможности конверсии значительно уменьшаются.

    Как узнать, когда страница будет проиндексирована

    Владельцы веб-сайтов очень часто задают один конкретный вопрос: когда моя страница будет проиндексирована? К сожалению, нет никакого способа узнать окончательно. Даже если вы сделаете абсолютно все правильно, строго следуя инструкциям Google и других поисковых систем, это будет зависеть от факторов, не зависящих от вас.

    Поскольку поисковые индексы охватывают миллионы и миллионы страниц со всего мира и должны постоянно обновлять сканирование для обеспечения актуальности информации, ваша страница может быть проиндексирована завтра, на следующей неделе или через пару месяцев.

    Устойчивое развитие возможно только за счет операционной эффективности, и нет никакой эффективности или ценности в попытке проиндексировать абсолютно все в срочном порядке. Вот почему Google говорит о краулинговом бюджете, который определяет, как часто страница сканируется.

    Как проверить свои веб-настройки для индексации

    Чтобы проиндексированные страницы оставались должным образом проиндексированы, новые страницы добавлялись в этот список, а нежелательные страницы не включались, для любой компании с большим присутствием в Интернете важно выделить время и ресурсы для этой конкретной проблемы SEO.

    Периодически (примерно раз в три месяца) вам следует проводить тщательную проверку следующих вещей:

    • Информационная архитектура вашего веб-сайта. Все ли работает так, как должно с технической точки зрения? Справляется ли сервер с нагрузкой так, как должен?
    • Ваша внутренняя структура ссылок. Достаточно ли у вас внутренних ссылок для поддержки регулярного сканирования? Вы можете быть довольно либеральны с внутренними ссылками, поскольку они обеспечивают полезный контекст. Используйте этот бесплатный инструмент поиска ссылок, чтобы проверить, отсутствуют ли у вас релевантные внутренние ссылки.
    • Настройка вашей хлебной крошки. Правильно ли вложены страницы и отнесены ли они к правильным категориям? Поддержание логической внутренней структуры очень важно для того, чтобы показать поисковым системам, что ваши страницы заслуживают индексации.

    Хотя для этого не требуется, чтобы вы стали экспертом в области ИТ, вам нужно будет либо разобраться во всех этих концепциях, либо проконсультироваться с кем-то, кто точно знает, как проверить эти вещи и внести необходимые изменения.

    Где индексация соответствует вашей стратегии SEO

    Когда компании думают о том, как SEO влияет на их маркетинговые стратегии, они склонны рассматривать технические соображения SEO как второстепенные. Другие аспекты SEO, такие как контент-маркетинг или работа в социальных сетях, более креативны и, следовательно, считаются более гламурными и интересными.

    Проблема с этим ходом мыслей, конечно же, в том, что упускать из виду технические основы крайне глупо. Если ваш бюджет на длительную кампанию платной рекламы, работу в социальных сетях, производство контента и защиту бренда, но вы не понимаете, что вы создаете авторитет вокруг страницы, которая не может быть проиндексирована в Google, это будет равносильно бесполезным инвестициям — как только кампания закончится, ваш трафик снова исчезнет.

    Использование индексов для исследования конкурентов

    Если оставить в стороне ваше собственное индексирование, есть еще один аспект поисковых индексов, заслуживающий упоминания: исследование конкурентов. Глядя на то, какие страницы индексируются вашими конкурентами (а какие нет), вы можете получить представление о том, что они делают, и получить возможность реконструировать их стратегии.

    Проверьте свои обратные ссылки

    Получите мгновенное представление о том, кто ссылается на ваш сайт

    Только подумайте о том, как много информации легко доступно вам бесплатно с помощью простого поиска в Google. Если вы потратите немного времени на изучение того, как другие компании в вашей отрасли обрабатывают индексирование, обратные ссылки и результаты поиска в целом, вы получите от этого много пользы.

    Завершение проверки того, проиндексирована ли ваша страница

    Создание высококонкурентного веб-сайта в Интернете в лучшие времена является сложной задачей, независимо от того, сколько у вас отличного контента или насколько хорошо вы взаимодействуете со своей аудиторией. Это требует времени и последовательности, и есть множество других отличных сайтов, которые заслуживают того, чтобы их оценили выше вас, если вы упустите свои стандарты.

    Поскольку вы должны вкладывать так много времени и усилий в контент, информационно-просветительскую работу и разработку UX, крайне важно убедиться, что вас не останавливает фундаментальная техническая проблема, например, отсутствие индексации важных страниц.

    Мы рассмотрели, что такое индексирование, почему оно так важно и как вы можете принять меры для выявления и устранения распространенных проблем с индексированием. Остальное зависит от тебя. Найдите время, чтобы тщательно проверить настройки, и запланируйте нечастые проверки, чтобы убедиться, что ваши усилия не будут подорваны техническими проблемами, которых можно избежать.

    Кейли Тойра : контент-стратег

      Наполовину финка, наполовину британка, маркетолог из Бристоля. Я люблю писать и исследовать такие темы, как рассказывание историй и маркетинг клиентского опыта. Я руковожу небольшой командой писателей в бутик-агентстве.

    Как определить, какие страницы не проиндексированы | SEO Форум

    Ваш браузер не поддерживает JavaScript. В результате ваши впечатления от просмотра будут уменьшены, и вы будете переведены в режим только для чтения .

    Загрузите браузер, поддерживающий JavaScript, или включите его, если он отключен (например, NoScript).

    1. Дом
    2. SEO-тактика
    3. Техническое SEO
    4. org/ListItem»> Как определить, какие страницы не проиндексированы

    Эта тема была удалена. Его могут видеть только пользователи с правами управления вопросами.


    • Есть ли способ определить, какие страницы веб-сайта не индексируются поисковыми системами?

      Я знаю, что в Google Webmasters есть область карты сайта, в которой указано, сколько URL-адресов было отправлено и сколько проиндексировано из отправленных. Однако это не обязательно показывает, какие URL-адреса не индексируются.

    • org/Comment»>

      @mfrgolfgti Лол, да, это работает, но не для индексации?


    • Привет, я знаю, что это старый вопрос, но я хотел спросить о первом абзаце вашего ответа: «Вы можете начать с поиска «site:domain.com». Это не покажет вам все страницы, которые проиндексированы, но это может помочь вам определить, какие из них не проиндексированы».

      Вы случайно не знаете, почему поиск site:domain.com не показывает все проиндексированные страницы? Я только что обнаружил это для нашего сайта. Вниз по сайту: команда показывает 73 страницы, но, просматривая список, многие страницы не включены. Однако если я выполню команду site:domain.com/page.html для этих отдельных страниц, они появятся на странице результатов поиска. Хотя я не понимаю, почему?

    • org/Comment»>

      Я столкнулся с той же проблемой, когда около четверти сайта клиента не индексируется. Использование трюка site:domain.com показывает мне 336 результатов, которые мне каким-то образом нужно добавить в файл csv, сравнить с URL-адресами, просканированными кричащей лягушкой, а затем использовать ВПР для поиска уникальных значений.

      Итак, как я могу экспортировать эти 300+ результатов в CSV-файл для анализа?


    • Глубокое сканирование предоставит информацию с помощью одного инструмента. Это не дорого, но это, безусловно, лучший инструмент, который вам нужно подключить к Google Analytics, чтобы он предоставил вам эту информацию, но он покажет вам, сколько ваших URL индексируется, а сколько нет и должно быть.

      Homepage

      Если контент настроен на инструменты Google для веб-мастеров, Google Analytics, а затем любую другую аналитику, существует множество способов очистки или индексации сайта.

      Технически это больше, чем один инструмент, но это хороший способ.

      Всего наилучшего,

      том


    • Просканируйте домен с помощью SF, а затем используйте профилировщик URL, чтобы проверить статус их индексации.

      Вам понадобятся прокси.

      Можно использовать и с коробкой для очистки

      В противном случае вы, вероятно, можете использовать Таблицы с некоторым волшебством importxml для создания запроса в Google

      http://www. screamingfrog.co.uk/

      Homepage

      http://www. scrapebox.com/


    • привет, Пол,

      Мне тоже не повезло с Screaming Frog, который фактически проверял каждую ссылку, которую, как он утверждает, будет проверять. Вы совершенно правы, он проверит домашнюю страницу или единственную ссылку, которую вы выберете. Однако это не будет из моего опыта проверить все. У меня есть друг, у которого есть платная версия, я у него спрошу.

      Я обязательно дам вам знать. Поскольку я согласен с вами, я только что узнал об этом сам, на самом деле это вводит в заблуждение, говоря, что нужно проверить все, а на самом деле проверить только один.

      Отличное руководство по выполнению этой, казалось бы, простой задачи, однако при попытке сделать это на самом деле совсем не просто.

      С уважением,

      Томас

      PS Я получаю этот результат site:www.example.com

      он дает мне возможность увидеть все проиндексированные страницы, обработанные Google. Однако мне пришлось бы сравнить их с CSV-файлом, чтобы по порядку чтобы на самом деле знать, чего не хватает.

      Мне очень нравится ваш пример, и я определенно воспользуюсь им в будущем.


    • Спасибо, что напомнили, что в Screaming Frog есть функция «Проверить индекс», Томас.

      К сожалению, мне никогда не удавалось заставить этот метод проверять более одной ссылки за раз, так как все, что он делает, это отправляет запрос в браузер для проверки. Даже при выделении нескольких URL-адресов и проверке индексации проверяется только первый. Отлично подходит для выборочных проверок, но не то, что ищет Сет, я не думаю. В другом моем посте подробно описан автоматический способ проверки сотен (или тысяч) страниц сайта за раз.

      В данный момент на этом компьютере у меня установлена ​​только бесплатная версия Screaming Frog, поэтому было бы очень интересно узнать, изменится ли это в платной версии.

      Пол


    • Уважаемый Пол,

      , спасибо, что нашли время, чтобы решить эту проблему.

      Я очень торопился, когда писал свой первый ответ, который я копировал и вставлял из программы для диктовки, которой пользуюсь. Затем я ошибочно сказал, что это правильный способ сделать что-то. Однако кричащая лягушка SEO-паук

      Это инструмент, на который я ссылался ранее. Этот инструмент позволяет вам видеть 100% всех ссылок, которые вы размещаете, во время запуска сканирования.

      И включает в себя возможность проверить, индексируется ли оно в Google, Bing и Yahoo, когда я упомянул об этом программном обеспечении, никто не заметил, поскольку я, вероятно, выглядел так, будто не знал, о чем говорю.

      Оглядываясь назад, я должен был продолжать упоминать кричащую лягушку, но я не стал, я просто предложил другие способы проверки потерянных ссылок. На мой взгляд, заходить в Google и нажимать один за другим на то, что вы знаете или не знаете, проиндексировано, — это очень долгая и трудная задача.

      Screaming Frog позволяет вам щелкнуть внутренние ссылки, затем щелкнуть правой кнопкой мыши и проверить, проиндексирована ли таблица, которая спускается с правой стороны. Вы можете выбрать одну из 3-х больших поисковых систем, вы можете делать гораздо больше с помощью этого фантастического инструмента, но я не показывал, как и сейчас, как именно следует использовать этот инструмент или каковы его возможности. Я действительно думал, что после того, как я сослался на это, кто-нибудь изучит это, и они увидят, о чем я говорю, однако задним числом это 2020 год. Я очень ценю ваш комментарий и надеюсь, что вы видите, что да, я здесь ошибся в начале, однако я пришел с помощью автоматизированного инструмента, чтобы дать ему ответ на заданный вопрос.

      Кричащую лягушку можно использовать на ПК, Mac или Linux. Ее можно загрузить бесплатно, а платная версия предлагает еще больше возможностей, чем вода в бесплатной версии. Он имеет размер всего 2 Мб и почти не использует оперативную память на Mac. Я не знаю, насколько он велик на ПК.

      вот ссылка на программу

      -spider/

      Я надеюсь, что вы примете мои извинения за то, что я не уделил должного внимания тому, что я вставил, и надеюсь, что этот инструмент будет вам полезен.

      С уважением,

      Томас

      sdukyuG.png

    • org/Comment»>

      Не существует отдельного инструмента, способного предоставить нужную информацию, Сет. По крайней мере, насколько я когда-либо встречал.

      ОДНАКО! Это возможно сделать, если вы готовы выполнить часть работы самостоятельно по сбору и обработке данных с использованием нескольких инструментов. По сути, этот метод автоматизирует подход, упомянутый Такеши.

      Краткий ответ
      Сначала вы создадите список всех страниц вашего сайта. Затем вы создадите список всех URL-адресов, которые Google считает проиндексированными. Оттуда вы будете использовать Excel для вычитания проиндексированных URL-адресов из известных URL-адресов, оставив список неиндексированных URL-адресов, что вы и просили.

      Готов? Вот как.

      Соберите список всех страниц вашего сайта Это можно сделать несколькими способами. Если у вас есть надежная и полная карта сайта, вы можете получить эти данные оттуда. Если ваша CMS способна выводить такой список, отлично. Если ни один из этих вариантов не подходит, вы можете использовать паука Screaming Frog для получения данных (помните, что бесплатная версия будет собирать только до 500 страниц). Xenu Linksleuth также является альтернативой. Поместите все эти URL-адреса в электронную таблицу.

      Соберите список всех страниц, проиндексированных Google.
      Вы сделаете это с помощью инструмента скребка, который «удалит» все URL-адреса со страницы поисковой выдачи Google. Для этого есть много инструментов; какой из них лучше, во многом будет зависеть от того, насколько велик ваш сайт. Если на вашем сайте всего 7 или 800 страниц, я рекомендую блестяще простой букмарклет SERPS Redux от Лиама Делаханти.

      Щелчок по букмарклету на странице поисковой выдачи автоматически очистит все URL-адреса в легко копируемом формате. Хитрость в том, что вы хотите, чтобы страница SERP отображала как можно больше результатов, иначе вам придется перебирать много-много страниц, чтобы поймать все.

      Итак, профессиональный совет: если вы перейдете к значку настроек, находясь на любой странице поиска Google, и выберите Настройки поиска , вы увидите возможность получить до 100 результатов поиска вместо обычных 10. Вы должны выберите Никогда не показывать мгновенные результаты , чтобы ползунок Результатов на страницу стал активным.

      Теперь в поле поиска Google введите site:mysite.com , как объяснил Такеши. (ПРИМЕЧАНИЕ: используйте каноническую версию вашего домена, поэтому включите www, если это основная версия вашего сайта). Теперь у вас должна быть страница со списком 100 URL-адресов вашего сайта, которые проиндексированы.

      • Щелкните букмарклет SERPRedux, чтобы собрать их все, затем скопируйте и вставьте URL-адреса в электронную таблицу.
      • Вернитесь на страницу результатов site:mydomain , щелкните для страницы 2 и повторите, добавив дополнительные URL-адреса в ту же таблицу.
      • Повторяйте этот процесс, пока не соберете все URL-адреса из списков Google.

      Удалить дубликаты, чтобы оставить только неиндексированные URL-адреса
      Теперь у вас есть электронная таблица со всеми известными URL-адресами и всеми проиндексированными URL-адресами. Используйте Excel, чтобы удалить все дубликаты, и у вас останутся все URL-адреса, которые Google не перечисляет как проиндексированные.

      Вуаля!

      Несколько заметок:

      • Сайт: оператор поиска не гарантирует, что вы действительно получите все проиндексированные URL-адреса, но это самое близкое, что вы сможете получить. Для интересного эксперимента повторите этот процесс с неканонической версией адреса вашего сайта, чтобы увидеть, где вы можете быть проиндексированы на наличие дубликатов.
      • Если ваш сайт больше или вам нужно будет сделать это несколько раз, есть инструменты, которые будут очищать все страницы SERPS сразу, чтобы вам не приходилось их перебирать. Компоненты скребков SEER’s SEO Toolbox или Neil Bosma’s SEO Tools for Excel являются хорошей отправной точкой. Существует также платный инструмент под названием ScrapeBox, разработанный специально для такого рода скрейпинга. Это инструмент «черной шляпы», но в правильных руках он также эффективен для «белых» целей
      • Воспользуйтесь предложением Такеши запустить часть полученного неиндексированного списка через ручной сайт: поиск для подтверждения качества вашего списка

      Ух ты! Я знаю, что могу многое сказать вам в качестве ответа на то, что, вероятно, казалось простым вопросом, но я хотел проработать для вас шаги, а не просто намекнуть, как это можно сделать.

      Обязательно спросите о любой из областей, где мое объяснение недостаточно ясно.

      Пол

    • org/Comment»>

      Томас, как пытался указать Такеши, вы неправильно поняли исходный вопрос. Первоначальный автор спрашивает способ найти фактические URL-адреса страниц с его сайта , которые НЕ проиндексированы в поисковых системах.

      Он не ищет количество проиндексированных URL-адресов.

      Ни один из инструментов, которые вы неоднократно упоминали, не может предоставить эту информацию, поэтому, вероятно, ваш ответ был отклонен.

      Лучше внимательно прочитать исходный вопрос, чтобы убедиться, что вы отвечаете на то, что на самом деле спрашивают, а не на то, что, по вашему мнению, спрашивают. В противном случае вы внесете значительную путаницу в попытку дать ответ оригинальному плакату.

      Пол

    • org/Comment»>

      http://www.screamingfrog.co.uk/

      Аналитика Google также должна дать вам ответы на этот вопрос. Мне жаль, что я не думал об этом раньше, однако я поддерживаю свои инструменты Google для веб-мастеров, особенно после консультации с несколькими людьми.

      , вы можете использовать

      http://marketing.grader.com/

      , затем, когда закончите, перейдите к SEO Прокрутите вниз, вы увидите, сколько страниц было успешно проиндексировано Google.

      Мистер Янг,

      Я хотел бы знать, нет ли у этого человека перенаправления 301 Вуд успешно сканирует ваш сайт? Потому что по вашим указаниям этого не будет, и я не дам вам отрицательных оценок, вы знаете,

    • org/Comment»>

      Я надеюсь, что две приведенные ниже ссылки дадут вам информацию, которую вы ищете. Я считаю, что вы найдете совсем немного по второй ссылке, а первая ссылка даст вам бесплатный ресурс, и точное определение того, сколько страниц ссылок было проиндексировано, а сколько нет, вы можете найти, только используя вторую ссылку

      http://www.northcutt.com/tools/free-seo-tools/google-indexed-pages-checker/

      вместе с

      http://support.google.com/webmasters/bin/answer. py?hl=en&answer=2642366

      Перейдите в расширенный режим, и он предложит вам показать все

    • Он ищет способ узнать, какие страницы не проиндексированы , а не сколько страниц проиндексировано .


    • Перейдите к инструментам Google для веб-мастеров и перейдите к состоянию здоровья, под которым перейдите к статусу индекса, вы найдете ответ, который вы искали, пожалуйста, уберите палец вниз с моего ответа, потому что он технически правильный.

      Статус индекса

      Статус индекса

      Отображение данных за последний год

      BasicAdvanced   это #      

    • org/Comment»>

      Подключите Google Analytics к Deepcrawl.com, и он выдаст вам точное число, когда будет завершено индексирование (универсальный индекс).

      Один из двух инструментов о том, и я использую внутренние ссылки, чтобы получить номер вашей страницы. Вы хотите убедиться, что это HTML-страницы, а не просто Uris, а затем  один из двух инструментов, и я использую внутренние ссылки, чтобы получить номер вашей страницы. Вы хотите убедиться, что это HTML-страницы, а не взять # и вычесть его из суммы, которую Google показывает, когда вы сегодня вечером Джинджер: www.example.com и в поиске Google нет «» или ()( в вашем поиске «( site:www .example.com )» и в строке поиска Google вы увидите #, который является вашим проиндексированным URL-адресом.0003

      означает перейти на marketinggrader.com, добавить свой сайт и запустить его, затем нажать «SEO»

      , после чего вы увидите количество страниц в индексе Google. И выберите проиндексированный контент, он покажет вам, сколько именно страниц на вашей карте сайта было проиндексировано и сколько страниц было проиндексировано в целом. Вы ничего не пропустите в инструментах Google для веб-мастеров, используя другие методы, которые вы могли бы сделать, если бы не включили www. Например, используя сайт: в Google вы могли бы узнать, что у вас нет перенаправления 301. Не даст вам правильный ответ.

      использовать GWT

      https://www.google.com/url?sa=t&source=web&cd=2&ved=0CDEQFjAB&url=http%3A%2F%2Fsupport.google.com%2Fwebmasters%2Fbin%2Fanswer.py%3Fhl% 3Den%26answer%3D2642366&ei=9Is-Ud__CY3K9QS5wIDIDQ&usg=AFQjCNGjMLbh3moNFS1zCM0KOQPyHCBXLA


    • Вы можете начать с поиска «site:domain.com». Это не покажет вам все страницы, которые проиндексированы, но может помочь вам определить, какие из них не проиндексированы.

      Еще вы можете зайти в Google Analytics и посмотреть, какие из ваших страниц не получили никаких обычных посещений. Если страница вообще не получила ни одного клика, есть большая вероятность, что она еще не проиндексирована (или просто имеет низкий рейтинг).

      Наконец, вы можете использовать команду «site:domain.com/page.html», чтобы выяснить, не индексируется ли конкретная страница. Вы также можете сделать «site:domain.com/directory», чтобы увидеть, индексируются ли какие-либо страницы в определенном каталоге.

    • Вы можете использовать Linksleuth для сканирования вашего сайта. Он сообщит вам, сколько страниц он нашел, а затем сопоставит его с общим количеством страниц, проиндексированных Google.

    У вас есть животрепещущий вопрос по SEO?

    Подпишитесь на Moz Pro, чтобы получить полный доступ к вопросам и ответам, отвечать на вопросы и задавать свои.

    Начать бесплатную пробную версию


    Есть вопрос?
    Просмотр вопросов

    Посмотреть Все вопросыНовые (нет ответов)ОбсуждениеОтветыПоддержка продуктаБез ответа

    От Все времяПоследние 30 днейПоследние 7 днейПоследние 24 часа

    Сортировка по Последние вопросыНедавняя активностьБольше всего лайковБольшинство ответовМеньше всего ответовСамые старые вопросы

    С категорией All CategoriesAffiliate MarketingAlgorithm UpdatesAPIBrandingCommunityCompetitive ResearchContent DevelopmentConversion Rate OptimizationDigital MarketingFeature RequestsGetting StartedImage & Video OptimizationIndustry EventsIndustry NewsIntermediate & Advanced SEOInternational SEOJobs and OpportunitiesKeyword ExplorerKeyword ResearchLink BuildingLink ExplorerLocal ListingsLocal SEOLocal Website OptimizationMoz BarMoz LocalMoz NewsMoz ProMoz ToolsOn-Page OptimizationOther SEO ToolsPaid Search MarketingProduct SupportReporting & AnalyticsResearch & TrendsReviews and RatingsSearch BehaviorSEO ТактикаТренды поисковой выдачиСоциальные сетиТехническое SEOВеб-дизайнБелое/черное SEO

    Связанные вопросы
      schema.org/ItemList» data-nextstart=»» data-set=»»>

    • Удаление сайта из индекса Google без тегов index met

      Привет! Я хотел удалить дублированный сайт из индекса Google. Я читал, что вы можете сделать это, удалив URL-адрес из консоли поиска Google, и, хотя я не могу найти его в консоли поиска Google, Google продолжает показывать сайт в поисковой выдаче. Поэтому я хотел добавить метатег «без индекса» в код сайта, однако я узнал, как это сделать только для отдельных страниц, можете ли вы сделать то же самое для всего сайта? Как мне это сделать? Спасибо за вашу помощь заранее! л

      Техническое SEO | | Крис_Райт

      1

    • org/ListItem»>

      Проблема индексации динамических страниц

      Привет всем! У меня есть вопрос, на который я изо всех сил пытаюсь найти ответ. Я не могу получить URL-адрес с помощью запроса «сайт:» в поисковой выдаче Google. Однако, когда я ввожу прямой URL-адрес или с запросом «info:», появляется фрагмент. Я не могу понять, почему Google не показывает URL-адрес с запросом «сайт:». Индексируется страница или нет? Или его скоро деиндексируют. Во-вторых, я хотел бы отметить, что это динамический URL. Индексный файл, который мы используем для создания этого URL-адреса, недоступен для робота Google. Например, есть два разных URL. http://www.abc.com/browse/ — Это родительская страница.
      http://www.abc.com/browse/?q=123 — Это URL-адрес, сгенерированный во время выполнения с использованием индексного файла просмотра. Google не может сканировать индексный файл страницы просмотра, поскольку он не может работать независимо, пока какое-либо значение не будет передано в параметре и не будет проиндексировано Google. Раньше динамические URL-адреса индексировались и отображались в Google для запроса «сайт:», но теперь они не отображаются. Может ли кто-нибудь помочь мне, что здесь происходит? Пожалуйста, порекомендуйте. Спасибо

      Техническое SEO | | СамирБхатия

      0

    • Домашняя страница не проиндексирована

      Привет, У меня проблема с моим сайтом. С моего ПК, когда я ищу site:nobelcom. com, домашняя страница веб-сайта не появляется, но на других ПК (с разными IP-адресами) все в порядке.
      Также любые ключевые слова, которые обычно отвечали домашней страницей, теперь отвечают другой страницей. Кто-нибудь знает, как это происходит. Это произошло до обновления Penguin, и после получения, например, Google и отправки в индекс, у меня снова появилась домашняя страница в поисковой выдаче.

      Техническое SEO | | Сильвиу

      0

    • Страница, которая появляется в поисковой выдаче, не является страницей, оптимизированной для пользователей

      Это может показаться довольно новым вопросом, но я не смог найти на него ответы (возможно, я неправильно искал). Раньше мой сайт занимал достойное место в рейтинге KW «Золотое ожерелье имени» с этой страницей в результатах поиска: http://www.mynamenecklace.co.uk/Products.aspx?p=302Это была страница, над оптимизацией которой я работал. для взаимодействия с пользователем (время загрузки, качество изображения, простота использования и т. д.), так как эта страница была тем местом, куда пользователи попадали через поиск. Пару месяцев назад поисковая выдача Google начала показывать эту страницу по тому же запросу (также немного ниже, но не важно для этого конкретного вопроса): http://www.mynamenecklace.co.uk/Products.aspx?p=314Which представляет собой версию ожерелий из белого золота. Это не то, что имеет в виду большинство пользователей (при поиске золотого ожерелья с именем), поэтому это гораздо менее эффективно и привлекательно. версия страницы / и т. д. без необходимости не индексировать какой-либо контент? Обе эти страницы имеют значение и предназначены для разных запросов, поэтому я не могу канонизировать их на одной странице. Что касается внешних ссылок, то больше ссылок указывают на версию из желтого золота, а не на версию из белого золота. Есть идеи, как это исправить? Спасибо.

      Техническое SEO | | Дон34

      0

    • Как сделать так, чтобы мои страницы веб-почты не индексировались в Google ??

      , когда я искал в Google Site:mywebsite.com список проиндексированных страниц. Удивительно следующее всплывает » Веб-почта — Вход » Хотя это связано с доменом, это совершенно другой сервер, это интерфейс браузера почтового сервера Rackspace. Я уверен, что на веб-сайте нет ничего, что ссылалось бы или указывало на это.
      Так почему Google его индексирует? И как мне его оттуда вытащить. Я попробовал в инструменте для веб-мастеров, но не смог, так как это похоже на субдомен. Любые идеи ? Спасибо Нареш Садасиван

      Техническое SEO | | УИПЛ

      0

    • Недоступные страницы

      Привет всем Есть ли инструмент для проверки веб-сайта, если на нем есть отдельные недоступные страницы? Спасибо за помощь

      Техническое SEO | | Джозеф-Грин-SEO

      0

    • org/ListItem»>

      Что может быть причиной того, что мои внутренние страницы ранжируются выше, чем моя домашняя страница?

      Если вы выполняете поиск по названию моей компании или продуктам, которые мы продаем, внутренние страницы имеют более высокий рейтинг, чем домашняя страница, и если вы выполняете поиск точного содержания с моей домашней страницы, моя домашняя страница не отображается в результатах. Моя домашняя страница показывает, когда вы делаете сайт: поиск, поэтому не уверен, что вызывает это.

      Техническое SEO | | расшифровать32

      0

    • Https проиндексирован — хотя был добавлен тег no index no follow

      Привет, https-страницы нашего раздела бронирования индексируются Google. Мы добавили Но страницы все еще индексируются. Что я могу сделать, чтобы исключить эти URL-адреса из индекса Google? Заранее большое спасибо! С уважением, Деннис Овербик Издательство ACSI | [email protected]

      Техническое SEO | | SEO_ACSI

      0

    Как узнать, сканируются и индексируются ли URL-адреса ваших сайтов Google

    Это запись в блоге на двух (больших) страницах – работающая и промежуточная:

    Часть 1. Как проверить, проиндексировал ли Google ваши Живой сайт

    Часть 2. Как проверить, проиндексировал ли Google ваш промежуточный/тестовый сайт

    Содержание

    Как узнать, проиндексировал ли Google мой действующий сайт?

    Есть два простых способа узнать это:

    Используйте сайт: оператор запросов

    Найдите свой домен в Google следующим образом: site:organicdigital.co

    Если ваш сайт проиндексирован, вы увидите список страниц :

    Если результаты не возвращаются, у вас могут быть проблемы:


    Примечание. На крупных сайтах вы увидите приблизительное количество проиндексированных страниц, но на самом деле вы сможете увидеть только около 300 из них. SERP.

    Проверьте раздел «Покрытие» в Google Search Console

    У каждого веб-сайта должна быть учетная запись GSC. На мой взгляд, это лучший инструмент, который может использовать владелец сайта или SEO-специалист, и он дает массу информации об органической видимости и эффективности вашего сайта. Если у вас его нет, перейдите на официальную страницу GSC, если есть, перейдите в раздел «Покрытие», где вы можете увидеть разбивку:

    • Ошибки при сканировании страниц
    • Заблокированные страницы
    • Действительные проиндексированные страницы
    • Исключенные страницы

    Если на вашем сайте есть проблемы, о них будет сообщено в разделе «ошибка» или «исключено» — и вы сможете узнать причины, по которым они не включаются в поиск, например:

    • Альтернативная страница с правильным тегом canonical
    • Просканировано – в настоящее время не проиндексировано
    • Дубликат без выбранного пользователем canonical
    • Исключено тегом noindex
    • Аномалия сканирования

      • (

      ) Не найдено0018

    Если страницы вашего сайта не отображаются в разделе «Действительные», у вас могут быть проблемы.

    Используйте функцию проверки URL-адресов в GSC

    Если некоторые страницы проиндексированы, а другие нет, вы также можете использовать инструмент проверки URL-адресов, чтобы узнать, может ли Google сканировать и индексировать определенную страницу, или есть ли другие проблемы. предотвращение его появления в поиске — это находится в верхнем меню и позволит вам проверять один URL-адрес за раз:

    Если ваша страница проиндексирована, она предоставит следующую информацию:

    Если нет, вы получаете этот статус, который показывает, когда Google пытался просканировать страницу, и некоторые сведения о том, почему она не проиндексирована:

    Почему Google не сканирует или не индексирует мои страницы?

    Обычно есть две причины, по которым страница не может быть просканирована или проиндексирована. Это особенно распространено, когда новый сайт был запущен или перенесен, и настройки из среды разработки были перенесены.

    Директива запрета robots.

    txt

    Здесь блокируется сканирование сайта, каталога или страницы с помощью файла robots.txt.

    Каждый сайт должен иметь файл robots.txt, который используется для указания поисковым системам, какие разделы вашего сайта следует сканировать, а какие нет.

    Если он у вас есть, вы найдете его в корневом каталоге под именем robots.txt

    https://organicdigital.co/robots.txt

    Директивы, предотвращающие сканирование сайта, каталога или страницы, будут быть следующим:

     Запретить: /
Запретить: /каталог/
Запретить: /specific_page.html

    Вы также можете использовать Screaming Frog для сканирования вашего сайта. Если он не может этого сделать, вы увидите следующие данные сканирования:

    Существует много веских причин для блокировки поисковых систем с помощью этой директивы, но если вы видите что-то похожее на приведенное выше, вам необходимо изменить их, чтобы разрешить сканирование вашего сайта.

    Как вручную изменить файл robots.

    txt

    Если у вас есть доступ к FTP или у вас есть разработчик, вы можете вручную изменить файл robots.txt, чтобы удалить все директивы, которые блокируют сканирование вашего сайта.

    Обычно это делает следующая команда:

     Агент пользователя: *
Разрешать: /

    Как изменить файл Robots.txt в WordPress

    Если у вас установлен плагин Yoast, вы можете редактировать свой файл напрямую через раздел Инструменты -> Редактор файлов — перейдите по этой ссылке, чтобы узнать, как это сделать.

    Как изменить файл Robots.txt в Magento

    Перейдите в C содержание -> Дизайн -> Конфигурация , щелкните соответствующий вид магазина и отредактируйте «Роботы поисковой системы»

    Метатег Robots имеет значение Noindex и/или Nofollow

    В дополнение к файлу robots.txt вы также можете проверить метатег robots в исходном коде вашего сайта и убедиться, что он не препятствует сканированию поисковыми системами.

    Если вы проверяете свой исходный код, если вы не видите метатег robots или для него установлено значение «index» или «index,follow» — проблема не в этом. Однако, если вы видите надпись «noindex», это означает, что ваша страница может быть просканирована, но не будет проиндексирована:

    Опять же, вы можете использовать Screaming Frog для проверки статуса ваших тегов robots на вашем сайте. Если для вашего тега задано значение noindex, nofollow не выйдет за пределы домашней страницы:

    Если для него просто задано значение noindex, весь сайт будет сканироваться, но не индексироваться:

    Как изменить файл метатега Robots Вручную

    Снова откройте страницу/шаблон вашего сайта напрямую и замените/добавьте следующий тег:

    Как изменить метатег Robots в WordPress

    Есть два способа сделать это — если проблема распространяется на весь сайт, перейдите в Настройки -> Чтение и убедитесь, что флажок «Запретить поисковым системам индексировать этот сайт» не отмечен. :

    Возможно, я ошибаюсь, но я думаю, что единственный способ сделать определенную страницу или запись индексируемой или неиндексируемой, если вы используете Yoast, поэтому перейдите на страницу/публикацию и проверьте следующую настройку внизу страницы:

    Как изменить метатег роботов в Magento

    Как и прежде, перейдите в Контент -> Дизайн -> Конфигурация , щелкните соответствующий вид магазина и измените параметр раскрывающегося списка «Роботы по умолчанию»:

    Мой сайт / страницы могут быть просканированы и проиндексированы Google — что дальше ?

    Убедившись, что ваш файл robots. txt и метатег robots верны, вы можете снова использовать инструмент проверки URL, чтобы проверить свою страницу и запросить сканирование и индексацию вашей страницы Google:

    У меня также есть учетная запись веб-мастера Bing !

    А ты? Я думал, что я единственный. Хорошо, вы можете делать почти все то же самое, что написано в этой статье, в Инструментах для веб-мастеров Bing, как и в GSC, поэтому проверьте URL-адрес и запрос на индексирование:

    Я сделал все это, а мой сайт / страницы все еще не Индексировано!

    В этом случае вам необходимо более глубоко изучить конфигурацию и функциональность вашего веб-сайта, чтобы определить, какие еще проблемы могут быть. Я могу помочь вам, если вы заполните контактную форму ниже.

    Как проверить, проиндексировал ли Google ваш промежуточный/тестовый сайт

    Только три вещи в жизни несомненны: смерть, налоги и индексация вашего тестового сайта Google.

    Очень редко вы сталкиваетесь с запуском нового сайта, не осознавая в какой-то момент, что промежуточный сервер был оставлен открытым для ботов, чтобы они могли сканировать и индексировать.

    Это не обязательно конец света, если поисковая система нужно было проиндексировать тестовый сайт, так как это довольно легко решить, но если вы запуск тестовой среды в долгосрочной перспективе для разработки новых функций наряду с реальным сайт, то вам необходимо как можно раньше убедиться, что он правильно защищен, чтобы избежать проблем с дублированием контента и гарантировать, что реальные люди не посещают и не посещают взаимодействовать (т. е. пытаться что-то купить).

    Раньше я был разработчиком и, вероятно, сам совершал эти ошибки не раз, но тогда у меня не было SEO-специалиста, который постоянно указывал бы мне на эти вещи (тогда старая школьная брошюра — веб-дизайнеры, которые не понимали ограничения таблиц и встроенного CSS, были болью в моей заднице).

    Все нижеперечисленные методы проверены и испытаны. которые я использовал для выявления этих проблем в дикой природе, хотя для защиты личности моих клиентов и их разработчиков, я принял самоотверженное решение создать пару тестовых сайтов, использующих контент моего собственного веб-сайта, чтобы проиллюстрировать, что вам нужно сделать, тех, кто:

    test. organicdigital.co
    alitis.co.uk

    Хотя к тому времени, как вы это прочитаете, я последую своему собственному совету и уберу их, мне нужна вся видимость, которую я могу получить, последнее, что мне нужно, это проиндексированные тестовые сайты сдерживают меня.

    Настройка свойств домена Google Search Console (GSC)

    Одна из замечательных особенностей нового GSC заключается в том, что вы можете настраивать свойства домена, которые дают вам ключевую информацию обо всех субдоменах, связанных с вашим веб-сайтом, как на HTTP, и HTTPS. Чтобы настроить это, просто выберите вариант домена при добавлении свойства (вам также необходимо выполнить потенциально не очень простую задачу добавления записи TXT в DNS вашего домена): 9″ Производительность», отфильтровав или упорядочив страницы:

    Кроме того, вы также должны проверить раздел «покрытие» — в В некоторых случаях Google проиндексирует ваш контент:

    В то время как в других случаях они обнаружат, что у вас есть дублировать содержимое на месте и воздержаться от индексации, в этом случае вы нашла бы его в разделе «Дубликат, Google выбрал другой канонический чем пользователь”:

    Даже если это так, вы все равно должны постараться обеспечить он не ползает вперед.

    Проверка поисковой выдачи Google с помощью Link Clump

    Если у вас нет доступа к свойствам домена GSC или любого доступа в GSC (если нет, то почему?), то вы можете проверить поисковую выдачу, чтобы увидеть, есть ли какие-либо тестовые URL-адреса попали в индекс.

    Это также удобная техника при продвижении нового бизнеса, что может быть лучше, чтобы расположить к себе потенциального клиента, чем сделать его внутренний или внешняя команда разработчиков выглядит так, будто играет в кости со смертью видимости в поиске позволив этому случиться в первую очередь, и что вы здесь, чтобы спасти день.

    Шаги следующие:

    i) установить ссылку Расширение Clump для Google Chrome, которое позволяет копировать и вставлять несколько URL-адресов. со страницы в более полезное место, например Excel.

    ii) Измените настройки группы ссылок следующим образом:

    Самое важное, на что следует обратить внимание, — это действие «скопировано в буфер обмена». – последнее, что вы хотите здесь сделать, это открыть до сотни URL-адресов на однажды.

    iii) Перейдите к своему любимому (или локальному) домену Google, нажмите «Настройки», которые вы должны увидеть в правом нижнем углу страницы, и выберите «настройки поиска», где вы можете установить «результатов на странице» на 100.

    iv) Вернитесь на главную страницу Google и используйте запрос «site:». оператора и добавьте свой домен. если ты используйте www или аналогичный, удалите это, чтобы команда выглядела следующим образом:

    site:organicdigital.co

    Вам будет представлен образец до 300 URL-адресов. в настоящее время индексируется Google по всем поддоменам. Хотя вы можете вручную просмотреть каждый результат чтобы обнаружить мошеннические сайты:

    Я считаю, что гораздо быстрее и проще щелкнуть правой кнопкой мыши и перетащить все путь к низу страницы. Ты будет знать, работает ли Link Clump, поскольку вы увидите следующее: обозначают, что ссылки выбираются и копируются:

    Повторите это для поисковой выдачи 2 и 3, если они доступны, и один раз для всех URL-адреса вставляются в Excel, используйте сортировку по A-Z, чтобы легко идентифицировать проиндексированные контент во всех соответствующих поддоменах.

    Поиск текста, уникального для вашего сайта

    Описанные выше методы работают, если ваш тестовый сайт размещен на поддомен в том же домене, что и ваш сайт. Однако, если ваш тестовый сайт находится в другом месте, например test.webdevcompany.com, то они работать не будут. В этом случае этот или следующие методы мощь.

    Найдите какой-нибудь контент, который, по вашему мнению, уникален для вашего веб-сайта — в моем случае я использовал фразу: «Повысьте органическую видимость и посещаемость вашего веб-сайта» — затем найдите его в кавычках. Если тестовый сайт, содержащий этот контент, был проиндексирован, этот поиск должен показать его:

    Как вы можете видеть, появляются домашние страницы на основном сайте, тестовый поддомен и отдельный тестовый домен. Вы также можете непреднамеренно обнаружить конкурента, который украл ваш контент. Некоторые воспримут это как комплимент, другие выпустят DMCA — решать вам, но последнее, чего вы хотите, — это чтобы кто-то превзошел вас по рейтингу с вашей собственной копией.

    Просканируйте сайт с помощью Screaming Frog

    Я полагаю, вы занимаетесь SEO и поэтому используете Screaming Frog. Если хотя бы один из этих ответов отрицательный, то вы молодец, что зашли так далеко в эту статью (позвольте мне предположить, что вы разработчик, который выложил чушь и хочет прикрыть свою задницу, прежде чем кто-нибудь узнает об этом?).

    Если у вас его нет, загрузите его здесь.

    В основных настройках отметьте «Сканировать все субдомены». Вы также можете поставить галочку «Следовать за внутренним ‘nofollow’». поскольку в некоторых тестовых средах это может быть предусмотрено.

    После завершения сканирования просмотрите список, чтобы увидеть, есть ли любые внутренние ссылки на тестовые сайты. Недавно я наткнулся на это, когда появился новый сайт Drupal, но со всеми внутренними ссылками в сообщениях блога, указывающими на субдомен бета-версии:

    Затем вы можете щелкнуть каждый тестовый URL-адрес и щелкнуть InLinks в внизу, чтобы найти оскорбительную внутреннюю ссылку с живого на тестовый сайт. В этом случае я изменил ссылку «Свяжитесь с нами». на карте сайта, чтобы указать на тестовый URL:

    После обнаружения исправьте и повторите сканирование, пока их больше не будет внутренние ссылки, ведущие посетителей в другие места. Если вы используете WordPress, используйте плагин поиска/замены, чтобы найти все тестовые URL-адреса и замените их живыми.

    Проверьте имена хостов Google Analytics

    Если ваш тестовый сайт имеет ту же учетную запись Google Analytics код отслеживания, установленный как ваш активный сайт, вы сможете заметить это в течение GA, если вы зайдете в такой раздел, как «Поведение» -> «Контент сайта» -> «Все Страницы» и выберите «Имя хоста» в качестве дополнительного параметра:

    Кроме того, вы также можете дополнительно фильтровать данные, исключить из отчета все посещения основного домена, что оставит все другие экземпляры в списке. В В дополнение к тестовым сайтам вы также можете обнаружить спам GA, запускаемый на 3 rd . сайт вечеринки:

    Наличие одного и того же идентификатора отслеживания GA имеет свои плюсы и минусы. работает как в вашей реальной, так и в тестовой среде, но лично я не вижу причина иметь отдельные учетные записи и вместо этого создавать несколько представлений в ваш единственный аккаунт. Для живого сайта, настроить фильтр, чтобы включить трафик только на активное имя хоста, и наоборот для тестового сайта.

    Как удалить и предотвратить индексацию вашего тестового сайта

    Итак, вы обнаружили свой тестовый сайт в индексе с помощью одного описанных выше методов, или вы хотите убедиться, что это не произойдет в первое место. Все нижеследующее поможет с этим:

    Удалить URL-адреса через GSC

    Если ваш сайт проиндексирован, генерирует ли он трафик или нет, лучше удалить. Сделать Для этого вы можете использовать раздел «Удалить URL-адреса» из «старого» GSC.

    Обратите внимание, что это не будет работать на уровне свойства домена, так как эти не учитываются в старых GSC. В целях для этого вам нужно настроить свойство для отдельного теста домен.

    После настройки «Перейти к старой версии» и перейти к «Индексу Google». -> «Удалить URL». Здесь выберите «Временно Скрыть» и введите одинарную косую черту в качестве URL-адреса, который вы хотите заблокировать. отправить весь свой сайт на удаление:

    Это удалит ваш сайт из поисковой выдачи на 90 дней, через чтобы убедиться, что он не вернется, вы должны предпринять дальнейшие шаги. Одного из следующего будет достаточно (и должно осуществляться независимо от того, можете ли вы удалить через GSC)

    Установите для тега robots значение noindex на тестовом сайте

    Попросите своих разработчиков убедиться, что при работе на тестовом домене каждая страница сайта генерирует тег robots noindex:

    Если ваш сайт WordPress, вы можете установить это через «Настройки» -> «Чтение» и выбрать «Запретить поисковым системам индексировать этот сайт»:

    Какой бы код или настройки вы ни использовали для предотвращения тестового сайта от индексации, вы должны убедиться, что он не будет перенесен на действующий сайт, когда появится новый содержание или функциональность оживляются. Настройки тестового сайта, запускаемые в реальном времени, являются одними из самых распространенных и надежных. способы испортить видимость вашего живого сайта.

    Пароль Защитите свой тестовый сайт

    С вашей веб-панели управления или через сервер, пароль защитите каталог, в котором находится ваш тестовый сайт. Есть множество способов сделать это — лучший Ставка заключается в том, чтобы попросить вашу хостинговую компанию или разработчиков настроить это, или, там есть много хороших ресурсов, которые покажут вам, как это сделать, например:

    https://one-docs.com/tools/basic-auth

    После блокировки вы должны увидеть окно предупреждения при попытке получить доступ к вашему тестовому сайту:

    https://alitis.co.uk/

    Это предотвратит сканирование и индексацию поисковыми системами сайт.

    Удалить сайт и вернуть статус страницы 410

    Если вам больше не нужен тестовый сайт, вы можете просто удалите это. Когда поисковые системы пытаются посещайте страницы дольше, они увидят, что страницы удалены. По умолчанию битая страница возвращает статус 404 («Не найдено») — несмотря на то, что это со временем приведет к деиндексации сайта, он потребуется некоторое время, так как будут последующие посещения, чтобы увидеть, вернулась ли неработающая страница.

    Вместо этого установите статус 410 («Исчез навсегда»), который вернет следующее сообщение:

    Чтобы сделать это для всего домена, удалите сайт и оставьте файл .htaccess на месте с помощью следующей команды:

     Redirect 410 /

    Это обеспечит деиндексацию сайта в первый раз. запроса (или, по крайней мере, быстрее, чем 404)

    Заблокировать через robots.txt

    Вы можете заблокировать сайт от сканирования, внедрив следующие команды в файле robots.txt тестового сайта:

     Агент пользователя: *
Disallow: /

    Это предотвратит обход сайта ботами. Примечание: если ваш тестовый сайт в настоящее время проиндексирован, и вы пошли по пути добавления тегов noindex на сайт, не добавляйте команду robots.

    No related posts.