3 способа определить количество страниц на веб-сайте
Как узнать количество страниц на сайте?
- Использование XML Sitemap веб-страницы.
- Использование оператора site: в поиске Google.
- Из Google Search Console (для вашего собственного сайта).
1. XML-карта сайта
XML Sitemap – это точный способ легко и без особых усилий подсчитать количество страниц. Поскольку карта сайта доступна всем пользователям, вы можете использовать этот метод для любого веб-сайта. Получив URL-адрес сайта, откройте файл Sitemap в браузере, используя один из следующих URL-адресов:
http://sitename.com/sitemap.xml – Для сайта с одним файлом Sitemap.
http://sitename.com/sitemap_index.xml – Для сайта, имеющего несколько файлов Sitemap.
Если сайт использует расширенные плагины Sitemap (например, Yoast WordPress SEO), будет показано количество URL-адресов в каждом файле Sitemap.
Определение количества страниц веб-сайта в XML-карте сайтаЕсли счетчик не отображается в Sitemap, возможно, вам придется подсчитать вручную один за другим или скопировать XML в лист Excel и подсчитать его.
2. Использование сайта: Оператор
Откройте поиск Google и введите указанный ниже поисковый запрос, заменив имя сайта своим:
site: sitename.com
Вы увидите результаты, как показано ниже, с количеством проиндексированных страниц в Google. Хотя это может быть не фактическое количество веб-страниц на сайте, оно дает представление о количестве проиндексированных страниц в Google.
Использование Оператора сайта в поиске Google3. Search Console
Подобно оператору «site:», в консоли поиска Google есть возможность увидеть общее количество проиндексированных страниц в Google. Но вы должны быть подтвержденным владельцем сайта, чтобы использовать Search Console, иначе владелец должен пригласить вас для доступа к данным. В аккаунте Search Console перейдите к «
Общее количество проиндексированных страниц в поиске Google и Search Console включает разные типы страниц на сайте. Например, один URL-адрес может быть проиндексирован с помощью прямого URL-адреса, категории, тега, архивов и т. Д., Что приведет к многократному появлению в поисковых системах. Вы также можете просмотреть подробную информацию об общем количестве отправленных и проиндексированных страниц из XML Sitemap, отправленного в Google, в разделе «
Количество страниц в индексе. Самый быстрый способ
Содержание:
Проверка индексации сайта в Яндекс и Google
Успешное продвижение сайта возможно лишь тогда, когда выполняется одно важное условие – поисковики должны проиндексировать все его странички, которые оптимизированы под нужные поисковые запросы.
Как убедиться, что это условие выполнено?
Нужно узнать какие страницы в индексе, а какие поисковые роботы обходят стороной.
Самая простая проверка индексации сайта в Яндекс и Google
- Чтобы проверить количество страниц в индексе Google используется команда «site:» для строки поиска.
- Проверить количество страниц в индексе Яндекс можно с помощью оператора «host:», введя эту команду в его поисковую строку в комбинации с адресом веб-ресурса, данные по которому необходимо определить.
В итоге проверка индексации сайта в Яндекс и Google должна выдавать примерно одинаковые результаты с разницей не более чем в 10%.
Если различие более существенное, значит у одного из поисковиков проблемы с индексацией определенного количества страничек Вашего веб-ресурса. Нужно найти и устранить причины этих проблем. Возможно, требуется правильно настроить robots.txt. В этом файле могут присутствовать запреты на индексацию страничек ботами одного из поисковиков.
Альтернативные способы
- Также возможно проверить количество страниц в индексе Google, используя профессиональные инструменты, находящиеся в Search Console. Просмотрев соответствующий раздел Вы сможете узнать сколько страничек всего учтены поисковым ботом и сколько заблокированы в robots.txt.
- Похожий сервис (Яндекс.Вебмастер) дает возможность проверить количество страниц в индексе Яндекс.
Кроме количества есть возможность увидеть, какие страницы в индексе поисковика, а какие нет.
Это может значительно упростить работу по исправлению ошибок, препятствующих правильной индексации веб-ресурса.
- Также выполнение подобной проверки возможно с помощью сторонних сервисов, которых в интернете огромное количество.
Хотя зачем что-то выдумывать? Кто сможет показать, какие страницы в индексе, лучше самих поисковиков и профессиональных инструментов, предоставленных ими же?
Если нужно определить, как много и какие страницы в индексе, есть достаточно способов, из которых каждый выбирает на свой вкус. Кому-то нравится минимализм и простота (оператор «site:»). А кто-то может любить, чтобы все было посложнее и посерьезнее.
Но независимо от выбранного способа, результат должен быть достигнут один – определить существующие проблемы с индексацией страничек веб-ресурса и по максимуму их устранить. Ведь индексация – самый важный момент в продвижении. Если она не работает или дает сбои, Вы просто тратите время и деньги впустую.
А Вам какой способ подходит? Или может Вы знаете и другие? Пишите об этом в комментариях!
Количество страниц на сайте. Сколько их должно быть
Статьи > Раздел «Советы и рекомендации по созданию контента сайта» > Количество страниц на сайте. Сколько их должно бытьМногие владельцы сайтов интересуются тем, сколько страниц на сайте должно быть, чтобы можно было достичь тех целей, ради которых он создавался.
Есть, конечно, немало и таких, кто «в танке». Их вообще мало что беспокоит. Они считают, что подобными вопросами вообще не нужно заморачиваться. Честно говоря, они вообще не в курсе данных проблем.
Для них главное – создать какой-нибудь сайт и забыть об этом. В лучшем случае они кого-нибудь привлекут для продвижения сайта.
Поэтому они чаще всего выбирают самую распространенную стратегию создания и продвижения сайта. В итоге они получают какое-то «пятистраничное чудо» и становятся «дойными коровами», поскольку им приходится регулярно платить за раскрутку сайта, которая больше похожа на раскрутку клиентов, т.к. эта работа, по сути, мало чем отличается от рекламы.
Если же владелец интернет-ресурса понимает, что создание сайта – это только первый шаг на большом пути его развития и продвижения, то он очень серьезно относится ко всем факторам, которые могут существенно повлиять на успешность сайта.
Итак, как же все-таки понять какое количество страниц на сайте должно быть, чтобы он действительно позволял добиваться нужных результатов.
Наверное, я сейчас сильно огорчу тех, кто ожидает услышать какое-то конкретное число страниц сайта или хотя бы какой-то алгоритм определения количества страниц на сайте, в зависимости от определенных параметров (например, от возраста сайта, тематики сайта и т. д.).
Первая версия сайта действительно может быть «пятистраничной». Это абсолютно нормально, но только на этом ни в коем случае нельзя останавливаться. Уникальный контент сайта должен постоянно увеличиваться.
Таким образом, на сайте должен регулярно появляться новый уникальный контент. Чем больше на сайте страниц с полезным и уникальным контентом, тем лучше. |
Если же посетители видят, что на сайте практически нет ничего из того, что их интересует, то вряд ли они совершат какое-то целевое действие прямо сейчас и тем более когда-либо вернуться на этой сайт.
Внимательный читатель может задать вполне логичный вопрос: а как же на этот сайт вообще могут попадать посетители, если он такой неинтересный?
Они могут попасть на такой сайт несколькими способами, но все они по большому счету могут быть отнесены к рекламе сайта. Это может быть непосредственная реклама (например, контекстная или баннерная), а может быть то самое «продвижение» сайта, которое нередко заказывают очень многие владельцы сайтов.
Данный способ «продвижения» сайта очень часто сводится к покупке коммерческих ссылок, поэтому я и считаю, что, по сути, этот метод мало чем отличается от рекламы. Хотя, посетители сайта могут об этом и не знать.
Они могут просто кликнуть мышью на одну из позиций в результатах поисковой выдачи, не догадываясь о том, что данный сайт попал на это место в результате приобретения коммерческих ссылок, а не потому что на нем содержится интересующая их информация.
Но, попав на такой сайт, они сразу сориентируются и поймут, что интересующей их информации здесь нет или ее очень мало. Они увидят, что зашли на «пятистраничный» сайт, который для них не представляет никакого интереса.
Итак, сайт с большим количеством страниц имеет преимущество перед конкурентами, поскольку представляет больший интерес для целевых посетителей.
На самом деле такой сайт имеет больший рейтинг не только среди людей, но и среди роботов поисковых систем. Поэтому такие сайты занимают первые места (в top- 10 или в top-20) в результатах поисковой выдачи.
Таким образом, увеличивая количество страниц на сайте, можно повышать популярность сайта и среди целевых посетителей, и среди поисковых систем.
Чем больше сайт нравится целевым посетителям, тем больше они будут осуществлять тех действий, которых от них ожидают. Чем больше сайт «нравится» поисковым системам, тем выше будет поисковый трафик, а значит больше целевых посетителей.
Если речь идет о корпоративном сайте, то это означает, что у компании, владеющей таким сайтом, будет больше клиентов, больше заказов и больше прибыли.
Получается, что от числа страниц на сайте напрямую зависит эффективность достижения целей сайта.
Итак, посещаемость сайта напрямую зависит от количества страниц на сайте, а от посещаемости напрямую зависит успешность достижения целей сайта.
Получается, что чем больше количество страниц на сайте, тем лучше. Правда, здесь необходимо предостеречь от возможных ошибок, которые можно допустить в погоне за количеством.
Первое о чем нельзя забывать – это качество текста. Нужно помнить, что он должен быть интересным и полезным для посетителей сайта.
Второй важный аспект – это объем текста, размещаемый на одной странице сайта. Эксперты считают, что на странице сайта не должно быть меньше 2-3 тысяч знаков без пробелов.
Это означает, что нельзя для увеличения числа страниц сайта просто тупо нарезать какую-то интересную статью на большое количество страниц, содержащих всего пару абзацев текста.
Во-первых, целевым посетителям сайта это вряд ли понравится, а во-вторых, поисковые системы могут негативно оценить такой сайт. Особенно, если на небольших страницах будет содержаться очень много ключевых слов из семантического ядра.
Поэтому, имея уникальный и интересный для пользователей контент, сайту можно нанести даже вред, а не пользу, если применять такой вот незатейливый подход для увеличения числа страниц сайта.
Уникальный контент – это очень ценный ресурс, но им нужно умело распоряжаться.
У многих владельцев сайта может возникнуть еще один уместный вопрос: где же взять столько уникального и интересного для целевых посетителей контента?
Для того, чтобы регулярно получать необходимое количество страниц на сайте с уникальным контентом можно активно использовать основные источники уникального контента для сайта.
Да, такое вот регулярное добавление на сайт нового уникального контента – труд не из легких, но зато в перспективе от такого труда можно получить большие дивиденды за счет продвижения сайта.
Причем, в отличие от рекламы, эти вложения будут являться стратегическими, имеющими долгосрочную, а не сиюминутную отдачу.
Кстати, большое количество страниц на сайте с уникальным контентом можно еще и другим способом использовать для продвижения сайта, хотя на самом деле не только сайта.
На основе уникального контента можно создавать книги, с помощью которых можно продвигать не только сайт.
Подробнее, об этом можно прочитать в следующих статьях:
Пожалуй, еще одним аргументом (или даже можно сказать стимулом) в пользу выполнения такой работы по регулярному добавлению на сайт нового уникального контента является нарастающая конкурентная борьба между сайтами.
Между сайтами есть такая же конкуренция (если не жестче) как и между компаниями. Сейчас уже многие стали понимать, что различными SEO-манипуляциями с сайтом невозможно добиться долгосрочного успеха. Ведь основная ценность большинства сайтов – это все-таки контент.
Да, можно потратить огромный бюджет на продвижение сайта, но если он не вызовет интереса у посетителей, то будет очень сложно добиться целей, ради которых создавался и раскручивался такой сайт.
А вложения (в основном времени и сил, а не денег) в качественный и уникальный контент обязательно обеспечат сайту успех в долгосрочной перспективе.
Если у Вас возникли какие-то вопросы по данной статьей Вы можете направить их по адресу [email protected]. Автор статьи ответит на Ваши вопросы в течение нескольких дней с момента получения. |
Ниже представлена форма для подписки на новые материалы сайта (статьи и опыт), связанные с созданием/улучшением, продвижением и развитием сайтов. То есть в рассылках будет информация только о новых материалах, аналогичных тому, что размещен на данной странице сайта.
Узнать для чего нужно становиться подписчиком данного сайта
Как узнать, сколько страниц в индексе Яндекса или Google?
Чтобы продвигаемые страницы могли выводиться в поиске, они должны находиться в индексе поисковых систем. Давайте разберемся, как проверить, какие страницы сайта находятся в индексе Яндекса или Google, узнать количество документов в базе поисковой системы. Какие инструменты существуют для отслеживания индексации страниц. Но вначале немного ликбеза.
Что такое индекс поисковой системы?
Индекс поисковой системы – это база данных, в которой находится информация обо всех документах (страницах с сайтов, файлов), которые могут участвовать в поиске.
Не все страницы включаются в индекс. Например, если страница вашего сайта признается роботом поисковой системы как низкокачественная, она может не включаться в индекс и не принимать участие в поиске. Аналогичная судьба часто ожидает страницы-дубли или документы, содержащие скопированные с других сайтов тексты.
В Google имеется основной индекс и дополнительный (supplemental index).
В дополнительный индекс попадают документы, которые имеют более низкое качество, чем документы из основного индекса. Они не участвуют в основном поиске, их редко посещает робот Google, они практически не приносят трафик на сайт.
В дополнительный индекс Google обычно попадают:
- страницы с неуникальным контентом,
- страницы, на которых практически отсутствует контент и страницы с текстом менее 500 символов,
- дубли,
- иногда в дополнительный индекс могут попадать страницы с низким весом.
Почему важно проверять количество страниц в индексе?
Очень важно отслеживать индексацию страниц, потому что от этого зависит трафик из поисковых систем. Если страница не проиндексирована, она не сможет появиться в выдаче по какому-либо запросу.
Также важна скорость индексации сайта. Если она низкая, в индексе будут устаревшие версии страниц, а новые документы будут попадать в поиск с большой задержкой. Чтобы решить эту проблему, посмотрите статью, как ускорить индексацию сайта.
Как узнать, сколько страниц в индексе Яндекса или Google?
Есть несколько способов проверить количество страниц в индексе поисковых систем:
1. Введите в поисковую строку запрос: site:site.com (где site.com – это URL или адрес главной страницы сайта), как на скриншоте ниже:
Под строкой поиска вы увидите примерное количество страниц в индексе поисковой системы. В примере выше указано число страниц в индексе Google. Этот способ позволяет узнать число страниц в базе поисковой системы у любого сайта, в том числе конкурента.
2. Проверить количество страниц в индексе Google, можно в сервисе Google для вебмастеров. Аналогичный сервис в Яндексе – это Яндекс.Вебмастер. В нем можно посмотреть число страниц в индексе данной поисковой системы. Для просмотра данных потребуется подтвердить права на сайт в сервисах. Поэтому данный способ не подходит для анализа сайтов конкурентов.
Сервис | Раздел, в котором находится информация о числе проиндексированных страниц |
Google для вебмастеров | Индекс Google -> Статус индексирования |
Яндекс. Вебмастер | Индексирование -> Структура сайта |
Если у вас есть доступ в Яндекс.Вебмастер, зайдите на вкладку «Индексирование» -> «Страницы в поиске» и над графиком выберите отображение «История». Здесь вы сможете посмотреть не только число страниц в индексе, но и историю индексирования сайта.
3. При помощи онлайн-сервисов, например, многие бесплатные сервисы для проведения аудитов сайтов выводят информацию о количестве страниц в индексе.
Как проверить страницу в индексе Яндекса или Google?
Часто вебмастеру требуется узнать, находится в индексе конкретная страница сайта или нет. Самый простой способ узнать это – ввести поисковый запрос, состоящий из адреса страницы. Если в результатах поиска вы увидите искомую страницу, значит, она находится в индексе:
В Яндекс.Вебмастер есть функция, которая позволяет не только проверять, в индексе страница или нет, но и следить, чтобы важные страницы не выпадали из поиска. Чтобы добавить страницу в список отслеживаемых, зайдите в раздел «Индексирование» -> «Важные страниц» и в открывшейся форме добавьте нужные страницы:
Можно настроить отслеживание до 100 страниц, что достаточно для многих проектов. Если вам нужно отслеживать больше документов на сайте, то можно воспользоваться сервисом Топвизор. Он позволяет проверять, в индексе страницы сайта или нет, без ограничения по числу документов. Помимо проверки индексации сайта, сервис позволяет снимать позиции по запросам, группировать запросы и многое другое.
Как вернуть или добавить страницу в индекс?
В панелях для вебмастеров имеются специальные сервисы, позволяющие отправить страницу на переиндексацию или добавить новую страницу с сайта в поисковую систему:
Второй способ отправить страницу на переиндексацию – это добавить ссылки на страницу в социальные сети, новостные ресурсы и другие интернет-ресурсы, которые часто посещают роботы поисковых систем.
Если вы отправили страницу на индексацию, но она не появилась в поиске, скорее всего, робот посчитал документ малополезным. Нужно доработать страницу, чтобы она попала в индекс.
Как ускорить индексацию сайта?
Индексацию сайта можно ускорить на разных этапах продвижения сайта:
- Добавьте сайт в панели для вебмастеров. Это позволит ускорить попадание нового сайта в индекс.
- Чаще обновляйте контент. Тогда поисковые роботы будут чаще заходить на сайт и новые страницы будут быстрее добавляться в индекс.
- Следите за качеством контента. На сайты с низким качеством контента роботы могут заходить реже или совсем перестать индексировать такие проекты.
- Периодически проводите технический аудит сайта, чтобы исключать технические причины выпадения страниц из индекса. Например, иногда при редактировании файла robots.txt вебмастера по ошибке закрывают некоторые документы от индексации.
- Если вы подавали заявку на удаление страницы из индекса через панели для вебмастеров, но затем передумали и решили снова включить страницу в поиск, то с ее индексацией могут возникнуть проблемы. Она не будет добавляться в индекс, несмотря на все ваши действия. Иногда решить проблему помогает только обращение в службу поддержки поисковой системы.
- Если страницы стали вылетать из индекса, проверьте сайт на наличие фильтров, уникальность текстов и техническую сторону работы сайта.
- Если сайт слишком большой, вы можете достигнуть лимита по числу документов в индексе поисковой системы (такой лимит есть для каждого сайта). В этом случае можно закрыть от индексации второстепенные страницы, чтобы основные присутствовали в поиске.
В этой статье мы рассмотрели, как проверить индекс сайта в Яндексе или Google, узнать количество страниц в базе поисковой системы, настроить автоматическое отслеживание индексации проекта. Если у вас остались вопросы, добавьте их в комментариях под статьей.
Читайте также:
Проверка количества проиндексированных на сайте страниц в поисковых системах Яндекс и Google
Проверка количества проиндексированных страниц сайта и получение их списка может показаться на первый взгляд достаточно простой задачей, но есть некоторые нюансы, о которых расскажем ниже.
Самые простые способы посмотреть индексацию любого сайта – операторы в поисковых системах Яндекс и Google. В Google это оператор site:site.ru (где вместо site.ru нужно указать анализируемый сайт). В Яндексе последнее время оператор site:site.ru перестал корректно работать, поэтому на данный момент количество страниц можно проверить с помощью оператора url:http://www.site.ru/* (с указанием www если сайт индексируется с www и наоборот).
Примеры:
Как узнать число новых страниц на сайте или число страниц, проиндексированных за определенный период
В Яндексе можно нажать на иконку расширенного поиска и выбрать диапазон дат:
В Google аналогичные настройки можно сделать через “инструменты->за период”:
Но не все так просто как кажется на первый взгляд. Рассмотрим более точные методы проверки способы как получить больше информации для каждой поисковой системы.
Google Search Console
Часто в Google число страниц, выдаваемое через оператор site: сильно отличается от реального числа проиндексированных страниц. Сотрудники Google отвечают по этому поводу что конструкция site:site.ru всего лишь результат пустого поиска по сайту и не обязана выдавать все страницы сайта.
Также в поиске отображаются неиндексируемые страницы, запрещенные в robots.txt, на которые есть внешние ссылки. Это тоже искажает результат.
Более точно узнать число проиндексированных страниц в Google можно имея доступ к Google Search Console в разделе “статус индексирования”.
К сожалению, в данном отчете данные также могут не совпадать с реальными из-за применения фильтров. Разница может доходить до десятков-ста процентов.
Еще один способ, который считается одним из наиболее точных – отчет “Файлы Sitemap”. Здесь указано точное число индексируемых страниц, но с учетом что все полезные страницы были добавлены в файлы sitemap.xml.
Яндекс Вебмастер
В Яндекс.Вебмастере содержатся достаточно точные данные по индексации сайта. Количество страниц, с динамикой можно посмотреть в разделе “страницы в поиске”.
Также в Яндекс.Вебмастере можно получить выгрузку страниц со статусами, включая индексацию, которая, правда ограничена 50.000 страницами. Пример выгрузки:
Выгрузку можно скачать в уже описанном выше отчете “страницы в поиске”.
Альтернативные способы проверки индексации сайта
Иногда перечисленные методы не подходят, тогда можно использовать альтернативные.
- Парсинг сайта (например, через программу Screaming Frog) и постраничная проверка индексации в Google/Yandex. Например, через сервис https://www.rush-analytics.ru/ -> “проверка индексации”. Минусы: не все страницы в индексе могут иметь ссылки из меню или страниц сайта, можно как дополнение использовать способы описанные в пунктах 2,3 ниже.
- Страницы, на которые есть органический трафик из перечисленных операционных систем (можно посмотреть через системы статистики Яндекс.Метрика и Google.Analytics).
- Страницы на которые есть внешние ссылки. Внешние ссылки можно получить через такие сервисы как Ahrefs. com.
Как проверить количество страниц в индексе: 4 способа
Хотите узнать, сколько страниц вашего сайта есть в индексе поисковых систем? В этой статье вы не только познакомитесь с 4 работающими способами, как проверить количество страниц в индексе поисковых систем, но и поймете, когда и зачем это нужно.
1. Самый быстрый способ
Оператор «site» для Google. Чтобы получить информацию по Google, введите в поиск «site:» и ваш домен. Например:
site:site4business.net
Поисковая система Google покажет все страницы вашего сайта, которые есть в ее индексе. Общее их количество вы можете увидеть в самом верху:
Здесь их количество равняется 62. В вашем случае цифра скорее всего будет иной.
Внимание! Оператор site чувствителен к регистру. Если написать его с большой буквы, он не сработает.
Оператор «host» для Яндекса. Если вы хотите узнать, сколько у вашего сайта страниц в индексе Яндекса, воспользуйтесь оператором «host». Также, как и в предыдущем примере, напишите «host:» и интересующий вас домен:
host:site4business.net
В индексе Яндекса уже не 62, а 63 единицы контента. Такая разница не критична. Другое дело, если разница составляет десятки процентов. В этом случае нужно проводить технический аудит.
2. Яндекс Вебмастер и Google Search Console
Если на вашем сайте установлены сервисы для вебмастеров, вы сможете не только посмотреть количество страниц в индексе, но и динамику индексирования вашего веб-ресурса.
Динамика индексации – это график добавления новых разделов вашего сайта в индекс поисковых систем. Дело в том, что поисковики могут очень быстро сканировать ваш сайт, но добавляют в индекс не все сразу, а делают это постепенно и планомерно.
Как проверить, сколько страниц в индексе Яндекса. Перейдите в Яндекс Вебмастер и авторизуйтесь, войдя в почту, к которой вы привязывали свой веб-ресурс.
Затем, перейдите в раздел «Индексирование -> Страницы в поиске». Чтобы посмотреть их все перейдите во вкладку «Все страницы»:
Если вы перейдете в соседнюю вкладку, вы увидите те, которые оттуда выпали:
В графе «Статус» можно узнать причину выпадения.
Google Search Console. Перейдите по этой ссылке. Недавно этот сервис обновился и возможно вам придется снова подтверждать права на свой сайт.
После авторизации перейдите в раздел «Покрытие». Здесь вы увидите 4 вкладки:
- Ошибка – не попавшие в индекс;
- Без ошибок, но с предупреждениями – попавшие в индекс, возможно, вразрез вашим желаниям, например, даже если они закрыты в robots.txt;
- Без ошибок – находящиеся в индексе;
- Исключено – которым запрещено индексирование.
В каждой вкладке можно найти тонну полезной информации. Например, почему какая-то важная для SEO страница не попала в индекс, и наоборот, почему другая, закрытая в роботс туда попала.
Исследуйте и исправляйте ошибки.
А вы знали, что в целях содействия малому бизнесу мы делаем бесплатные аудиты сайтов? Чтобы принять участие в акции и получить бесплатную проверку своего ресурса от профессионала (с рекомендациями), оставьте заявку.3. Расширения и букмарклеты
Минус этого способа в том, что вам придется устанавливать в свой браузер дополнения. Но жирный плюс в том, что если вам нужно постоянно проверять, сколько страниц есть в индексе Яндекса и Гугла, то делается это быстрее, чем с помощью операторов.
Один клик мыши и вы уже видите все данные у себя на экране.
Самое популярное дополнение – это RDS Bar. Ее можно установить и в Chrome, и в Firefox. Однако, у меня это расширение работает корректно только в браузере Firefox. Это мой незаменимый инструмент в работе над продвижением клиентских сайтов, так как часто приходится проверять размер сайтов конкурентов.
Чтобы посмотреть, какие именно страницы есть в индексе Яндекса, нажмите на соответствующую цифру:
4. Сервисы
Еще один способ проверить индексацию сайта – воспользоваться специальными сервисами. Один из них – pr-cy.ru. С помощью этого сервиса вы узнаете количество страниц в индексе Яндекс и Google в рамках стандартного (бесплатного) аудита сайта.
Просто введите домен сайта и в отчете обратите внимание на раздел «Индексация»:
Есть и другие сервисы проверки индексации страниц. Например, платформа sitechecker. Но в отличие от pr-cy этот и другие сервисы берут деньги или требуют регистрацию.
Почему важно делать проверку
Для правильной и своевременной индексации сайта вы можете сделать карту сайта, корректно настроить файл robots.txt и многое другое. Но все это не дает абсолютных гарантий.
Поэтому, периодически проверяйте количество страниц вашего сайта индексе поисковых систем.
Чем это может помочь:
Во-первых, вы можете заметить резкий рост этого показателя, что может говорить о том, что в нее попали мусорные страницы. Это может привести к падению трафика.
Во-вторых, вы можете наоборот, заметить резкое падение этих значений. Если среди «пропавших» страниц есть важные с точки зрения SEO, вы также можете потерять много трафика.
В-третьих, вы можете заметить диспропорцию в показателях Яндекса и Google, что является тревожным звоночком и сигнализирует о возможных санкциях в одной из них.
Если вы заметили что-то из вышеперечисленного у своего сайта, пишите об этом в комментариях. Возможно, общими усилиями мы сможем найти причину или даже решение ситуации.
Видеоурок:
Поделитесь с друзьями:
Как проверить индексацию страницы. Проверить индексацию сайта.
Если вы занимаетесь продвижением сайта, то очень важно, чтобы все страницы вашего сайта были проиндексированы в поисковых системах (Яндекс, Google и т.п.).
- Во первых, если страницы нет в индексе, значит люди не смогут ее найти и вы зря потратили время (и возможно деньги) на ее создание, наполнение и оформление. Каждая страница в индексе — это источник посетителей.
- Во вторых, если страницы нет в индексе, это может свидетельствовать о технических проблемах на сайте, например дублирование контента, глюки сайта или хостинга.
- В третьих, эта страница может играть техническую роль, например, участвовать в схеме перелинковки (или содержать платные ссылки, за которые вы не получите деньги, если страницы нет в индексе).
Работая с клиентами, я не раз сталкивался с тем, что из-за проблем с индексацией были плохие позиции. Эта техническая проблема, которую я обычно исправляю в первый месяц сотрудничества, за счет чего уже со 2-го месяца бывает заметный рост посетителей и позиций.
Ниже я рассмотрю ручные и автоматизированные способы проверки индексации страниц в Яндекс и Google. Покажу, как проверить индексацию сайта в целом и каждой страницы в отдельности.
Если вы владелец сайта
Если вы владелец сайта, то вы можете точно посмотреть индексацию страниц через кабинеты вебмастера от поисковых систем.
https://webmaster.yandex.ru/ — Яндекс
https://www.google.com/webmasters/ — Google
Как владельцу вам должно быть важно, чтобы реальное количество страниц (категорий, статей, товаров) на сайте соответствовало страницам результатах поиска.
Яндекс Вебмастер
В вебмастере целый раздел так и называется «Индексирование»В Яндекс.Вебмастере вы можете проверить как часто заходит к вам поисковый робот и что происходит со страницами вашего сайта.
Серьезные проблемы с индексацией: постоянно выпадают и добавляются сотни страниц.Можно смотреть статистику по всем страницам или проверить любую отдельную страницу своего сайта:
Пример проверки отдельной страницыGoogle Search Console (Google Вебмастер)
В Google точно также можно смотреть статистику по всем страницам сайта или проверить одну конкретную.
Пример проблем с индексацией. Серые столбики — исключенные страницы.Проверка отдельной страницыИмея доступ к личному кабинету в поисковой системе можно узнать в какое конкретно время была проиндексирована страница или исключена из результатов поиска.
Если сайт чужой
Если сайт чужой, то можно посмотреть сколько страниц проиндексировано в поисковой системе с помощью специального запроса
Проверка индексации сайта в ЯндексеПроверка индексации в GoogleМожно заметить, что у меня отличается число для Google и Яндекс. Это может свидетельствовать о проблемах, если вы не знаете настоящей причины. В данном случае причина в том, что я недавно добавил каталог услуг и Яндекс быстрей проиндексировал новые страницы.
Чтобы проверить отдельную страницу, достаточно скопировать ее адрес URL и вставить в строку поиска. Если в результатах будет нужная страница, значит она проиндексирована.
Проверяем индексацию страницы в ЯндексеПроверяем индексацию страницы в Google
С помощью сервисов
Сервисы — это менее точный метод, но его хорошо использовать, когда нужно проанализировать много сайтов.
Сервис Be1.ru
https://be1.ru/
Вот так показывает индексацию сервис Be1Как видно, сервис показал, что у меня недавно было прибавление страниц в Яндексе (и это соответствует реальности), а Google запаздывает.
Сервис PR-CY
https://a.pr-cy.ru/
Пример отчета по индексации из сервиса PR-CYСервис Серпхант
https://serphunt.ru/indexing/
Сервис предоставляет мощный функционал для SEO специалистов, но в данном случае нас интересует инструмент проверка индексации. Проверяет Яндекс и Google
Пример проверки индексации в СерпхантеArsenkin
https://arsenkin.ru/tools/indexation/
Cервис бесплатно проверяет индексацию в Яндексе, а для Гугл надо подключить базовый тариф.
Пример проверки индексации в ArsenkinPromopult — платно, но дешево и много
https://promopult.ru/tools/indexing_analysis.html
Когда нужно проверить большее количество URL разом, то я использую сервис Promoputl. Проверка индексации в Яндекс и Google одной страницы стоит 2 копейки, отчет предоставляется в Excel
Проверка индексации от PromopultКак узнать количество страниц на сайте
Хорошо, теперь вы знаете как проверить индексацию. А как понять соответствует ли оно реальности. В самом простом случае, надо знать сколько страниц на сайте и сколько из них разрешены к индексации.
Чтобы узнать эту информацию можно просканировать сайт программой SiteAnalyzer (https://site-analyzer.ru/)
Просканировал сайт и вижу, что HTML страниц 190Если вы внимательно читали статью и смотрели скриншоты, то видите, что количество страниц на сайте не совпадает с информацией от поисковых систем и сервисов. Но число примерно похоже.
Дальше, используя программу SiteAnalyzer и перечисленные методы можно вычислить какие страницы не в индексе, а также страницы которые до сих пор в индексе, но нет на сайте.
Популярные проблемы с индексацией
Когда мы знаем, сколько страниц от фактического количества проиндексированы, может быть 3 ситуации:
- Количество страниц в поисковиках и на сайте совпадает. Это идеальный вариант, значит с сайтом всё впорядке. Хотя все равно рекомендую проверить и сравнить.
- Количество проиндексированных страниц меньше. Значит с сайтом проблемы (наиболее популярная проблема — малоинформативный или неуникальный контент)
- Количество проиндексированных страниц больше. Скорей всего у вас проблема с дублированием страниц, т.е. одна страница может быть доступна по нескольким адресам. Это плохо для продвижения, т.к. статический вес страницы размывается и кроме-того получается много страниц с повторяющимся контентом.
Для дальнейшей диагностики сайта, нам понадобится узнать какие страницы точно проиндексированы, а какие не входят в индекс.
Заключение
Умение проверить индексацию страниц своего сайта позволит вам продуктивней работать с поисковыми системами, а так же вычислить существующие проблемы с сайтом.
3 способа определения количества страниц на веб-сайте »WebNots
Иногда вы можете искать количество страниц на веб-сайте. Это может быть ваш собственный или чей-то веб-сайт или даже сайт конкурента, который вы хотите проверить. Если это ваш собственный сайт, количество страниц легко определить, заглянув в свою систему управления контентом. Если сайт не ваш, вы можете получить приблизительные страницы с помощью некоторых простых приемов. Здесь мы рассмотрим три способа определения количества страниц на веб-сайте.
Связано: 6 способов найти дату последнего обновления веб-страницы.
Как узнать количество страниц на сайте?
- Использование XML Sitemap для веб-страницы.
- Использование оператора site: в поиске Google.
- Из Google Search Console (для вашего собственного сайта).
1. XML-карта сайта
XML-карта сайта — это точный способ легко и без особых усилий подсчитать количество страниц. Поскольку карта сайта доступна всем пользователям, вы можете использовать этот метод для любого веб-сайта.Получив URL-адрес сайта, откройте файл Sitemap в браузере, используя один из следующих URL-адресов:
http://sitename.com/sitemap.xml — для сайта с одним файлом Sitemap.
http://sitename.com/sitemap_index.xml — для сайта, имеющего несколько файлов Sitemap.
Если на сайте используются расширенные плагины Sitemap (например, Yoast WordPress SEO), будет показано количество URL-адресов в каждом файле Sitemap.
Определение количества страниц веб-сайта в XML-карте сайтаЕсли счетчик не отображается в карте сайта, возможно, вам придется подсчитать вручную один за другим или скопировать XML в лист Excel и посчитать его.Вы также можете использовать онлайн-карту сайта или инструменты проверки неработающих ссылок для этой цели, когда размер сайта меньше.
2. Использование сайта: Оператор
Откройте поиск Google и введите поисковый запрос ниже, заменив имя сайта своим:
сайт: sitename.com
Вы увидите результаты, как показано ниже, с количеством проиндексированных страниц в Google. Хотя это может быть не фактическое количество веб-страниц на сайте, оно дает представление о количестве проиндексированных страниц в Google.
Использование Оператора сайта в поиске Google3. Search Console
Подобно оператору «site:», в консоли поиска Google есть возможность увидеть общее количество проиндексированных страниц в Google. Но вы должны быть подтвержденным владельцем сайта, чтобы использовать Search Console, иначе владелец должен пригласить вас для доступа к данным. После входа в учетную запись Search Console перейдите в меню « Google Index> Index Status », чтобы увидеть общее количество проиндексированных страниц.
Общее количество проиндексированных страниц веб-сайта в GoogleОбщее количество проиндексированных страниц в поиске Google и Search Console включает различные типы страниц на сайте.Например, один URL-адрес может быть проиндексирован с помощью прямого URL-адреса, категории, тега, архивов и т. Д. И в результате он будет многократно появляться в поисковых системах. Вы также можете просмотреть подробную информацию об общем количестве отправленных и проиндексированных страниц из XML-файла Sitemap, отправленного в Google, в разделе «Сканирование > Sitemap » учетной записи Search Console.
Как я могу узнать, сколько страниц моего домена проиндексировано Google?
Google предоставляет два простых варианта определения количества проиндексированных страниц вашего домена.Общее количество проиндексированных страниц может сильно отличаться от общего количества страниц, которые у вас действительно есть в домене.
Вариант №1: сайт Google: -запрос
Используя простой поисковый запрос с так называемым оператором «site:» и вашим доменом, вы можете получить приблизительное количество страниц, проиндексированных Google.
В маске поиска Google введите следующее:
site: www.my-domain.com
Результат поискового запроса должен выглядеть следующим образом: Красные метки указывают количество проиндексированных страниц.
Отмечено красным — приблизительное количество проиндексированных страниц.Если в индексе много страниц, результат site: -query может быть отфильтрован с использованием различных параметров:
- site: www.my-domain.com/subdirectory /
Отображает только проиндексированные страницы в каталоге / подкаталоге / - site: www.my-domain.com Фраза выбора
Отображает только те проиндексированные страницы, которые содержат выбранную вами фразу - site: www.my-domain. com inurl: фраза
Отображает только те проиндексированные страницы, которые содержат слово «фраза» в URL-адресе - site: www.my-domain.com intitel: фраза
Отображает только те проиндексированные страницы, которые содержат слово «фраза» в заголовке. - site: www.my-domain.com filetype: pdf
Отображает только те проиндексированные файлы с выбранным типом файла (другие возможные типы файлов: doc, pdf, ps, xls, rtf, swf и т. д.)
Вариант № 2: Использование консоли поиска Google
Вы можете легко получить обзор проиндексированных страниц вашего домена в консоли поиска Google .
Если вы еще не используете Google Search Console, вы можете бесплатно активировать свой веб-сайт (www.google.com/webmasters/tools/?hl=en) всего за несколько минут. Это позволяет вам также использовать следующую опцию, чтобы получить обзор статуса индексации.
Анализ статуса индексации вашего веб-сайта с помощью Google Search Console:
- Войдите в Google Search Console и выберите желаемый веб-сайт.
- Нажмите «Google Index» в левой навигационной панели.
- Нажмите «Index» Статус »в подменю.
Теперь вам отображается диаграмма« Статус индекса »для вашего домена, где вы также можете добавлять фильтры, например, также отображать диаграмму для страниц, заблокированных роботами.текст.
Количество проиндексированных страниц, а также страниц, заблокированных файлом robots.txt в Google Search Console.Поисковая система Bing также предоставляет собственные инструменты для веб-мастеров, которые также позволяют вам оценивать количество проиндексированных страниц в Bing.
История проиндексированных страниц в инструментах для веб-мастеров bing (http://www.bing.com/toolbox/webmaster)Оценка с помощью SISTRIX Toolbox
В модуле SEO SISTRIX Toolbox вы можете проанализировать историю проиндексированных страницы домена более подробно.На графике будет показана история показателей индекса от Google. Мы очень регулярно отслеживаем большинство доменов, но для более регулярного обновления этого показателя вы можете добавить домен в свой список наблюдения.
- История проиндексированных страниц домена:
Как узнать общее количество страниц на веб-сайте? — Metabust
Есть много причин, по которым вы можете захотеть подсчитать количество страниц на веб-сайте.Может быть, просто чтобы получить представление об общем количестве страниц или следить за конкурентом. Если вы являетесь владельцем веб-сайта, у вас есть много вариантов, например, вы можете смотреть прямо на своей панели инструментов или в Google Search Console, но что, если вы хотите подсчитать страницы на веб-сайтах, которые вам не принадлежат. Есть и способы.
В этом посте я поделюсь с вами четырьмя способами узнать общее количество страниц или сообщений в блогах на любом веб-сайте. Вы можете комбинировать эти методы для получения более точных результатов.
Использование поиска Google
Google Search — это мощный инструмент для поиска информации в Интернете. Вы также можете искать информацию на любом конкретном веб-сайте с помощью специально созданных поисковых запросов. Вы можете использовать поисковый запрос site:
для поиска страниц на веб-сайте. Например, site: metabust.com
откроет все страницы на этом веб-сайте.
Обратите внимание, что этот метод даст вам лишь приблизительное представление об общем количестве страниц, поскольку он перечисляет только те страницы, которые уже были проиндексированы.
Использование ссылок на страницы
Ссылки на страницы — это один из самых простых способов узнать общее количество страниц на веб-сайте. Эти ссылки представляют собой ссылки на последовательность связанных страниц или сообщений, которые помогают просматривать список опубликованного контента на веб-сайте. Вы можете использовать ссылку для разбивки на страницы, чтобы получить представление о том, сколько сообщений или страниц на сайте.
При первом посещении веб-сайта проверьте, есть ли на нем ссылка для пагинации, как показано выше. Теперь посчитайте количество опубликованных сообщений на первой странице.Предположим, что на странице 10 сообщений, теперь продолжайте перемещаться до конца пагинации. После этого просто умножьте количество сообщений на странице на длину ссылок для пагинации. Вы получаете общее количество опубликованных сообщений или страниц статей на веб-сайте.
Некоторые веб-сайты имеют сложную структуру навигации, в которой одни и те же сообщения появляются в разных категориях, поэтому определить фактическое количество страниц может быть непросто. В этом случае используйте следующие методы.
Использование Sitemap
Карта сайта — это индекс всех уникальных страниц веб-сайта.Эти файлы используются, чтобы дать поисковым системам и (в некоторых случаях) пользователям представление о том, сколько страниц или ссылок есть на определенном веб-сайте. Эти файлы обычно имеют формат XML и могут быть доступны и доступны для чтения любому, кто желает их прочитать.
Чтобы получить доступ к карте сайта веб-сайта, перейдите в нижний колонтитул веб-сайта и найдите ссылку на карту сайта XML или просто добавьте к основному домену префикс /sitemap.xml
или / sitemap
или / post_sitemap.xml
. Обратите внимание, что не на всех веб-сайтах есть карты сайта, а на некоторых они находятся на разных путях, чем обычно.
Некоторые карты сайта указывают количество доступных ссылок, но в большинстве случаев вам придется вручную подсчитывать ссылки в карте сайта. Подсчитать URL-адреса в файле карты сайта непросто, поэтому я бы рекомендовал использовать парсер или экстрактор карты сайта. Вы можете использовать этот экстрактор карты сайта. Он подсчитает все URL-адреса в карте сайта и сообщит вам количество страниц на веб-сайте.
Использование генераторов файлов Sitemap и средств проверки ссылок
Если ни один из вышеперечисленных способов у вас не работает, то это последний.В Интернете существует множество генераторов карт сайта и средств проверки ссылок, которые сканируют веб-сайт и отображают список доступных уникальных страниц. Вы можете использовать эти службы, чтобы узнать количество страниц на веб-сайте.
Таких сервисов много, и вы можете легко найти многие из них с помощью поиска в Google. Как только вы найдете их, войдите на веб-сайт, который хотите изучить, а затем дайте инструменту несколько минут для сканирования веб-сайта. По завершении вы узнаете общее количество страниц.
Вот несколько инструментов, которые вы можете использовать: XML Sitemap Generator, Broken Link Checker.Используйте их, и вы обязательно узнаете общее количество страниц.
Заключительные слова
Большинство веб-сайтов в наши дни имеют файл карты сайта, в котором вы можете напрямую посмотреть общее количество URL-адресов. Эти карты сайта обычно находятся в разделе нижнего колонтитула или, как правило, в файле robots.txt. Если вы не можете его найти, выполните поиск по сайту с ключевым словом карты сайта
в Google.
Если вы знаете какие-либо другие способы найти общее количество страниц на веб-сайте, сообщите нам об этом в комментариях ниже.Также приветствуются любые другие предложения или идеи.
Как найти все страницы на веб-сайте (и зачем это нужно)
Содержание
Почему вам нужно найти все страницы вашего сайта
Как на самом деле становится видно ваш контент
Что такое сканирование и индексирование?
Ссылки
Карты сайта
CMS
Что такое индексация?
Использование роботов.txt
Использование «noindex»
Что такое страницы-сироты?
Как появляются страницы-сироты?
Как насчет тупиковых страниц?
Откуда берутся тупиковые страницы?
Что такое скрытые страницы?
Нужно ли избавиться от всех скрытых страниц?
Подписка на информационный бюллетень
Страницы, содержащие информацию о пользователе
Как найти скрытые страницы
Использование robots.txt
Найти их вручную
Как найти все страницы вашего сайта
Использование файла карты сайта
Использование вашей CMS
Использование журнала
Использование Google Analytics
Ручной ввод в поисковый запрос Google
Что тогда вы делаете со своим списком URL-адресов?
Ручное сравнение с данными журнала
Использование инструментов сканирования сайта
SEOptimers Инструмент для сканирования SEO
Заключение
Подумайте об этом.Зачем вы создаете сайт? Чтобы ваши потенциальные клиенты или аудитория легко находили вас и выделялись среди конкурентов, верно? Как на самом деле можно увидеть ваш контент? Всегда ли виден весь контент на вашем сайте?
Почему вам нужно найти все страницы на вашем сайте
Вполне возможно, что страницы, содержащие ценную информацию, которую действительно нужно увидеть, вообще не просматриваются. Если это касается вашего веб-сайта, то вы, вероятно, теряете значительный трафик или даже потенциальных клиентов.
Также могут быть страницы, которые редко просматриваются, и когда они видны, пользователи / посетители / потенциальные клиенты заходят в тупик, поскольку не могут получить доступ к другим страницам. Они могут только уйти. Это так же плохо, как и те страницы, которые никогда не просматриваются. Google начнет замечать высокий показатель отказов и сомневаться в надежности вашего сайта. Это будет видеть, что ваши веб-страницы ранжируются все ниже и ниже.
Как на самом деле можно увидеть ваш контент
Чтобы пользователи, посетители или потенциальные клиенты могли видеть ваш контент, сканирование и индексирование должны выполняться и выполняться часто.Что такое сканирование и индексация?
Что такое сканирование и индексирование?
Чтобы Google мог показывать ваш контент пользователям / посетителям / потенциальным клиентам, он должен сначала знать, что контент существует. Это происходит через сканирование. Это когда поисковые системы ищут новый контент и добавляют его в свою базу данных уже существующего контента.
Что делает возможным сканирование?
- Ссылки
- Карты сайта
- Системы управления контентом (CMS — Wix, Blogger)
Когда вы добавляете ссылку с существующей страницы на другую новую страницу, например, с помощью якорного текста, роботы поисковых систем или пауки могут следить за новой страницей и добавлять ее в «базу данных» Google для дальнейшего использования.
Они также известны как XML-файлы Sitemap. Здесь владелец сайта отправляет в поисковую систему список всех своих страниц. Веб-мастер может также указать дату последнего изменения. Затем страницы сканируются и добавляются в «базу данных». Однако это не реальное время. Ваши новые страницы или контент не будут сканироваться, как только вы отправите карту сайта. Ползание может произойти через несколько дней или недель.
Большинство сайтов, использующих систему управления контентом (CMS), генерируют их автоматически, так что это своего рода ярлык.Единственный случай, когда на сайте может не быть сгенерированной карты сайта, — это если вы создали сайт с нуля.
Если ваш веб-сайт работает на CMS, такой как Blogger или Wix, хостинг-провайдер (в данном случае CMS) может «указать поисковым системам сканировать любые новые страницы или контент на вашем веб-сайте».
Вот некоторая информация, которая поможет вам в этом процессе:
Добавление карты сайта в WordPress
Просмотр карты сайта
Где находится карта сайта для Wix?
Карта сайта для Shopify
Что такое индексация?
Проще говоря, индексирование — это добавление просканированных страниц и контента в «базу данных» Google, которая на самом деле называется индексом Google.
Прежде чем контент и страницы будут добавлены в индекс, боты поисковых систем стремятся понять страницу и ее содержание. Они даже продолжают каталогизировать файлы, такие как изображения и видео.
Вот почему веб-мастеру может пригодиться внутренняя SEO-оптимизация (среди прочего, заголовки страниц, заголовки и использование замещающего текста). Когда ваша страница или страницы имеют эти аспекты, Google становится легче «понять» ваш контент, соответствующим образом каталогизировать и правильно проиндексировать.
Иногда вы можете не захотеть проиндексировать некоторые страницы или части веб-сайта. Вам нужно дать директивы поисковым роботам. Использование таких директив также упрощает сканирование и индексирование, поскольку сканируется меньше страниц. Узнайте больше о robots.txt здесь.
Вы также можете использовать эту другую директиву, если есть страницы, которые вы не хотите отображать в результатах поиска.Узнайте больше о noindex.
Прежде чем вы начнете добавлять noindex, вам нужно идентифицировать все свои страницы, чтобы вы могли очистить свой сайт и упростить поисковым роботам его правильное сканирование и индексирование.
По каким причинам вам нужно найти все ваши страницы?
Что такое страницы-сироты?
Сиротскую страницу можно определить как страницу, на которой нет ссылок с других страниц вашего сайта.Это делает практически невозможным поиск этих страниц роботами поисковых систем, а также пользователями. Если боты не могут найти страницу, они не будут отображать ее в результатах поиска, что еще больше снижает вероятность того, что пользователи ее найдут.
Как появляются страницы-сироты?
Сиротские страницы могут быть результатом попытки сохранить конфиденциальность контента, синтаксических ошибок, опечаток, дублированного контента или устаревшего контента, на который не было ссылок. Вот еще способы:
- Тестовые страницы, которые использовались для A / B-тестирования и никогда не деактивировались
- Целевые страницы, основанные на сезоне, например Рождество, День Благодарения или Пасха
- «Забытые» страницы в результате миграции сайта
Как насчет тупиковых страниц?
В отличие от страниц-сирот, тупиковые страницы имеют ссылки с других страниц веб-сайта, но не ведут на другие внешние сайты.Примеры тупиковых страниц включают страницы с благодарностью, страницы услуг без призыва к действию и страницы «ничего не найдено», когда пользователи ищут что-то с помощью опции поиска.
Когда у вас есть тупиковые страницы, у людей, которые их посещают, есть только два варианта: покинуть сайт или вернуться на предыдущую страницу. Это означает, что вы теряете значительную часть трафика, особенно если эти страницы являются «главными страницами» вашего веб-сайта. Что еще хуже, пользователи либо разочарованы, либо сбиты с толку, либо задаются вопросом: «Что дальше?»
Если пользователи покидают ваш сайт с разочарованием, замешательством или с какими-либо негативными эмоциями, они, скорее всего, никогда не вернутся, точно так же, как недовольные клиенты никогда больше не будут покупать у бренда.
Откуда берутся тупиковые страницы?
Тупиковые страницы — это результат страниц без призывов к действию. Примером может служить страница с информацией об услугах, которые предлагает ваша компания, но не имеющая ссылки на эти услуги. Как только читатель поймет, что движет вашей компанией, какие ценности вы поддерживаете, как была основана компания, и какие услуги вы предлагаете и уже взволнованы, вам нужно сказать ему, что делать дальше.
Простая кнопка с призывом к действию «просмотрите наши услуги» сделает свою работу.Убедитесь, что кнопка при нажатии действительно открывает страницу услуг. Вы не хотите, чтобы пользователь получал 404-е сообщение, что тоже расстроит его.
Что такое скрытые страницы?
Скрытые страницы — это те страницы, которые недоступны через меню или навигацию. Хотя посетитель может просматривать их, особенно с помощью якорного текста или входящих ссылок, их бывает сложно найти.
Страницы, попадающие в раздел категорий, скорее всего, тоже будут скрытыми страницами, так как они расположены в панели администратора.Поисковая система может никогда не получить к ним доступ, поскольку они не имеют доступа к информации, хранящейся в базах данных.
Скрытые страницы также могут быть результатом страниц, которые никогда не добавлялись в карту сайта, но существуют на сервере.
Следует ли избавиться от всех скрытых страниц?
Не совсем. Есть скрытые страницы, которые абсолютно необходимы и никогда не должны быть доступны из вашей навигации. Давайте посмотрим на примеры:
У вас может быть страница с разбивкой по преимуществам подписки на информационный бюллетень, с тем, как часто пользователи должны ожидать его получения, или графическое изображение, показывающее информационный бюллетень (или предыдущий информационный бюллетень).Не забудьте также включить ссылку для подписки.
Страницы, содержащие информацию о пользователе Страницы, требующие от пользователей предоставления информации, обязательно должны быть скрыты. Пользователям необходимо создать учетные записи, прежде чем они смогут получить к ним доступ. Подписки на рассылку новостей также можно разделить на категории.
Как найти скрытые страницы
Как мы уже упоминали, вы можете найти скрытые страницы, используя все методы, которые используются для поиска потерянных или тупиковых страниц.Давайте изучим еще несколько.
Использование robots.txt
Скрытые страницы с большой вероятностью будут скрыты от поисковых систем через robots.txt. Чтобы получить доступ к файлу robots.txt сайта, введите в браузере [имя домена] /robots.txt и введите. Замените «доменное имя» доменным именем вашего сайта. Обратите внимание на записи, начинающиеся с «disallow» или «nofollow».
Найти их вручную
Если вы продаете товары, например, через свой веб-сайт, и подозреваете, что одна из категорий товаров может быть скрыта, вы можете найти ее вручную.Для этого скопируйте и вставьте URL другого продукта и отредактируйте его соответствующим образом. Если не нашли, значит, были правы !.
Что делать, если вы не знаете, что это за скрытые страницы? Если вы организуете свой веб-сайт в каталогах, вы можете добавить свое доменное имя / имя папки в браузер сайта и перемещаться по страницам и подкаталогам.
После того, как вы нашли свои скрытые страницы (и они не должны оставаться скрытыми, как описано выше), вам необходимо добавить их в карту сайта и отправить запрос на сканирование.
Как найти все страницы вашего сайта
Вам нужно найти все свои веб-страницы, чтобы узнать, какие из них тупиковые или сиротские. Давайте рассмотрим различные способы достижения этой цели:
Использование файла карты сайта
Мы уже посмотрели карты сайта. Карта сайта пригодится при анализе всех ваших веб-страниц. Если у вас нет карты сайта, вы можете использовать генератор карты сайта, чтобы создать ее для вас. Все, что вам нужно сделать, это ввести свое доменное имя, и карта сайта будет сгенерирована для вас.
Использование вашей CMS
Если ваш сайт работает на системе управления контентом (CMS), такой как WordPress, и ваша карта сайта не содержит всех ссылок, можно сгенерировать список всех ваших веб-страниц из CMS. Для этого используйте плагин, например Export All URLs.
Использование бревна
Также пригодится журнал всех страниц, обслуживаемых посетителями. Чтобы получить доступ к журналу, войдите в свою cPanel, затем найдите «необработанные файлы журнала». Или попросите вашего хостинг-провайдера поделиться им.Таким образом, вы сможете увидеть наиболее часто посещаемые страницы, страницы, которые никогда не посещались, а также страницы с наибольшим процентом прерывания. Страницы с высоким показателем отказов или отсутствием посетителей могут оказаться тупиковыми или потерянными страницами.
Использование Google Analytics
Вот шаги, которые необходимо выполнить:
Шаг 1: Войдите на свою страницу Analytics.
Шаг 2: Перейдите в «поведение», затем «содержание сайта»
Шаг 3: Перейти на «все страницы»
Шаг 4: Прокрутите вниз и справа выберите «показать строки»
Шаг 5: Выберите 500 или 1000 в зависимости от того, сколько страниц, по вашему мнению, будет иметь ваш сайт
Шаг 6: Прокрутите вверх и в правом верхнем углу выберите «экспорт»
Шаг 7: Выберите «экспортировать как.xlsx ’(Excel)
Шаг 8: После экспорта Excel выберите «набор данных 1»
Шаг 9: Сортировать по «уникальным просмотрам страниц».
Шаг 10: Удалите все остальные строки и столбцы, кроме строки с вашими URL-адресами
Шаг 11: Используйте эту формулу во втором столбце:
= СЦЕПИТЬ («http: //domain.com,A1)
Шаг 12: Замените домен доменом вашего сайта. Перетащите формулу, чтобы она применялась и к другим ячейкам.
Теперь у вас есть все ваши URL-адреса.
Если вы хотите преобразовать их в гиперссылки, чтобы можно было легко щелкнуть и получить к ним доступ при поиске чего-либо, перейдите к шагу 13.
Шаг 13: Используйте эту формулу в третьей строке:
= ГИПЕРССЫЛКА (B1)
Перетащите формулу, чтобы она также применялась к другим ячейкам.
Ручной ввод в поисковый запрос Google
Вы также можете ввести этот сайт: www.abc.com в поисковый запрос Google.Замените «abc» своим доменным именем. Вы получите результаты поиска со всеми URL-адресами, которые Google просканировал и проиндексировал, включая изображения, ссылки на упоминания на других сайтах и даже хэштеги, с которыми может быть связана ваша торговая марка.
Затем вы можете вручную скопировать каждый и вставить их в электронную таблицу Excel.
Что тогда вы делаете со своим списком URL-адресов?
На этом этапе вам может быть интересно, что вам нужно делать со списком URL-адресов.Давайте посмотрим на доступные варианты:
Ручное сравнение с данными журнала
Один из вариантов — вручную сравнить ваш список URL-адресов с журналом CMS и определить страницы, которые, похоже, вообще не имеют трафика или имеют самый высокий показатель отказов. Затем вы можете использовать такой инструмент, как наш, для проверки входящих и исходящих ссылок для каждой из страниц, которые, по вашему мнению, являются сиротскими или тупиковыми.
Другой подход — загрузить все ваши URL-адреса в виде файла.xlsx (excel) и ваш журнал тоже. Сравните их рядом (например, в двух столбцах), а затем используйте опцию «Удалить дубликаты» в Excel. Следуйте пошаговым инструкциям. К концу процесса у вас останутся только сиротские и тупиковые страницы.
Третий подход к сравнению заключается в копировании двух наборов данных — вашего журнала и списка URL-адресов в Google Таблицы. Это позволяет вам использовать эту формулу: = ВПР (A1, A: B, 2,) для поиска URL-адресов, которые присутствуют в вашем списке URL-адресов, но не в вашем журнале.Отсутствующие страницы (отображаемые как N / A) следует интерпретировать как потерянные страницы. Убедитесь, что данные журнала находятся в первом или левом столбце.
Использование инструментов сканирования сайта
Другой вариант — загрузить ваш список URL-адресов в инструменты, которые могут выполнять сканирование сайта, дождаться, пока они просканируют сайт, а затем вы скопируете и вставите свои URL-адреса в электронную таблицу, прежде чем анализировать их один за другим и пытаться выяснить, какие одни — сироты или тупики.
Эти два варианта могут занять много времени, особенно если на вашем сайте много страниц, верно?
Что ж, как насчет инструмента, который не только находит все ваши URL-адреса, но также позволяет фильтровать их и показывает их статус (чтобы вы знали, какие из них тупиковые или сиротские?).Другими словами, если вам нужен ярлык для поиска всех страниц вашего сайта, используйте инструмент SEOptimer для сканирования SEO.
Инструмент сканирования SEO от SEOptimer
Этот инструмент позволяет получить доступ ко всем страницам вашего сайта. Вы можете начать с перехода в «Сканирование веб-сайтов» и ввести URL-адрес своего веб-сайта. Нажмите « Crawl »
.После завершения сканирования вы можете нажать « Просмотреть отчет »:
Наш инструмент сканирования обнаружит все страницы вашего веб-сайта и перечислит их в разделе сканирования « Page Found ».
Вы можете определить проблемы « 404, ошибка » в разделе « проблем, обнаруженных » сразу под разделом « страниц найдено »:
Наши сканеры могут выявить другие проблемы, такие как поиск страниц с отсутствующим заголовком, метаописаниями и т. Д. Как только вы найдете все свои страницы, вы можете начать фильтрацию и работать над проблемами.
Заключение
В этой статье мы рассмотрели, как найти все страницы вашего сайта и почему это важно.Мы также исследовали такие концепции, как «сиротские» и «тупиковые» страницы, а также скрытые страницы. Мы различаем каждый из них, как идентифицировать каждый среди ваших URls. Нет лучшего времени, чтобы узнать, теряете ли вы из-за скрытых, сиротских или тупиковых страниц.
Как найти все страницы на сайте
13 мая, 2019 | 14 мин чтения
При запуске веб-сайта специалисты по SEO и владельцы сайтов должны знать обо всех веб-страницах, которые индексируются поисковыми системами.Но одной этой информации недостаточно. Также очень важно знать все невидимые страницы.
Получение списка всех веб-страниц одного веб-сайта позволяет вам получить полный обзор этого веб-сайта и дает вам возможность очистить его для повышения успеха SEO.
В этом сообщении блога мы рассмотрим, почему вам нужно иметь возможность находить все веб-страницы веб-сайта, как именно вы можете это сделать и что делать, если у вас есть список всех ваших веб-страниц. .
Почему мне нужно искать каждую страницу?Поисковые системы постоянно вводят новые алгоритмы и применяют ручные штрафы к страницам и сайтам. Так что, если у вас нет полного представления обо всех страницах вашего сайта — вы на цыпочках пройдете через минное поле SEO.
Чтобы избежать серьезной неудачи, вы должны внимательно следить за всеми страницами, из которых состоит ваш веб-сайт. Это не только позволит вам обнаружить страницы, о которых вы уже знали, но также поможет вам найти забытые страницы, страницы, о существовании которых вы даже не подозревали и которые в противном случае не смогли бы просмотреть.
Существует несколько возможных сценариев, когда вам нужно знать, как найти все веб-страницы сайта, например:
- Изменение архитектуры веб-сайта;
- Поиск и удаление повторяющихся / лишних страниц;
- Переключение сайта на новую структуру постоянных ссылок и 301-перенаправление страниц на новые URL-адреса;
- Проверка допустимости атрибутов hreflang, тегов canonical и noindex;
- Настройка внутренней перелинковки;
- Создание карты сайта XML или robots.txt и многие другие.
Теперь, хотя получить список всех доступных для сканирования веб-страниц не так уж сложно, получение списка потерянных, забытых и осиротевших страниц — это еще одна история, на которой мы сосредоточимся более подробно.
Сиротская страница — это веб-страница без каких-либо внутренних ссылок, ведущих на нее. Другими словами, у таких страниц нет родительской страницы. А без родителей они не получают никакого авторитета и остаются без какого-либо контекста, в результате чего поисковые системы не могут их оценивать.
Например, предположим, что вы меняли дизайн своего веб-сайта и случайно удалили единственную ссылку на страницу, не удаляя саму страницу. Следовательно, у вас будет страница, которая не связана с веб-сайтом, и ее эффективность SEO будет значительно снижена.
Однако мы ищем не только страницы без внутренних ссылок. Мы также отслеживаем другие страницы, например дубликаты, которые могли ускользнуть из вашего внимания каким-либо другим образом.
Распространенные причины покинутых страницДавайте рассмотрим некоторые из наиболее распространенных причин, по которым на вашем сайте могут появиться осиротевшие, потерянные и забытые страницы:
- Специальные целевые страницы для кампании;
- Тестовые страницы, созданные для сплит-тестов;
- Страницы, которые были удалены из структуры внутренних ссылок, но не были удалены;
- Страницы, включенные в предыдущую систему CRM;
- Страницы, созданные в результате неправильного использования CMS;
- Страницы потеряны при переносе сайта;
- Удаленные страницы категорий магазина.
Вдобавок ко всему, если вы не используете http или https , www или не-www , а также косую черту последовательно на каждой опубликованной веб-странице вашего сайта, это может приводят к новым заброшенным страницам.
Чтобы проверить, все ли настроено на вашем сайте так, как должно быть, введите в браузере все различные варианты вашей домашней страницы:
Если каждый вариант перенаправляет на один и тот же URL-адрес, все в порядке.
Но на всякий случай вам следует попробовать ту же тактику на нескольких других страницах того же сайта.Кроме того, убедитесь, что переадресация вашего сайта правильно настроена в файле .htaccess.
Примечание: Если вы заметили проблемы на раннем этапе, вот несколько полезных ссылок, которые помогут вам настроить их в .htaccess:
Напомним, если вы разработали веб-страницу с максимальным цель добиться высокого органического рейтинга — трижды проверьте, правильно ли он связан с вашим сайтом, чтобы он получил авторитет и имел шанс быть обнаруженным.
Использование инструментов для поиска всех страниц веб-сайтаТеперь, когда дело доходит до поиска всех веб-страниц, принадлежащих одному веб-сайту, мы собираемся использовать три инструмента:
- SE Ranking’s Website Аудит для поиска всех доступных для сканирования веб-страниц;
- Google Analytics, чтобы обнаружить все страницы, которые когда-либо посещались;
- Google Search Console для поиска страниц, видимых только для Google.
Затем мы сравним наборы данных из этих инструментов, чтобы найти несоответствия и идентифицировать все страницы вашего сайта, включая те, которые не связаны с ним и, следовательно, не могут быть обнаружены с помощью обычного поиска. .
Поиск сканируемых страниц с помощью аудита веб-сайта SE RankingДавайте начнем со сбора всех URL-адресов, которые люди и сканеры поисковых систем могут посетить, перейдя по внутренним ссылкам вашего сайта. Анализ таких страниц должен быть вашим главным приоритетом, поскольку они привлекают наибольшее внимание.
Для этого нам сначала нужно получить доступ к рейтингу SE, добавить веб-сайт или выбрать существующий, а затем перейти в раздел «Аудит веб-сайта» → «Обзор».
Примечание : 14-дневная бесплатная пробная версия дает вам доступ ко всем доступным инструментам и функциям SE Ranking, включая Аудит веб-сайта .
Затем давайте настроим параметры, чтобы убедиться, что мы указываем поисковому роботу просматривать нужные страницы. Чтобы получить доступ к настройкам аудита веб-сайта, щелкните значок Gear в верхнем правом углу:
В разделе настроек перейдите на вкладку «Источник страниц для аудита веб-сайта» и разрешите системе сканировать страниц сайта. , Поддомены , XML-карта сайта , чтобы убедиться, что мы сканируем только то, что было четко указано, и включаем поддомены сайта вместе со всеми их страницами:
Затем перейдите к Правила для сканирования страниц и включите the Примите во внимание роботов.txt directives параметр, указывающий системе следовать инструкциям, указанным в файле robots.txt. Нажмите «Применить изменения» , когда закончите:
Теперь вернитесь на вкладку Обзор и запустите аудит с новыми настройками, нажав « Перезапустить аудит »:
После завершения аудита завершено, перейдите к Crawled Pages , чтобы просмотреть полный список всех сканируемых страниц:
Но поскольку мы хотим видеть только страницы с 200 кодами состояния, как и те, которые работают правильно, нам нужно добавить такой фильтр :
Теперь пришло время экспортировать результаты:
Последнее, что нам нужно сделать, это удалить все URL-адреса из списка, которые имеют значение «Да» в столбце Meta noindex в Excel.Выберите соответствующий столбец и отсортируйте данные:
Наконец, учитывая тот факт, что нам придется сравнивать наборы данных позже, нам нужно экспортировать результаты в место, где мы можем легко выполнять такие задачи. Итак, скопируйте все оставшиеся URL-адреса — со значением «Нет» под Meta noindex — в электронную таблицу.
(Обратите внимание, что вы также можете использовать Excel, но я предпочитаю Google Таблицы.)
Поиск всех страниц с просмотрами через Google Analytics Поскольку поисковые роботы по своей сути предназначены для просмотра страниц, которые доступны исключительно через внутренние ссылки или карты сайта — они не могут найти потерянные страницы.
По этой причине вам следует отслеживать такие страницы, внимательно изучая данные в своей учетной записи Google Analytics. Есть только одно условие: ваш сайт с самого начала должен быть связан с вашей учетной записью Google Analytics, чтобы он мог собирать данные за кулисами.
Логика здесь проста: если кто-то когда-либо посещал какую-либо страницу вашего веб-сайта, у Google Analytics будут данные, подтверждающие это. А поскольку эти посещения совершаются людьми, мы должны убедиться, что такие страницы служат определенной цели SEO или маркетинга.
Начните с перехода к Поведение → Контент сайта → Все страницы . Теперь мы ищем страницы, которые сложно (почти невозможно) найти при навигации по сайту. В результате у них не так много просмотров страниц. Собственно говоря, почти ничего.
Затем нажмите « просмотров страниц », чтобы стрелка указывала вверх, и отсортируйте URL-адреса страниц от наименьшего к наибольшему количеству просмотров страниц. В конечном итоге наименее посещаемые страницы будут отображаться вверху списка:
Если ваш сайт был открыт в течение некоторого времени, рекомендуется установить временной диапазон на период до того, как вы подключите свой сайт к Google Analytics, но помните проблема выборки данных.
Теперь прокрутите вниз до тех пор, пока не увидите страницы, которые посещались намного чаще, чем страницы-сироты, и на этом вам следует остановиться. Я хочу отметить, что, поскольку мы отсортировали страницы для просмотра от наименьшего к наибольшему количеству просмотров, все потерянные страницы должны быть там.
После этого экспортируйте данные в файл .csv.
Выделение бесхозных страниц Следующим шагом является размещение данных из SE Ranking и Google Analytics рядом друг с другом и их сравнение, чтобы узнать, какие веб-страницы не были просканированы.
Поскольку у нас уже есть данные из рейтинга SE в электронной таблице, скопируйте данные из файла .csv Google Analytics и вставьте их в столбец C, и вот почему.
Данные, которые мы собрали из Google Analytics, не имеют формат URL, поэтому нам нужно это исправить. Для этого начните с вставки URL-адреса домашней страницы в столбец B, как показано ниже:
Затем используйте функцию concatenate (), чтобы объединить значения столбцов B и C в столбце D, перетащив поле D2 вниз. для создания полного списка URL-адресов:
Это захватывающая часть: теперь нам нужно сравнить столбец «Рейтинг SE» со столбцом «URL-адреса GA», чтобы найти те потерянные, забытые страницы.
Очевидно, что приведенный выше пример является лишь примером. На самом деле у вас будет гораздо больше страниц, и выполнение этой задачи вручную займет вечность.
К счастью, для этого есть функция сопоставления, которая проверяет, присутствует ли каждое значение в столбце «URL-адреса Google Analytics» в столбце «Рейтинг SE». Для этого щелкните поле E2, введите функцию и перетащите поле до последнего значения.
Вот что вы должны получить:
Как видите, позиция в диапазоне возвращается в поле, если есть совпадающие значения.Но мы пришли не для этого — мы ищем, не найдено ли совпадение (# N / A), как в случае в поле E12.
Из примера видно, что A12 пуст, поэтому E12 возвращает ошибку. Значит, мы нашли счастливого победителя — страницу-сироту.
Предполагая, что ваш список намного длиннее и не обязательно отсортирован в каком-либо логическом порядке, отсортируйте данные в столбце E, как показано на снимке экрана ниже, чтобы собрать все ошибки:
Наконец, возьмите список всех ошибок, которые являются фактически потерянные страницы и вставьте их в новую электронную таблицу.Теперь вы можете просмотреть каждую страницу и выяснить, как с этим справиться.
Что делать с потерянными страницами Прежде чем делать что-либо еще, вы должны просмотреть каждую потерянную страницу и понять общую картину — ее роль на вашем веб-сайте и в ваших маркетинговых усилиях. Так вы сможете решить, что с ним делать.
У вас есть три пути выхода из этой ситуации:
- Сохраните страницу , добавив к ней внутренние ссылки и найдя для нее подходящее место на своем веб-сайте;
- Не трогайте , если это страница для конкретной кампании, но добавьте тег noindex;
- Удалите страницу , но установите на нее 301 редирект.
Чтобы убедиться, что вы покрыли все свои базы, вы можете запустить процесс заново позже, используя обновленные данные.
Поиск всех других страниц через консоль поиска Google Теперь, когда мы знаем, как находить все страницы вашего сайта, которые когда-либо посещали люди, и управлять ими, давайте посмотрим на страницы, которые не были рассмотрены ранее. шаги — те, которые доступны только Google.
Для этого мы будем использовать данные, предоставленные в вашей учетной записи Google Search Console.
Начните с открытия счета и перейдите на страницу покрытия . Затем не забудьте выбрать « Все известные страницы » вместо « Все отправленные страницы » и разрешите просматривать только страницы « Действительные »:
Таким образом вы получите два списка страниц, которые были успешно проиндексированы поисковым гигантом — проиндексировано, не отправлено в карту сайта и Отправлено и проиндексировано .
Щелкните список, чтобы развернуть его и получить полный список страниц, подпадающих под одну из этих двух категорий:
Не торопитесь, чтобы внимательно изучить все перечисленные в нем страницы, чтобы увидеть, сможете ли вы найти какие-либо страницы, которые мы не собраны на двух предыдущих шагах.Если они есть, убедитесь, что они правильно настроены в рамках вашего сайта.
Теперь давайте выберем « Excluded », чтобы просматривать только те страницы, которые были намеренно не проиндексированы и не отображаются в Google. К сожалению, именно здесь вам придется засучить рукава и проделать много ручной работы:
При прокрутке вниз вы увидите несколько списков исключенных страниц:
Вы можете просматривать страницы с перенаправлениями, страницы исключены по тегу noindex, заблокированные rotobs.txt и так далее.
Просмотр каждого из них предоставит вам неограниченный доступ ко всем страницам вашего сайта. Затем, сравнив данные о потерянных страницах с данными в этих списках, вы получите исчерпывающий обзор всех страниц своего сайта.
Я рекомендую повторять этот процесс один или два раза в год, чтобы найти новые страницы, которые могли уйти от вас.
Заключительные мысли Чтобы бот поисковой системы мог полностью сканировать веб-сайт, он должен переходить по внутренним ссылкам одну за другой.Но если веб-страница никоим образом не связана с сайтом, случайно или намеренно, то ни поисковые системы, ни люди не смогут получить доступ к странице. И это не очень хорошо сказывается на эффективности SEO сайта.
Как владелец сайта или специалист по SEO, ответственный за сайт, просмотр всех страниц конкретного сайта может помочь вам обнаружить ценные страницы, о которых вы, возможно, забыли.
Регулярно проверяя, есть ли информация обо всех веб-страницах вашего сайта, в том числе о бесхозных, вы сможете быть в курсе своих SEO и маркетинговых усилий.
просмотров сообщений: 51 257
Эндрю — контент-маркетолог, писатель, редактор и ведущий веб-семинаров в SE Ranking, а также приглашенный участник в различных маркетинговых СМИ. Он увлечен контентом, маркетингом, социальными сетями и передовыми методами SEO и использует свой опыт, чтобы помочь компаниям более эффективно охватить свою глобальную аудиторию. Когда он не пишет о SEO и маркетинге, он может проводить время со своей кошкой, наслаждается видеоигрой, слишком много смотрит футбол или играет на гитаре (именно в таком порядке).
Индексируемая сеть содержит не менее 2,4 миллиарда страниц (четверг, 10 июня 2021 г.).
Как оценивается размер всемирной паутины (Интернета)?Расчетный минимальный размер проиндексированной Всемирной паутины основан на оценке количества страниц, проиндексированных Google, Bing, Yahoo Search.Из суммы этих оценок вычитается предполагаемое перекрытие между этими поисковыми системами. Перекрытие — это переоценка; следовательно, общий предполагаемый размер проиндексированной Всемирной паутины занижен.Поскольку перекрытие вычитается последовательно, начиная с одной из четырех поисковых систем, возможны несколько порядков (и общих оценок). Мы представляем две общие оценки, одна из которых начинается с Bing. (BG) и один, начинающийся с Google (GB). Цифра, приведенная в верхней части страницы, относится к оценке GB. Размер индекса поисковой машины оценивается на основе метода, который объединяет частотность слов, полученную в большом автономном текстовом наборе (корпусе), и счетчики поиска, возвращаемые машинами. Каждый день во все четыре поисковые системы отправляется 50 слов. Количество веб-страниц, найденных для этих слов, записывается; с их относительными частотами в фоновом корпусе делаются множественные экстраполированные оценки размера индекса двигателя, которые впоследствии усредняются.50 слов были выбраны равномерно по логарифмическим частотным интервалам (см. Закон Ципфа). Фоновый корпус содержит более 1 миллиона веб-страниц из DMOZ и может рассматриваться как репрезентативный образец Всемирной паутины. Когда вы знаете, например, что слово «the» присутствует в 67,61% всех документов в корпусе, вы можете экстраполировать общий размер индекса механизма по количеству документов, которое он сообщает для «the». Если Google сообщает, что обнаружил «the» в 14.100.000.000 веб-страниц, примерный размер общего индекса Google будет 23.633.010.000. Перекрытие между индексами двух поисковых систем оценивается по ежедневным подсчетам перекрытий URL-адресов, возвращаемых в первую десятку движками, которые были возвращены в достаточно большом количестве случайных запросов слов. Слова были случайно взяты из фонового корпуса DMOZ. Здесь вы можете скачать мою статью, содержащую подробную информацию о методе (написанную на голландском языке). Эта работа выполнялась в рамках магистерской диссертации на факультете искусств Тилбургского университета в рамках исследовательской группы ILK. Обновление — 9 февраля 2016 г. — Публикация Springer Примечания В следующие даты подсчет не производился: |
Как найти, кто ссылается на ваш сайт (и что делать дальше)
Вы хотите знать, кто ссылается на ваш сайт или сайт конкурента? Следуйте этому простому руководству.
Обратные ссылки критически важны , если вы хотите ранжироваться в поисковых системах.
Мы изучили почти миллиард веб-страниц, чтобы увидеть, как обратные ссылки с уникальных веб-сайтов соотносят органический трафик.
Как обратные ссылки соотносятся с органическим трафиком
В целом, чем больше обратных ссылок на странице с уникальных веб-сайтов, тем лучше она работает в поисковых системах.
Примечание.
Это исследование корреляции. Это не доказывает причинно-следственную связь. Кроме того, важно не только количество ссылок, но и их качество.В этом руководстве я покажу, как определить, кто ссылается на ваш веб-сайт, на какие страницы они ссылаются и что делать дальше для улучшения вашего SEO.
Поиск ссылок
Здесь я расскажу о двух способах найти, кто ссылается на вас.
Если вы хотите узнать, кто ссылается на веб-сайт, которым не владеет , нажмите здесь, чтобы перейти ко второму способу.
1. Консоль поиска Google
Консоль поиска Google предлагает лучшую отправную точку для или большинства человек, поскольку она бесплатна.
Не зарегистрировались? Сделайте бесплатную учетную запись.
Чтобы узнать, кто ссылается на ваш веб-сайт, перейдите по адресу:
Search Console> выберите свой ресурс> Ссылки> Внешние ссылки> Сайты с самыми популярными ссылками
В этом отчете показаны 1000 самых популярных веб-сайтов, ссылающихся на ваш сайт, а также количество:
- Ссылки на страницы (сколько их страниц ссылается на ваш веб-сайт)
- Целевые страницы (на сколько ваших веб-страниц они ссылаются)
ПРИМЕЧАНИЕ .По умолчанию он отсортирован по страницам со ссылками , но вы также можете отсортировать по целевым страницам .
Щелкните любой веб-сайт в списке, чтобы просмотреть отдельные веб-страницы, на которые они ссылаются, а также их количество раз.
Щелкните любую из этих страниц, чтобы просмотреть страницы, на которые ссылается целевой веб-сайт.
В Search Console есть еще один отчет, который показывает ваши страницы, на которые чаще всего ссылаются .
Search Console> выберите свой ресурс> Ссылки> Внешние ссылки> Страницы, на которые чаще всего ссылаются.
По умолчанию этот отчет отсортирован по Входящие ссылки . Это показывает, на каких страницах больше всего обратных ссылок.
Сортировать по Сайты-ссылки , чтобы увидеть, на какие страницы больше всего ссылок с уникальных веб-сайтов.
Это намного на проницательнее.
Щелкните любую веб-страницу, чтобы увидеть самые популярные сайты, ссылающиеся на указанную страницу, а также количество обратных ссылок с каждого из них.
Щелкните любой сайт со ссылками, чтобы просмотреть все страницы со ссылками.
Вы можете загрузить и сохранить любой из этих отчетов.Просто нажмите значок загрузки.
А теперь поговорим о недостатках использования данных Google Search Console:
- Все отчеты ограничены 1000 верхними страницами. Это делает их бессмысленными, если на вашем сайте более 1000 страниц или если у вас есть ссылки с более чем 1000 уникальных доменов.
- Нет контекста ссылки. Невозможно увидеть анкорный текст конкретной ссылки, окружающий текст, а также узнать, нет ли на нее подписки и т. Д.
- Нет показателей качества . Когда Google говорит «сайты с наибольшим количеством ссылок», они имеют в виду не качество указанных веб-сайтов, а просто количество раз, когда они ссылаются на вас. Невозможно определить, насколько хороши или плохи те или иные сайты со ссылками, полезны они или вредны с точки зрения SEO.
Чтобы заполнить пробелы, нам понадобится другой инструмент.
Примечание.
Bing Webmaster Tools также дает вам некоторую информацию о ссылках на ваш веб-сайт.Зарегистрироваться можно бесплатно.2. Ahrefs Site Explorer
Ahrefs имеет самый большой в мире индекс живых обратных ссылок.
Он обновляется свежими данными каждые 15–30 минут, так как наши роботы без устали сканируют и повторно сканируют всю сеть.
Подключите любой веб-сайт, подпапку или веб-страницу (даже если это не ваш собственный сайт) в Ahrefs Site Explorer, чтобы узнать, сколько на нем обратных ссылок и ссылающихся доменов (ссылок с уникальных веб-сайтов).
Site Explorer> введите веб-сайт, веб-страницу или подпапку> выберите режим> Обзор
Вы можете видеть, что руководство Nerdwallet по бюджетированию содержит 1910 обратных ссылок с 558 ссылающихся доменов, что подводит меня к решающему пункту: re не ограничивается исследованием собственных веб-ресурсов с помощью Site Explorer.
Я не связан с nerdwallet.com , но все же могу видеть данные о ссылках для него.
Чтобы увидеть каждый веб-сайт, ссылающийся на выбранную вами цель, перейдите к отчету ссылающихся доменов .
Site Explorer> Ссылающиеся домены
Этот отчет подобен отчету сайтов с наибольшим количеством ссылок в консоли поиска Google… но на стероидах.
Как и в Search Console, он показывает ссылки на веб-сайты и количество обратных ссылок с каждого из них.Но он также показывает дополнительные показатели SEO, такие как:
Если вы хотите увидеть фактические обратные ссылки с каждого сайта, на который указывает ссылка, нажмите на курсор.
Чтобы увидеть полный список обратных ссылок со всех ссылающихся сайтов, перейдите к отчету Обратные ссылки .
Site Explorer> Обратные ссылки
Для каждой обратной ссылки в этом отчете мы показываем страницу со ссылками, окружающий текст ссылки, целевой URL (т. Е. Страницу, на которую указывает обратная ссылка) и множество других полезных SEO метрики.
По умолчанию отчет группирует похожие обратные ссылки вместе, поэтому вы увидите только уникальные обратные ссылки.
Однако вы можете изменить это так, чтобы отображались все обратные ссылки или только одна ссылка для каждого домена.
Как и в случае с отчетом о ссылающихся доменах, здесь также есть множество проницательных фильтров.
Я расскажу об этом чуть позже. А пока давайте просто скажем, что они полезны для получения дополнительной информации о конкретных обратных ссылках и ссылающихся веб-сайтах.
Что делать дальше
Дело в том, что простое знание того, кто ссылается на ваш сайт, не так уж полезно или проницательно.
Это немного похоже на просмотр чьих-то друзей в Facebook. Вы получите список из сотен или тысяч людей, но это все. Их настоящих друзей невозможно отличить от «друзей», которых они никогда не встречали в реальной жизни. Отсутствует контекст.
Я предполагаю, что вы нашли и прочитали эту статью, потому что:
- Вы слышали, что ссылки важны для SEO.
- Вы хотели знать, сколько ссылок у вас уже есть и от кого они.
- В конечном итоге вам нужно больше ссылок, чтобы повысить эффективность вашего сайта в поисковых системах и привлечь больше трафика.
Если я выйду далеко, закройте эту вкладку и займитесь своими делами до конца дня. Без обид.
В противном случае, давайте рассмотрим несколько действенных способов использования данных ссылок для улучшения вашего SEO и увеличения органического трафика.
1. Построение и развитие отношений с последовательными линкерами
Люди, которые снова и снова ссылаются на ваш сайт, известны как последовательные линкеры .
Это люди, с которыми у вас, вероятно, уже сложились хорошие отношения. Вы можете увидеть, кто они такие, в Google Search Console; просто перейдите к отчету по сайтам с наибольшим количеством ссылок и отсортируйте целевые страницы по убыванию.
Игнорировать сайты социальных сетей (например, linkedin.com , facebook.com ), форумы (например, reddit.com ) и другие сайты, с которых любые ссылки могут быть результатом созданных пользователями содержание.
Уловка здесь состоит в том, чтобы поддерживать и развивать ваши отношения с людьми, стоящими за этими сайтами, потому что они, вероятно, снова будут ссылаться на вас в будущем.
Но вот действенный способ развить эту идею еще дальше:
Найдите серийных линкеров ваших конкурентов, а затем наладьте отношения с этими людьми!
Для этого перейдите в Ahrefs Site Explorer, вставьте конкурирующий домен и перейдите к отчету Ссылающиеся домены .
Site Explorer> введите конкурирующий домен> ссылающиеся домены> добавьте фильтр «dofollow»> отсортируйте по количеству ссылок dofollow для таргетинга (по убыванию)
Ищите ссылки с сайтов, которые вы знаете, или тех, которые кажутся отраслевыми блогами .
Нажмите на курсор, чтобы увидеть обратные ссылки с каждого веб-сайта для дальнейшего изучения.
Нашли сайт, отвечающий вашим требованиям? Найдите его в отчете по ссылающимся доменам для вашего веб-сайта и посмотрите, ссылается ли этот сайт на вас.Если с этого сайта нет ссылок или только одна или две, возможно, стоит установить с ними отношения.
СОВЕТ К ДЕЙСТВИЮ
Люди связываются с людьми, которых они знают и любят. Налаживайте отношения со своими серийными линкерами и со своими конкурентами.
2. Учитесь на вашем контенте, на который чаще всего ссылаются
Создание ссылок работает лучше всего, когда у вас есть контент, на который люди действительно хотят, чтобы ссылался.
Но это не значит, что инфографика всегда привлекает больше ссылок, чем сообщения в блогах, исследования, интерактивные викторины или любой другой контент.В разных нишах предпочтение отдается разным типам контента.
Лучшее место для понимания того, что работает, а что нет в вашей нише, — это поискать общие черты между страницами, на которые чаще всего ссылаются.
Search Console> выберите свойство> Страницы, на которые чаще всего ссылаются> сортировать по сайтам-ссылкам
Sidenote.
Причина сортировки по Сайты со ссылками в отличие от Входящие ссылки заключается в том, что две ссылки с двух уникальных веб-сайтов обычно считаются более ценными для SEO, чем две ссылки из одного домена.Если мы сделаем это для блога Ahrefs, станет ясно, что исследования привлекают много ссылок.
Нам следует провести больше исследований. 😉
Это, безусловно, полезно и проницательно, но разве не было бы здорово, если бы мы могли сделать то же самое и для веб-сайтов конкурентов?
Это невозможно в Google Search Console, но это возможно в Ahrefs Site Explorer.
Site Explorer> введите конкурирующий домен> Best by Links> добавьте фильтр «200 ok»
Если мы запустим этот отчет для nerdwallet.com , мы увидим, что калькуляторы и сообщения со статистикой привлекают больше всего ссылок.
Если мы запустим его для технического блога, такого как 9to5mac.com , мы увидим, что утечки и эксклюзивные отчеты о будущих продуктах Apple — это то, что привлекает ссылки.
СОВЕТ К ДЕЙСТВИЮ
Узнайте, какой контент привлекает ссылки в вашей нише, и используйте его больше.
3. Восстановите ценность уже имеющихся ссылок
Вы когда-нибудь переходили по неработающей ссылке? Выглядит это примерно так.
Неработающие страницы вредны не только для пользовательского опыта. Они также вредны для SEO.
Обратные ссылки эффективно приносят power на ваш сайт, некоторые из которых затем перетекают на другие страницы вашего сайта через внутренние ссылки. Поскольку неработающие страницы технически не существуют, на них нет внутренних ссылок.
Короче говоря, битые страницы могут снизить эффективность вашего сайта в поисковых системах, поэтому лучше их исправить.
В Google Search Console отчет Coverage предупреждает вас о битых страницах.
Search Console> Покрытие> вкладка Ошибки
Ищите ошибки 4XX, подобные приведенной выше. Чтобы узнать, какие страницы затронуты, щелкните ошибку.
К сожалению, этот отчет в Search Console не сообщает вам, есть ли на какой-либо из затронутых страниц обратные ссылки. Чтобы узнать это, вам нужно перейти к отчету по Самым популярным страницам и отфильтровать неработающие страницы.
Search Console> Ссылки> Внешние> Страницы, на которые чаще всего ссылаются> фильтр> Целевая страница содержит> неработающий URL
Однако вы увидите результаты этого «взлома», только если верны две вещи:
- Мертвая страница в 1000 самых популярных страниц вашего сайта.
- На мертвой странице есть как минимум одна обратная ссылка.
Даже в этом случае вам придется делать это вручную для каждой битой страницы. #hassle
Не можете вас беспокоить? Воспользуйтесь нашей бесплатной программой проверки битых ссылок или отчетом Best by Links в Ahrefs Site Explorer.
Site Explorer> введите домен или подпапку> Best by Links> добавьте фильтр «404 not found»
В этом отчете отображаются мертвые страницы вашего сайта с наибольшим количеством ссылок.
Нажмите на курсор и перейдите к отчету Обратные ссылки , чтобы увидеть каждую неработающую обратную ссылку на страницу.
Есть три основных способа исправить такие проблемы:
- Восстановить мертвую страницу.
- Перенаправить мертвую страницу на соответствующую рабочую страницу .
- Попросите линкеров вместо этого ссылаться на рабочую страницу.
Вы также можете оставить страницу как программную 404, при условии, что на ней нет ценных обратных ссылок.
Рекомендуемая литература: Как найти и исправить неработающие ссылки (чтобы вернуть ценный «ссылочный сок»)
СОВЕТ К ДЕЙСТВИЯМ
Найдите и исправьте битые страницы вашего сайта с обратными ссылками.
4. Копирование ссылок конкурентов
Нет двух веб-сайтов или веб-страниц с одинаковыми ссылочными профилями.
У вас есть обратные ссылки, которых нет у ваших конкурентов, но, что более важно, у ваших конкурентов есть некоторые, которых нет у вас. Другими словами, если вам нужно больше обратных ссылок, начните с репликации ссылок ваших конкурентов.
Ссылки возникают по многим причинам, и в этом процессе есть некоторые нюансы.
Итак, давайте пока будем простыми и обсудим два простых способа перехвата ссылок конкурентов, начиная с «исправления» их неработающих ссылок.
Процесс здесь прост: сделайте то же, что описано в тактике №3, но на этот раз для конкурирующего веб-сайта.
Site Explorer> введите конкурирующий домен> Best by Links> добавьте фильтр «404 not found»
Если мы сделаем это для конкурента в блоге Ahrefs, Backlinko , это будет похоже на первую веб-страницу на Список раньше был страницей о предотвращении штрафов Google, но его больше нет.
Нам повезло, что у нас уже есть рабочее руководство по этой теме. #lucky
Таким образом, мы могли обратиться к тем 29 веб-сайтам, которые ссылаются на неработающее руководство Backlinko, и предложить им заменить мертвую ссылку на нашу рабочую.
Если бы у нас еще не было аналогичного контента для этого, мы всегда могли бы его создать.
Рекомендуемая литература: Простое (но полное) руководство по созданию неработающих ссылок
Второй метод репликации ссылок конкурентов еще проще:
Найдите в отчете Backlinks гостевые сообщения конкурентов.
Site Explorer> введите конкурирующий домен> добавьте фильтр «dofollow»> найдите «/ author /» в URL-адресах ссылающихся страниц
Ищите обратные ссылки, в которых ссылающийся URL-адрес выглядит как / author / blogger-name /, например обычно являются профилями авторов.
Напишите гостевой пост на этих сайтах. Скорее всего, они скажут да, поскольку вы уже знаете, что две вещи верны:
- Они принимают гостевые сообщения
- Они уже приняли по крайней мере одно сообщение от компании, подобной вашей
Рекомендуемая литература: 7 действенных способов ограбить обратные ссылки ваших конкурентов
СОВЕТ К ДЕЙСТВИЯМ
Найдите гостевые посты конкурентов и напишите для тех же сайтов.Найдите неработающие страницы конкурентов с обратными ссылками, а затем заявите эти ссылки себе.
5. Покажите свой контент «вероятным ссылкам»
Посмотрите на обратные ссылки, указывающие на любую веб-страницу, и вы часто начнете замечать сходство.
Например, давайте проверим обратные ссылки на наше руководство по поиску ключевых слов.
Site Explorer> введите URL> обратные ссылки
Sidenote.
Убедитесь, что вы используете режим URL в Site Explorer.Просмотрите этот неотфильтрованный отчет всего за тридцать секунд или около того, чтобы заметить, что мы получаем довольно много ссылок из руководств по контент-маркетингу.Если мы ищем обратные ссылки, в которых в URL-адресе ссылающейся (ссылающейся) страницы появляется фраза «контент-маркетинг», то будет получено четырнадцать результатов.
А теперь критический момент:
Есть много других руководств по контент-маркетингу, на которые у нас еще нет ссылок на . Сколько? Давайте посмотрим в Content Explorer.
Content Explorer позволяет искать в базе данных, содержащей более миллиарда веб-страниц, те, которые упоминают какое-либо ключевое слово или фразу.
Давайте выполним поиск веб-страниц на английском языке, в названии которых есть слово «контент-маркетинг».
Есть более 52 000 результатов!
Теперь давайте сузим круг до страниц, где в содержании также упоминается фраза «исследование ключевых слов». Мы также добавим фильтр, чтобы видеть только одну статью для каждого домена.
1,028 результатов.
Если бы мы связались с авторами этих страниц и показали им наш контент, вероятно, они, по крайней мере, были бы заинтересованы в его ознакомлении. Некоторые, скорее всего, даже дадут ссылку на него.
Просто убедитесь, что составили хорошее информационное письмо, если хотите, чтобы ваши усилия окупились.
СОВЕТ К ДЕЙСТВИЮ
Найдите общие черты в уже имеющихся ссылках, найдите похожих потенциальных клиентов (т. Е. «Вероятных линкеров»), а затем покажите им свой контент.
Бонусный совет
Обратные ссылки положительно коррелируют с рейтингом и органического трафика.
Однако, если вы занимаетесь конкурентной темой, вам могут потребоваться сотни или тысячи обратных ссылок с уникальных веб-сайтов, чтобы иметь шанс на ранжирование.
Возьмем, к примеру, тему «Лучшие кредитные карты».
Никто не сможет взломать пятерку лучших без ссылок, по крайней мере, со 100–200 уникальных веб-сайтов.
Примечание.
Имеют значение и количество, и качество, поэтому дело не только в количестве имеющихся у вас ссылающихся доменов. Есть и другие факторы.По этой причине может иметь больше смысла искать менее конкурентоспособные темы и ключевые слова. Другими словами, те, в которых у вас есть шанс на ранжирование, не имея сотен обратных ссылок.
Есть несколько способов найти такие темы.
Вы можете выполнить поиск по ключевым словам в проводнике ключевых слов, а затем отфильтровать ключевые слова с низким показателем сложности ключевых слов.
Обозреватель ключевых слов> введите исходное ключевое слово> выберите отчет> фильтр по KD <10
Это не надежно. Но это хорошая отправная точка.
ПОЧЕМУ ТРУДНО КЛЮЧЕВОЕ СЛОВО?
Сложность ключевого слова (KD) — показатель, который оценивает «сложность» ранжирования ключевого слова по 100-балльной шкале, и рассчитывается исключительно на основе анализа количества обратных ссылок на текущие страницы с самым высоким рейтингом.
Например, если текущие страницы с самым высоким рейтингом по ключевому слову выглядят следующим образом:
Страница № 1: 365 обратных ссылок с уникальных веб-сайтов (ссылающихся доменов)
Страница № 2: 213 обратных ссылок с уникальных веб-сайтов (ссылающихся доменов). )
Страница № 3: 199 обратных ссылок с уникальных веб-сайтов (ссылающихся доменов)
…
Тогда оценка сложности ключевого слова для этого ключевого слова будет выше, чем если бы страницы с самым высоким рейтингом выглядели так:
Страница № 1 : 21 обратная ссылка с уникальных веб-сайтов (ссылающиеся домены)
Страница № 2: 13 обратных ссылок с уникальных веб-сайтов (ссылающиеся домены)
Страница № 3: 2 обратных ссылки с уникальных веб-сайтов (ссылающиеся домены)
…
Итак, чтобы поясните, мы ищем здесь ключевые слова с низким показателем KD, потому что нам, вероятно, понадобится меньше обратных ссылок в других, чтобы ранжироваться по ним.
Вы также можете выполнить поиск в Content Explorer по ключевому слову или фразе, относящейся к теме вашего сайта, а затем отфильтровать страницы с обычным трафиком, но с небольшим количеством ссылающихся доменов.
Content Explorer> введите запрос> отфильтруйте менее 5 RD> отфильтруйте более 500 обычных посещений в месяц
Sidenote.
Эти числа несколько произвольны. Не стесняйтесь корректировать по мере необходимости.В результате получаются страницы, которые получают хороший объем органического трафика при небольшом количестве ссылок.
Другими словами: неконкурентоспособных тем.
Нажмите на курсор «Подробности» и перейдите на вкладку «Обычные ключевые слова», чтобы увидеть ключевые слова, по которым ранжируется каждая страница.
СОВЕТ К ДЕЙСТВИЮ
Находите неконкурентоспособные темы и ключевые слова, а не высококонкурентные термины.
Заключительные мысли
Поиск тех, кто ссылается на ваш сайт, является полезной отправной точкой, но простое знание этого не улучшит SEO.