Битые ссылки найти: Два простых способа найти битые ссылки на сайте

Содержание

Как найти и исправить битые ссылки

Сайт представляет ваш бизнес и поддерживает престиж вашего бренда. Вы, наверняка, вложите очень много времени времени и труда, чтобы сделать ваш сайт модным, быстрым и удобный. Но когда посетитель нажимает на ссылку, а она направляет его на страницы или файлы, которые были удалены или больше не существуют, вы можете не достичь цели, которую вы заслуживаете. Так, это вредно для вашего бизнеса. Даже это может быть причиной потери нескольких клиентов и замедлит темпы привлечения новых клиентов.

Как правило, большинство сайтов содержат неработающие ссылки. Но не волнуйтесь, этого можно избежать. Вы можете подумать, как вообще можно этого избежать, да? Прежде чем перейти к решению, нужно выяснить причину, по которой появляются неработающие ссылки. Есть множество причин и вот некоторые из них:

Владелец сайта изменил пост или псевдоним страницы (наверное, чтобы улучшить SEO).
Веб-сайт реструктурирован: в результате страница получила другой URL.
Сайт переносится на новый домен и владелец забыл и не настроил редирект.
Сайт, на который вы ссылаетесь, мог быть отключен из-за взлома, ошибок брандмауэра, ограниченной пропускной способности или владелец сайта просто не оплатил услуги хостинга.
Владелец сайта удалил страницу или пост
Сайт больше не существует
Опечатка в ссылке

Общая и часто встречающаяся технических ошибка состоит в том, что многие забывают указывать протокол http:// в начале ссылки. Когда вы делаете ошибку, браузер предполагает, что вы пытаетесь привязать ссылку к текущему сайту. Например, если вы неправильно вставили ссылку www.google.ru из этой статьи вместо http://www.google.ru/ , то при клике на данную ссылку будет открыта страница http://www.joomla.ru/www.psdhub.com

Неработающие ссылки вредны для SEO ?

Важным аспектом поисковой оптимизации является необходимость сделать ваш сайт проще для понимания пользователей и роботов поисковых систем. Большинство SEO-специалистов говорят, что исправление битых ссылок, отсутствующих изображений и страниц ошибки 404, позволит улучшить ранжировку двигателя поиска. Но в Google говорят, что 404 ошибки не влияют на рейтинг сайта.

Хотя Google подтвердила, что ошибки 404 не повредит рейтингу веб-сайта, они призывают всех владельцев сайтов, исправлять битые ссылки на своем сайте для повышения удобства пользователей. Поэтому, когда кто-то попадает на ваш сайт и находит что-то неожиданное, это действительно влияет на первое впечатление посетителя в долгосрочной перспективе.

Как найти ошибки 404 и неработающие ссылки ?

Теперь мы знаем причины и как важно исправить ошибки. Существует большое количество программного обеспечения и сервисов, которые могут сканировать ваш сайт и сообщить о сломанной ссылке. Давайте посмотрим на то, как найти битые ссылки с помощью программного обеспечения, доступного в интернете.

Инструменты Google для веб-мастеров (бесплатно)

Инструменты Google для веб-мастеров — это бесплатный веб-сервис Google для вебмастеров, который анализирует сайт с точки зрения поисковой системы Google, а также с точки зрения активности посетителей, и сообщает, что происходит непосредственно на вашем сайте. Он не только обеспечивает важную информацию, которая может помочь вам привлечь больше трафика на правильные страницы на вашем сайте, но и поможет найти 404 ошибки и неработающие ссылки. Вы найдете ошибки 404 и битую информацию на страницах с помощью сканирования.

Чтобы найти ошибки и неработающие ссылки, добавьте свой сайт в инструменты Google для веб-мастеров и подтвердите право собственности на сайт с помощью рекомендуемого или альтернативного метода.

Ниже отображается страница ошибок сайта и ошибки URL для настольных ПК и смартфонов. Ошибки URL по категориям, ошибки сервера, программные ошибки 404, и нормальные ошибки 404 (не найдено) представляются отдельно.

На скриншоте ниже вы можете увидеть пример найденых ошибок 404. Прокрутите немного вниз, чтобы попасть в список и проверить индивидуальные ошибки. Некоторые ошибки будут указывать на страницы, которые вы удалили с вашего сайта, однако другие будут подлинными битыми ссылками, которые должны быть исправлены.

Чтобы вывести сведения о битой ссылке, нажмите на ссылку из списка. Это будет всплывающее модальное окно с полным URL-адресом, датой, когда ошибка была обнаружена в первый раз и последним сканированием.

Если вы хотите узнать о связках с данной ссылкой, нажмите на кнопку “Связана с” рядом со вкладкой “подробности ошибки”, которая поможет вам увидеть, где именно была найдена данная ссылка.

Joomla Редирект Менеджер

Редирект Менеджер — это компонент Joomla, который работает из панели администратора Joomla. Он был введен в Joomla! 1.6 и его основная функция заключается в том, чтобы обеспечить механизм перенаправления URL-адреса веб-страницы, которой больше не существует на веб-страницу, которая работает.

Чтобы попасть в менеджер переадресации, выберите Компоненты → Переадресация из выпадающего меню админки. Вот в этой панели вы найдете список включенных, отключенных, архивных и удаленных страниц 404, а также неработающие ссылки. Здесь вы можете поискать и страницу, которая по вашему предположению может не работать.

( Примечание: убедитесь, что вы включили расширение перенаправления в менеджере плагинов, который по умолчанию отключен, иначе менеджер переадресации Joomla не будет работать)

Link Vallet(бесплатно)

Link Vallet — это сервис проверки ссылок. Когда вы вводите URL-адрес HTML-страницы в Интернете, он будет сканировать весь ваш сайт, и выдавать отчет о битых ссылках в различных цветах. Но Link Vallet — это не простой способ, чтобы увидеть все битые ссылки сразу и с первого взгляда.

Как исправить битые ссылки ?

Когда вы создали или получили список битых ссылок на вашем сайте, вы можете двигаться вперед к их «починке» или создать перенаправления. Теперь вы можете выполнить одно из следующих действий, чтобы исправить ваши сломанные ссылки.

Исправить ссылку с помощью менеджера переадресаций — это самый простой способ, чтобы исправить битые ссылки сайта Joomla. Просто зайдите в менеджер переадресации, нажмите на ссылку из списка. Это откроет страницу переадресации. Здесь вам достаточно ввести адрес страницу, на которую будет происходить переадресация, а также изменить статус переадресации. После этого нажмите Сохранить и закрыть.
Исправить ссылку: если вы неправильно написали ссылку на сайте, единственное, что вам нужно сделать, это изменить URL-адрес и заменить его правильным значением. Например, одной из наиболее распространенных причин является та ситуация, о которой мы говорили в начале, когда автор забыл поставить префикс http:// в начале.

Отключить ссылку: достаточно просто удалить ссылку из статьи или модуля, в котором она встречается.
Отметить как исправленное в Google для веб-мастеров: отметив ссылку как исправленную в инструментах Google для веб-мастеров позволит сообщить поисковику, что неработающие ссылки исправлены.

Вывод :

Вы инвестируете свое время и деньги, чтобы сделать ваш сайт действительно классным.

Но если сайт показывает посетителям несуществующие страницы, вы можете потерять посетителей, а также репутацию. Так что, будьте с ними осторожны.

Битые ссылки: как найти и исправить

Битые ссылки – это обычные, казалось бы, URL, но вот только одна проблема – они ведут в никуда.

Такие линки не только невероятно раздражают посетителей, но и негативно влияют на ранжирование домена. Рассказываем, как без помощи программистов быстро обнаружить на сайте и исправить неработающие URL.

Что считать битой ссылкой

Битыми ссылками можно назвать абсолютно любые линки, при открытии которых появляется 404-ая страница. В свою очередь, сами битые URL можно разделить на внутренние и внешние. Вас, как владельца сайта, должны волновать, в первую очередь, внутренние – это сломанные ссылки, которые ведут на разные страницы вашего сайта. Внешние же ссылки также представляют проблему, но решить ее в чем-то даже проще: достаточно заменить проблемную ссылку на рабочую, сославшись на другой домен.

Предлагаю разобраться в наиболее негативных последствиях большого количества битых URL.

Происхождение битых URL: что проверить в первую очередь

Битые ссылки могут возникать буквально на пустом месте. Все причины их появления можно свести к трем факторам:

Ошибки в адресе ссылки при ручном или автоматическом указании URL. Самый частый подобный сценарий – проблемы со слешем. Многие недооценивают влияние простой черты в конце URL, и это большая ошибка. Обязательно учитывайте ее при указании ссылок и проверяйте, если неожиданно страница оказалась недоступной.
Глобальные изменения на сайте – переход на новое доменное имя, изменения дизайна, установка плагинов. Любые действия, связанные с глобальными или частичными изменениями, способны привести к появлению битых ссылок. Даже если вносимые изменения в работу сайта, на ваш взгляд, не представляют опасности, всегда делайте бекап! Распространенный сценарий появления битых линков – установка SSL-сертификата и некорректный переезд на HTTPS-протокол, соответственно.
Если же на вашем сайте произошли структурные изменения, то обязательно нужно настроить 301-ое перенаправление со старых страниц.
Частичное или массовое удаление уже существующих на сайте страниц. Это еще один частый случай появления битых URL. Особенно часто этим грешат магазины, которые, вместо того, чтобы настроить перенаправление на страницу с отсутствующим в наличии товаром, просто удаляют ее.

В чем опасность битых ссылок

Самая главная опасность битых линков – это пессимизация поведенческих факторов и раздражение аудитории.

Вспомните, что делаете вы сами, когда переходите по ссылке, но, вместо информации вам демонстрируется 404-ая страница. Скорее всего, просто закрываете сайт и начинаете искать другой источник информации. Таким образом, наличие большого количества битых ссылок, как минимум, негативно сказывается на метриках «Время на сайте» и «Отказы».

Следующая опасность – потеря трафика. Кроме этого, у каждой ссылки есть специальная «метрика» (в среде оптимизаторов она называется весом). Если речь идет о битой ссылке, то она тоже оказывается обнуленной. Другими словами, ссылочный вес просто не передается.

Еще одна негативная сторона битых URL – поисковики не любят домены с большим количеством таких ссылок. Такие сайты хуже ранжируется и медленнее индексируются. Почему?

Дело в том, что у каждого краулера (поискового робота) имеется собственный лимит по суммарному количеству запросов, который он может отправить в рамках одного домена (число запросов в секунду, например). Если битых URL очень много, то робот просто расходуют такой лимит на пустые страницы, а по-настоящему полезные страницы с контентом вовсе остаются без его внимания.

Ранжирование Google и «Яндекс»: что это и как работает

Как найти битые URL

Обнаружить битые URL можно при помощи нескольких инструментов. Проще всего это сделать в интерфейсе «Яндекс.Вебмастера» или Google Search Console, а также через расширения для браузеров и плагины CMS. Рассмотрим все варианты подробнее.

«Яндекс.Вебмастер»

Открываем «Яндекс.Вебмастер» и выбираем «Индексирование», далее «Обход по счетчикам»:

Теперь нам необходимо отфильтровать результаты таким образом, чтобы мы увидели только те страницы, которые отдают 404-ый код. Для этого кликаем по иконке с изображением воронки:

Выбираем 404-ый код:

Получаем отчет со всеми удаленными страницами:

Google Search Console

Чтобы увидеть битые ссылки в GSC, открываем раздел «Индекс» и выбираем пункт «Покрытие». Откроется анализ покрытия:

Выбираем пункт «Исключено». Теперь устанавливаем сортировку и выбираем 404-ые страницы.

Для этого действуем в следующей последовательности:

Далее кликаем на «Не найдено (404)» – здесь и будут все удаленные страницы:

Найти страницу, на которой обнаружен URL, вы можете вручную.

Как создать качественную HTML-карту сайта: полезные лайфхаки

Google Analytics

К слову про инструменты Google: в Google Analytics также можно обнаружить все битые ссылки, которые есть на вашем сайте. Но в этом случае необходимо точно знать title вашей 404-ой. Обычно это «Страница не найдена» или вариации этого названия.

Для того чтобы найти битые ссылки при помощи GA, открываем «Контент сайта» и выбираем подраздел «Все страницы»:

Указываем название 404-ой страницы (напомню, что на каждом сайте оно разное, но обычно это «Страница не найдена» или «404»):

В некоторых случаях CMS, работающая на вашем сайте, не будет прописывать title 404-ой автоматически. Так что, если вам не удалось найти точное название, таким способом найти битые ссылки не удастся.

Но и здесь есть лайфхак: можно просто экспортировать все трафиковые страницы за интересующий вас период и проверить их код. Для проверки состояния можно использовать любой сервис, позволяющий получить код ответа сервера нескольких страниц сразу.

Ahrefs

Это удобный инструмент, который не только ищет битые бэклинки (внешние ссылки), но и пытается соотнести их с анкорами.

Все сломанные URL Ahrefs собирает в специальном отчете.

Если же вы пользуетесь интерфейсом на русском языке, то указанный отчет можно найти в разделе «Ссылочный профиль». Далее выбираем «Бэклинки» и пункт «Битые».

Netpeak Spider

Нетпиковский «паук» – мой фаворит. Сервис позволяет найти все сломанные URL на вашем сайте буквально в пару кликов. Что немаловажно, он умеет соотносить битые URL с целевым анкором и соответственно целевой страницей.

Чтобы найти битые линки, указываем доменное имя своего сайта в поисковой строке и ждем, пока сайт будет проверен.

Откроется общий отчет, содержащий ошибки, данные по структуре и общую сводку по домену.

Выбираем отчет «Ошибки», затем раздел «Высокая критичность». В нем и будут все интересующие нас данные по битым ссылкам.

Что должно быть в вашей CRM: ключевые возможности для бизнеса и сотрудников

Выбираем отчет по ошибке:

Для того чтобы узнать, какие именно URL ссылают на битую ссылку, кликаем по интересующему нас URL правой кнопкой мыши и в контекстном меню выбираем «Входящие ссылки»:

Check My Links

Check My Links – удобное расширение для Google Chrome, позволяющее проверить страницу на наличие битых ссылок.

Особенно удобно, если вы работаете сразу с большим количеством ссылок. Расширение подчеркивает работающие ссылки зеленым, а битые – красным.

Коды ответов HTTP и полные URL-адреса неработающих ссылок расширение отправляет в консоль Google Chrome.

Broken Link Checker

Это функциональное расширение найдет все битые ссылки на странице или на всем сайте сразу.

Когда вы редактируете контент с большим количеством ссылок, такое расширение очень удобно. «Проверка неработающих ссылок» сканирует только выбранную страницу или весь сайт целиком.

Отчет по битым линкам будет готов в течение нескольких минут в зависимости от размеров сайта. Отчет создается напрямую, без установки и запуска каких-либо дополнительных файлов.

Broken Link Checker (плагин для WordPress)

Для вашей CMS можно подобрать подходящий плагин для поиска битых ссылок.

Например, для WordPress рекомендую плагин Broken Link Checker. Он постоянно обновляется, есть неплохая база знаний и довольно большое комьюнити.

Broken Link Checker отслеживает внутренние и внешние ссылки на всех страницах, включая посты, комментарии.

Он учитывает битые изображения и перенаправления. Есть уведомления по электронной почте. Также он предотвращает переход поисковых систем по неработающим ссылкам.

Можно искать «битышей» по прямому URL или анкорному. Редактировать ссылки можно прямо со страницы плагина, не обновляя вручную каждый пост.

Как исправить битые ссылки на сайте

После того, как все сломанные ссылки были собраны, пришло время разобраться с ними по-мужски.

Для начала я советую сделать один общий документ с постраничным перечислением всех сломанных линков. В нем нужно сделать три колонки: главная страница, битая ссылка, ссылка замены.

Такой подход значительно облегчит работу по исправлению сломанных линков на работающие и не даст запутаться.

Заменить неработающую ссылку

Замысел простой – нужно заменить неработающую ссылку на актуальную на всех требующих этого страницах.

Для этого мы заходим на проблемную страницу, смотрим ее адрес и меняем путь ссылки на актуальный вариант:

Для этого логинимся в админке сайта (в используемой CMS) и открываем страницу редактирования записи. Затем меняем URL:

Если же страница вообще перестала быть актуальной, просто удаляем ее:

Если общее количество сломанных URL не превышает нескольких десятков, то справится с этой задачей можно и вручную. Если же битых ссылок очень много, то я советую использовать тот же Netpeak Spider или Ahrefs, так как они не показывают анкоры URL и догадаться об изначальном предназначении ссылки становится немного легче.

Указанный способ – самый эффективный, но он потребует значительных временных затрат.

Необязательно исправлять абсолютно все-все битые ссылки, которые есть на сайте. Достаточно обновить только те страницы, которые приносят самый большой трафик.

Для того чтобы узнать какие страницы самые посещаемые, воспользуйтесь тем же Google Analitics.

Перенаправить с проблемной страницы

Что можно сделать еще, если первый вариант решения проблемы не подходит? Например, сделать перенаправление с проблемной страницы на работающую.

Внимание! Не следует слишком увлекаться внутренней переадресацией, в рамках одного домена. В противном случае могут появиться неприятные последствия.

Например, в виде исключения страницы из индекса или понижения позиций домена в SERP.

Вариант c 301-ым перенаправлением может пригодиться в том случае, когда

меняется уровень вложенности веб-страниц;
переименовываются разделы сайта;
вносятся какие-либо иные изменения в его структурный элемент.

Ваш сайт работает на CMS? Тогда ищите готовый плагин, который позволит настроить редирект страницы без изменений .htaccess.

Для сайта на WordPress рекомендую удобный плагин Redirection. В разделе Add new redirection указываем две ссылки и сохраняем. Все! Редирект настроен.

Как сделать редирект: подробный обзор для гуманитариев

Удалить битую ссылку

Да, вот так просто. Удалять можно тогда, когда на вашем сайте отсутствуют достаточно релевантные страницы под замену URL. Собственно, здесь уже ничего не поделаешь и лучше удалить, чем плодить битые ссылки.

Восстановить удаленные страницы

Безусловно, битых ссылок может быть очень много, и восстановление каждой страницы может стать нереальной задачей.

В этом случае поступите следующим образом.

В GA посмотрите трафик всех удаленных страниц за последние полгода. Страницы с самой большой посещаемостью просто восстановите. Если контента для них нет, то создайте его заново.

Дубли сайта: как бороться с повторяющимся контентом

Выводы

Теперь мы точно знаем, что битые URL – это отрицательное явление, способное навредить не только странице, но и всему домену в целом. Их не любят поисковики, они раздражают посетителей. Ухудшение пользовательского опыта – одна из главных проблем битых ссылок.

Решить ее можно, как минимум, при помощи четырех вариантов:

удалить ссылку;
сделать перенаправление;
заменить битый линк на рабочий;
вручную восстановить удаленную страницу.

Таким образом, всегда можно найти наиболее подходящее решение и сделать сайт удобнее для целевых посетителей.

Если вам нужно устранить технические ошибки на сайте, мешающие его продвижению в поисковых системах, – обращайтесь в TexTerra. Мы проанализируем ваш ресурс и подскажем, как можно улучшить его работу.

Часто задаваемые вопросы — Проверка мертвых ссылок

Вот некоторые распространенные вопросы и ответы на них.
Описание возможностей Dead Link Checker можно найти здесь.
Щелкните здесь для получения списка кодов ошибок и их значений.
Если у вас есть вопрос, на который здесь нет ответа, вы можете связаться с нами по адресу:
[email protected]

В: Что такое мертвые/битые ссылки?

Мертвые или неработающие ссылки — это ссылки на веб-странице, которые не ведут пользователя туда, куда предполагал автор. Это может быть связано с тем, что ссылка была неправильно настроена автором сайта, или из-за того, что целевой веб-страницы больше не существует, или из-за какой-либо другой проблемы с доступом к месту назначения (например, сервер не отвечает). Когда щелчок по неработающей ссылке, код ошибки (например, 404 Not Found или 500 Server Error) обычно возвращается сервером или происходит тайм-аут, если сервер не существует или не возвращает никакой информации в течение заданный промежуток времени.

В: Почему мне нужно проверять мой сайт на наличие битых ссылок? Как я могу проверить свой сайт на битые ссылки?

Неработающие ссылки являются источником раздражения для пользователей и снижают рейтинг вашего сайта в результатах поиска. Сайты с более низким рейтингом получают меньше посетителей. Использовать deadlinkchecker.com, чтобы найти неработающие ссылки на вашем сайте, чтобы их можно было исправить, чтобы восстановить рейтинг сайта и привлечь больше веб-трафика.

В: Эта услуга бесплатна?

Интерактивная версия этого сервиса бесплатна. Вы можете ввести URL-адрес веб-сайта, и он будет просканирован на наличие мертвых ссылок. Если вы вошли в систему с действительным адресом электронной почты, вы может запросить отправку отчета по электронной почте после завершения сканирования, и вы можете указать несколько веб-сайтов для сканирования за одну операцию. Если вы делаете небольшой ежемесячный платеж Чтобы подписаться на нашу автоматическую проверку, вы можете настроить ежедневное, еженедельное или ежемесячное расписание для автоматического сканирования ряда сайтов без каких-либо дополнительных действий. Отчеты будут отправлены вам по электронной почте с подробной информацией о любых мертвых ссылках, обнаруженных на ваших веб-страницах.

В: Что такое SEO?

SEO расшифровывается как поисковая оптимизация. Поисковые системы, такие как Google, Bing и т. д., упорядочивают свои результаты по ряду критериев, включая воспринимаемое качество сайт индексируется. SEO предназначено для того, чтобы сайт занимал как можно более высокие позиции в результатах поисковой системы. Удаляя мертвые ссылки со своих веб-страниц, вы можете сигнализировать поисковых систем, что сайт является активно поддерживаемым и надежным источником информации.

В: Что означают разные коды состояния сервера?

Некоторые распространенные коды состояния сервера:

302 — страница перемещена на новое место
403 — запрещено
404 — страница не найдена
500 — внутренняя ошибка сервера

Дополнительная информация можно найти здесь.

В: Как запланировать сканирование сайта?

Предполагая, что вы подписались на службу автоматической проверки и вошли в систему DeadLinkChecker.com, используя свой адрес электронной почты, вы можете настроить сканирование по расписанию, щелкнув пункт меню «автоматическая проверка». При нажатии на кнопку «Добавить новое сканирование» появится небольшое окно, в котором вы можете введите URL-адрес веб-сайта для сканирования, когда должно произойти следующее сканирование, как часто следует сканировать сайт и глубину сканирования. Щелчок кнопка «Сейчас» запланирует запуск сканирования как можно скорее после того, как вы нажмете «Создать».

Когда сканирование запланировано, вы сможете проверить его статус или отредактировать детали сканирования. После запуска сканирования вы будете отправил по электронной почте отчет с подробной информацией о любых найденных мертвых ссылках.

В: Как исправить плохие ссылки?

Чтобы исправить неверную ссылку, необходимо определить, почему ссылка помечена как неверная. Если это ссылка на несуществующую страницу (ошибка 404), то, скорее всего, ссылка была неправильно набран в исходном HTML-коде (в этом случае вам необходимо его отредактировать) или целевая страница была временно или окончательно удалена или переименована. Если пункт назначения больше не существует тогда вам либо нужно сделать ссылку на другую страницу, либо полностью удалить ссылку. В любом случае, если вы хотите изменить ссылку, то вам нужно будет иметь возможность редактировать HTML-код веб-сайта или иметь доступ к кому-то, кто может сделать это за вас.

В: Могу ли я проверить защищенные паролем страницы?

Нет, к сожалению, невозможно использовать средство проверки неработающих ссылок для сканирования страниц, защищенных паролем. Для этого наш сервер должен знать и хранить имя пользователя и пароль. сведения о сканируемом сайте, что может представлять угрозу безопасности.

В: Могу ли я ограничить сканирование подкаталогом моего сайта?

Да — если вы начинаете сканирование со страницы в подкаталоге, то все ссылки, найденные на этой странице, будут проверены на существование, но только страницы в этом подкаталоге (или его потомке) будут проверены. отсканировано для дальнейших ссылок.

Например, начиная с http://www.example.com/news/index.html, будут проверяться ссылки на такие страницы, как http://www.example.com/weather.html, но эта страница не будет сканироваться на наличие больше ссылок, так как он не находится в подкаталоге новостей/. Однако страница http://www.example/com/news/current/story1.html будет просканирована на наличие ссылок, так как она находится в подкаталоге news/.

Обратите внимание, что это функция только автоматической проверки.

В: Что такое файл robots.txt?

В корне большинства веб-сайтов находится файл robots.txt, например http://www.microsoft.com/robots.txt. Этот файл используется, чтобы сообщить любая система, которая сканирует сайт (например, средство проверки ссылок или сканер сайта поисковой системы), какие страницы или папки не следует сканировать или индексировать. Файл robots.txt также можно использовать для указания местоположения карта сайта и уменьшить скорость, с которой автоматические системы запрашивают страницы с сайта (используя директиву ‘crawl-delay’). Обратите внимание, что сканер не обязан следовать инструкциям в файле robots.txt. это просто просьба вести себя определенным образом, но хорошо воспитанные сканеры попытаются подчиниться директивам. Dead Link Checker следует директивам «запретить» и «задержка сканирования», где это возможно. Используемый пользовательский агент от Dead Link Checker — «www.deadlinkchecker.com». Для получения дополнительной информации о robots.txt посетите http://www.robotstxt.org/.

В: Могу ли я исключить из проверки определенные ссылки или подкаталоги?

Этого можно добиться двумя способами. Если вы можете редактировать файл robots.txt на сервере веб-сайта, вы можете добавить директиву, запрещающую проверке ссылок доступ к определенным страницам или ко всем страницам в определенном подкаталоге. Например, чтобы исключить папку shoppingbasket/ (и все ее потомки), добавьте в robots.txt следующее:

Агент пользователя: www.deadlinkchecker.com
 Запретить: /корзина покупок/

В качестве альтернативы, при использовании автоматической проверки в редакторе запланированного сканирования есть «расширенный» раздел, где вы можете указать список строк, которые будут использоваться для предотвращения проверки определенных URL-адресов.

URL-адреса, содержащие любые строк, указанных в этом разделе, не будут проверены на наличие ошибок. В: Не все страницы моего сайта были отсканированы, почему?

Средство проверки мертвых ссылок проверяет ссылки на исходной странице, предоставленной ему, и, если какие-либо из этих ссылок находятся на том же веб-сайте, оно также проверяет связанные страницы на наличие мертвых ссылок и так далее. Глубина этого сканирования ограничена 10 для полного сканирования, поэтому любые ссылки, которые доступны только при прохождении большего количества шагов, не будут проверяться. Кроме того, страницы, на которые нет входящих ссылок, не будут обнаружены. Еще одно соображение заключается в том, что изменение субдомена рассматривается как изменение веб-сайта, поэтому ссылки на страницах этих доменов не проверяются (даже если они указывают на исходный домен). Например, при сканировании сайта http://www.example.com, ссылка на http://test.example.com будет проверена, но содержимое этой страницы не будет дополнительно проверено на наличие ссылок.

Ссылки также могут не сканироваться, если они запрещены в файле robots.txt сайта. Кроме того, Auto Checker будет игнорировать дочерние ссылки на связанных страницах. с использованием атрибута rel=nofollow: сама ссылка будет проверена, но не будет сканироваться на наличие дополнительных ссылок. Страницы, содержащие тег, также не будут проверьте наличие дополнительных ссылок в Auto Checker. Эту обработку ссылок или страниц «nofollow» можно переопределить в расширенном разделе сканирования. всплывающее диалоговое окно настроек с помощью флажка «Переопределить директивы nofollow».

В: Почему средство проверки мертвых ссылок сообщает о ссылках как о плохих, хотя я могу открыть их в своем браузере?

В некоторых случаях средство проверки мертвых ссылок может не получить доступ к странице, доступной из вашего браузера. Наш сервер находится в США, поэтому, если есть проблема с доступом к вашему сайту оттуда, или если ваш сайт обслуживает различный контент в зависимости (например) от географического местоположения отправителя запроса, его пользовательского агента или IP-адреса, тогда вы можете увидеть сообщения об ошибках.

Некоторые сайты допускают доступ к чему-либо, кроме стандартного веб-браузера, и возвращают такие коды ошибок, как как 404 (не найдено) или 403 (запрещено) для DeadLinkChecker.com

Некоторые веб-браузеры автоматически исправляют URL-адреса, которые на самом деле недействительны. Например, URL-адреса не может содержать символ обратной косой черты ‘\’. Chrome и IE, кажется, молча преобразуют его в косую черту «/», но в других браузерах нет. Средство проверки неработающих ссылок будет помечать такие URL-адреса как ошибки.

Иногда страницы временно недоступны, возможно, из-за проблем с загрузкой сервера. Dead Link Checker повторит попытку ссылки после паузы, но если он не может получить доступ к странице, он будет помечен как плохая ссылка, даже если это возможно чтобы перейти на страницу позже.

Сканирование Auto-Checker можно настроить так, чтобы оно игнорировало URL-адреса, которые, как вы знаете, являются действительными — щелкните ссылку «Дополнительно». в нижней части поля редактирования «Сканирование по расписанию». Вы также можете настроить время ожидания DeadLinkChecker до решение о том, что страница не отвечает.

В: Будет ли инструмент работать во внутренней сети?

Средство проверки мертвых ссылок — это онлайн-инструмент, который не будет работать в интрасети, потому что веб-страницы должны быть видны нашему серверу, который является внешним по отношению к вашей интрасети.

В: Будет ли инструмент работать на динамических (ASP/JSP/PHP/Rails) сайтах?

Средство проверки мертвых ссылок будет работать на динамических страницах. Однако он проверяет любой заданный URL-адрес только один раз в сеансе сканирования, поэтому, если содержимое активной страницы изменяется от одного вызова к другому, тогда только ссылки, найденные при первом столкновении. будет обработан.

В: В чем разница между услугами Site Checker, Multi-Site Checker, Auto-Checker и Auto-Checker Premium и Professional?

Site Checker — это бесплатный инструмент, который позволяет сканировать один веб-сайт на наличие мертвых ссылок. Multi-Site Checker также можно использовать бесплатно, но для этого требуется адрес электронной почты. в качестве имени для входа. Затем вы можете сканировать несколько сайтов за один раз, и отчет автоматически отправляется вам по электронной почте в конце сканирования. Auto-Checker — наш начальный уровень абонентское обслуживание. За небольшую ежемесячную плату вы можете автоматически сканировать до пяти сайтов по регулярному расписанию, при этом никаких дополнительных действий на вашем устройстве не требуется. часть. Отчет будет отправлен вам по электронной почте после каждого сканирования, а также доступен в Интернете. Auto-Checker Premium и Professional позволяют проверять большее количество сайтов с большим количеством ссылок. на каждом сайте.

В: Как снизить нагрузку на сервер при его сканировании?

Средство проверки мертвых ссылок оптимизировано для максимально быстрого сканирования веб-сайтов, при этом скорость сканирования автоматически настраивается для уменьшения количества ошибок сервера. Однако некоторые серверы могут испытывать трудности, если страницы запрашиваются слишком быстро или запросы может интерпретироваться как атака типа «отказ в обслуживании». Вы можете снизить скорость запроса страниц, изменив файл robots.txt на своем сервере, включив в него секция:

 Агент пользователя: www.deadlinkchecker.com
 Задержка сканирования: 1

Это ограничит количество запросов страниц примерно до одного в секунду. Сканирование будет значительно замедлено, но нагрузка на сервер будет пропорционально снижена.

В качестве альтернативы при использовании функции автоматической проверки вы можете получить доступ к «расширенным» настройкам в редакторе запланированного сканирования и ввести значение «Интервал», чтобы указать минимальная продолжительность между последовательными запросами страниц на сканируемом веб-сайте. В: Как средство проверки мертвых ссылок идентифицирует себя при сканировании веб-сайта?

Средство проверки мертвых ссылок использует строку пользовательского агента, начинающуюся с «www. deadlinkchecker.com», при запросе веб-страниц.
IP-адрес сервера — 74.208.42.172 (до марта 2021 года — 82.165.25.77)

. Вопрос. Как я могу проверить текущую автоматическую проверку?

При использовании автоматической проверки вы можете посетить страницу автоматической проверки и просмотреть список созданных вами расписаний проверки. Детали все выполняемые проверки перечислены ниже этого раздела — вы можете увидеть статистику проверки, URL-адрес недавно проверенной ссылки и кнопки которые позволяют прервать сканирование или запросить промежуточный отчет об ошибке.

В: Могу ли я уменьшить количество получаемых писем?

При использовании автоматической проверки вы можете отредактировать «расширенные» настройки сканирования и установить флажок «подавлять электронную почту, если нет ошибок» — это остановить проверку мертвых ссылок от отправки вам электронных писем, если запланированное сканирование не обнаружило ошибок.

В: Могу ли я изменить адрес электронной почты, на который отправляются отчеты?

Из соображений безопасности средство проверки мертвых ссылок отправляет отчеты по электронной почте только зарегистрированному владельцу учетной записи. Вы можете изменить адрес электронной почты адрес вашей учетной записи, когда вы вошли в систему, щелкнув значок настроек в правом верхнем углу. В качестве альтернативы следует можно настроить программное обеспечение электронной почты для пересылки сообщения электронной почты с отчетом третьей стороне в зависимости от отправителя и/или строки темы.

В: Повлияет ли сканирование Dead Link Checker на результаты Google Analytics?

Вы можете настроить Google Analytics для фильтрации всех запросов с IP-адреса средства проверки неработающих ссылок (см. «Как идентифицирует себя средство проверки неработающих ссылок?»). Для инструкции по настройке Google Analytics смотрите здесь.

Вопрос. Считаются ли страницы с разными строками запроса разными страницами?

Веб-страницы, созданные сервером, могут изменять свое содержимое в зависимости от переданных им параметров, поэтому средство проверки неработающих ссылок рассматривает страницы с разными строками запроса как отдельные страницы, которые проверяются отдельно.

В: Могу ли я импортировать результаты сканирования в электронные таблицы, такие как Excel?

Отчеты, сгенерированные подписной службой Auto-Check, также можно загрузить в виде файла CSV, который можно сохранить на свой компьютер и импортировать. в Excel и т. д. для дальнейшего анализа. Ссылка для загрузки показана в нижней части онлайн-отчета.

Q: Что такое петля перенаправления?

Когда запрашивается URL-адрес, сервер может ответить кодом состояния перенаправления (301 или 302), указывающим новое местоположение, которое должно быть запрошенный для ресурса. Если это новое местоположение совпадает с исходным запросом или если оно, в свою очередь, перенаправляет на исходный URL-адрес, то возникает петля перенаправления. существует — запросы будут циклироваться бесконечно, никогда не возвращая запрошенную информацию. Dead Link Checker сообщает об этой ситуации как цикл перенаправления. Большинство браузеров выдают аналогичное сообщение об ошибке после выполнения ряда перенаправлений.

Примечание: Некоторые веб-сайты или серверы ведут себя иначе, если файлы cookie отключены. Средство проверки мертвых ссылок Проверка сайта и множественная проверка не распространяют файлы cookie при сканировании сайта, если средство проверки мертвых ссылок сообщает о петле перенаправления, но кажется, что ссылка работает правильно в браузере, возможно, посещение ссылки с отключенными файлами cookie вызовет ошибку. Автоматическая проверка распространяется куки только для внешних ссылок. Вы можете узнать, как отключить или включить файлы cookie на сайте www.whatarecookies.com/enable.asp

Вопрос. Как оптимизировать сканирование Auto-Checker?

Перед запуском сканирования Auto-Checker необходимо выполнить несколько шагов. Выполнение этих шагов поможет оптимизировать использование вашей квоты ссылок, минимизируйте нагрузку на сервер и убедитесь, что вы видите результаты сканирования как можно быстрее.

• Убедитесь, что электронные письма с адреса report_generator@deadlinkchecker. com не будут отклонены вашей почтовой программой. Ваши отчеты о сканировании обычно содержат много ссылок, и иногда это может привести к срабатыванию детекторов спама, которые затем отклонят электронное письмо. Иногда это приводит к тому, что они отправляются в папку со спамом, но если электронные письма возвращаются нам, это также может помешать отправке последующих электронных писем на вашу учетную запись.

• Используйте функцию «игнорировать» в настройках сканирования, чтобы запретить сканеру проверять ненужные URL-адреса на вашем сайте. Поле «игнорировать» позволяет ввести список текстовых фрагментов, и сканер будет игнорировать URL-адреса, содержащие любой из них. Например, если есть ссылку на каждой из страниц вашего сайта, чтобы добавить товар в корзину, то вам обычно не нужно проверять эти ссылки, поэтому вы можете отфильтровать их добавив /cart/ или /checkout/ или что-то подобное в список игнорирования — в зависимости от того, как устроен ваш сайт. Точно так же вы можете захотеть игнорировать URL-адреса, содержащие, например, /login или /search — проверьте свой веб-сайт на наличие таких URL-адресов перед началом сканирования.

• Убедитесь, что ваш сервер не интерпретирует сканирование как атаку, которая может привести к тому, что серверу проверки ссылок будет отказано в доступе к вашему сайту. Если в этом случае вы обычно увидите большое количество непредвиденных ошибок, обычно (но не всегда) 403 Forbidden, 503 Service Unreachable или 400 Bad Request. Если возможно, внесите в белый список IP-адрес нашего сервера (74.208.42.172), чтобы сканирование всегда было разрешено.

• На сайтах-каталогах или сайтах, содержащих большие списки элементов, часто есть опции для просмотра элементов страница за страницей с различными фильтрами. ограничивать или сортировать показанные элементы, например, по цвету или по производителю, или по тому и другому. Если эти параметры фильтра добавляются к URL-адресу с помощью ‘?’ параметры тогда средство проверки ссылок будет рассматривать каждую уникальную комбинацию терминов фильтра как новый URL-адрес. Это может привести к потенциально огромному количеству различных комбинаций, даже если существует вполне управляемое количество просматриваемых элементов каталога. Например, сайт со списком автомобилей. могут иметь варианты выбора по производителю, стилю, цвету, возрасту и цене с использованием URL-адреса, такого как

 findmeacar.com/list?manufacturer=ford-bmw-mercedes&style=coupe&color=red-green-black&age=3&price=10000-20000

Если есть 10 разных производителей на выбор, 9 стилей, 15 цветов, 8 возрастных групп и 5 ценовых диапазонов, и если можно выбрать любой или все эти варианты, то это приведет к более чем 140 триллионам различных комбинаций! Это явно растратит всю вашу квоту на ссылки, не дав ничего полезного. Даже если в каждой категории можно сделать только один выбор (или ни одного), это приведет к более чем 95000 комбинаций.

В таких случаях лучший вариант чтобы добавить все фильтры в список игнорирования:

 производитель= 
 стиль= 
 цвет= 
 возраст= 
 цена=

Тогда сканер не пропадет ресурсы, сканирующие различные комбинации одних и тех же элементов, но, надеюсь, все же смогут найти все элементы каталога по отдельности, просматривая список постранично.

• В общем, рекомендуется следить за новым сканированием по мере его выполнения — следить за URL-адресами, которые проверяются на убедитесь, что нет пропущенных параметров фильтра и что все URL-адреса кажутся разумными. Если вам нужно отказаться от сканирования, вы можете нажать кнопку кнопку «Завершить сканирование», измените настройки «игнорировать» и перезапустите сканирование, чтобы повторить попытку.

МУЛЬТИПРОВЕРКА

Multi Check позволяет запускать средство проверки мертвых ссылок на нескольких веб-сайтах за один раз.

Затем отчет автоматически отправляется вам по электронной почте.

АВТОПРОВЕРКА

Наша самая популярная услуга — Auto Check, которая запускает проверку неработающих ссылок на вашем веб-сайте (-ах) на регулярно и автоматически отправляет вам отчеты по электронной почте.

Планы подписки — средство проверки мертвых ссылок

Гость Войти Создать аккаунт

	^* Устройство автоматической проверки — стандартное	^* Автоматическая проверка — Премиум	^* Auto Checker — Professional
	Предпочтительная валюта:	$USD €EUR фунтов стерлингов

Проверить сайт
Проверить список сайтов, отчет по электронной почте
Автоматическая регулярная проверка сайтов, отчетов по электронной почте
Max number of websites	1-5	100	200
Max links/month	50,000	500,000	1,000,000
Monthly payment	$9. 95/month	$39.95/month	$79.90/month
Annual payment	$110/год — ЭКОНОМИЯ 7,5%	$440/год — ЭКОНОМИЯ 8%	$880/год — ЭКОНОМИЯ 8%
^* Чтобы получить доступ к многосайтовой проверке или автоматической проверке, сначала войдите в систему или создайте бесплатную учетную запись.

Наша самая популярная услуга — Auto Checker. Есть три отличных варианта, которые автоматически сообщают вам о любых неработающих ссылках на выбранных вами веб-сайтах. чтобы вы могли расслабиться и отдохнуть, пока мы делаем тяжелую работу за вас.

Отличное предложение — менее 10 долларов в месяц.
Меньше хлопот — особенно если вам нужно регулярно отслеживать несколько веб-сайтов.
Выбор частоты сканирования — ежедневно, еженедельно или ежемесячно.

Доступны три месячных подписки:

Standard — проверяйте до 5 веб-сайтов в месяц и до 50 000 ссылок за 9,95 долларов США в месяц или разовый платеж в размере 110 долларов США в год.
Премиум — проверяйте до 100 веб-сайтов в месяц и до 500 000 ссылок за 39,95 долларов США в месяц или разовый платеж в размере 440 долларов США в год.
Professional — проверяйте до 200 веб-сайтов в месяц и до 1 000 000 ссылок за 79,90 долларов США в месяц или разовый платеж в размере 880 долларов США в год.

Подпишитесь на подписку сегодня и избавьтесь от хлопот по проверке неработающих ссылок.

Обратите внимание: Подписка предоставляет доступ к разделу Auto Check средства проверки неработающих ссылок, где вы можете настроить автоматическое сканирование по расписанию. Auto Check будет сканировать веб-сайты с тысячами ссылок, как описано выше.