Мета тег роботс: Мета-тег robots. Правильная индексация сайта

  Указания поисковому роботу

При проведении SEO-оптимизации страниц сайта, иногда нужно изменить поведение поискового робота на конкретной странице. Например, запретить ему индексировать её содержание. Или же индексацию разрешить, но не позволять ему переходить по ссылкам. Сделать это можно при помощи специального мета-тега meta name robots.

«Способ применения» данного тега несколько отличается от использования файла Robots.txt — в данном файле можно дать указания поисковому роботу сразу для всего сайта, используя специальные регулярные выражения.

Но если вы хотите скрыть от поисковиков определённую страницу и не прописывать её в Robots.txt (чтобы вообще никто о ней не знал), то лучше прописать на самой странице данный мета-тег.

Что такое мета-тег Robots и как его использовать?

Это один из многочисленных тегов, используемых для сообщения роботам и/или браузерам т.н. метаданных (т.е. информации об информации). Среди самых известных и часто используемых:

Что прописывать в тег robots?

Выглядит он так:

Вместо многоточия может быть 7 основных вариантов. Каждый вариант — это комбинации специальных указаний index/noindex и follow/nofollow, а также archive/noarchive:

1. index, follow. Это сообщает поисковикам о том, что нужно произвести индексацию данной страницы (index), а также следовать (follow) по ссылкам, которые есть на странице.
2. all. Аналогично предыдущему пункту.
3. noindex,follow или просто noindex. Запрещает индексировать данную страницу, но разрешает роботу переходить по ссылкам, расположенным на ней.
4. index,nofollow или просто nofollow. Запрещает переходить по ссылкам, но разрешает индексировать страницу — т.е. содержимое страницы будет отправлено в поисковый индекс, но другие страницы, на которые стоят ссылки, в индекс не попадут (при условии, что робот иными способами до них не доберётся).
5. noindex, nofollow. Указание не индексировать документ и не переходить по ссылкам, содержащимся в нём.
6. none. Аналогично предыдущему пункту.
7. noarchive. Данное указание запрещает показывать ссылку на сохранённую копию страницы в результатах выдачи:

     Ссылка на сохранённую копию страницы в Яндексе

Если мета-тег Robots не указан, то принимается значение по умолчанию: 

То же самое происходит, если на странице указано несколько этих тегов.

Все вышеперечисленные варианты понимаются большинством поисковых систем и, в частности, Яндексом. Google тоже хорошо распознаёт эти комбинации, но также вводит кое что ещё:

• Вместо name=robots можно указать name=googlebot — «обращение» конкретно к роботу Google.
• content=nosnippet (запрещает показывать сниппеты в поисковой выдаче) и content=noodp (запрещает брать содержимое сниппетов из описания сайта в каталоге DMOZ).
• content=noimageindex. При поиске по картинкам запрещает отображение ссылки на источник картинки.
• content=unavailable_after:[date]. В качестве date следует указать дату и время, после которой Гугл перестанет индексировать эту страницу. Едва ли это когда-нибудь пригодится

В общем, Google несколько расширяет содержимое мета-тега Robots.

Куда прописывать meta name robots?

Традиционно, все  мета-теги прописываются между «head» и «/head» в HTML-коде страницы.

В WordPress они легко выставляются при помощи популярного плагина All in One Seo Pack:

  Мета Robots в All in One Seo Pack

Таким образом, если вам необходимо «спрятать» определённую страницу от поисковых роботов — используйте данный мета-тег.

Директивы Meta Robots и как их использовать

Meta Robots — это метатег, который позволяет настроить инструкции по индексации сайта. Его плюсы заключаются в надёжности и простоте установки. Но многие вебмастера и SEO-специалисты зачастую ограничиваются лишь директивами noindex и nofollow, указывающими на запрет индексации страниц сайта и содержащихся на них ссылок.

Я решил подробнее ознакомиться с возможностями Meta Robots, а потому в рамках данной статьи разберу и другие способы использования Meta Robots, которые вы сможете применить для SEO-продвижения вашего сайта.

Директивы Meta Robots и какие поисковые системы их учитывают

Всего существует чуть больше десятка основных директив Meta Robots, которые можно комбинировать между собой:

• noindex — запрещает индексирование страницы.
• nofollow — запрещает роботу переходить по ссылкам с этой страницы.
• none — аналогичен комбинации noindex, nofollow.
• all — нет ограничений на индексирование и показ контента. Директива используется по умолчанию и не влияет на работу поисковых роботов, если нет других указаний.
• noimageindex — не индексировать изображения на этой странице.
• noarchive — запрещает показывать ссылку «Сохраненная копия» для определенной страницы.
• nocache — указывает на необходимость отправить запрос на сервер для валидации ресурса перед использованием кэшированных данных.
• nosnippet — запрещает показывать видео или фрагмент текста в результатах поиска.
• notranslate — запрещает предлагать перевод этой страницы в результатах поиска.
• unavailable_after: [RFC-850 date/time] — указывает точную дату и время, когда нужно прекратить сканирование и индексирование этой страницы.
• noodp — не использовать метаданные из проекта Open Directory для заголовков или фрагментов этой страницы.
• noydir — не брать название сайта и его описание из Yahoo! Directory (каталога Yahoo!).
• noyaca — не использовать описание из Яндекс.Каталога для сниппета в результатах поиска.

Некоторые из директив по-разному воспринимаются роботами тех или иных поисковых систем. В таблице ниже собрана информация о том, как боты систем Google, Yahoo, Bing и Яндекс работают с директивами Meta Robots.

* Поисковая система не имеет официальной документации, которая бы подтверждала поддержку этой директивы. Но предполагается, что поддержка исключающего значения (например, nofollow) подразумевает поддержку положительного (например, follow).

** Теги noodp и noydir перестали поддерживаться, и, вероятно, не работают.

Директивы Meta Robots, которые стоит использовать в SEO

Как мы видим из предыдущей таблицы, не все атрибуты метатега Robots поддерживаются поисковой системой Google, под которую оптимизируют сайты большинство разработчиков и SEO-специалистов. Поэтому рассмотрим те атрибуты метатега Robots, которые поддерживаются Google:

1. nosnippet,
2. noimageindex,
3. noarchive,
4. unavailable_after.

Все они прописываются в блоке <head> страницы, к которой вы хотите применить те или иные инструкции по индексации.

Nosnippet

Эта директива может понадобиться, если, например, вы хотите предотвратить попадание контента вашего сайта в блоки с готовыми ответами Google (Featured Snippet). Несмотря на то, что фрагмент контента в Featured Snippet, как правило, позволяет повысить конверсию, всё же он может отвлекать внимание от самого сайта. То есть, у пользователей, получивших ответ на свой вопрос, пропадает надобность кликать по ссылке.

Для решения проблемы вам следует использовать инструкцию следующего вида:

<meta name="robots" content="nosnippet">

Также важно учитывать, что атрибут nosnippet отключает и отображение расширенных сниппетов в результатах поиска.

К тому же, исследование HubSpot показало, что сниппеты с расширенной информацией получают в два раза больше кликов. Соответственно, отключение сниппета может стать причиной снижения CTR вашего сайта или отдельных его страниц.

Noimageindex

Директива noimageindex позволит скрыть графический контент на вашем сайте из результатов поиска по картинкам. Это может быть полезно, если вы, к примеру, хотите разместить на своём блоге уникальные изображения и при этом минимизировать риск воровства.

Чтобы запретить поисковым системам индексировать изображения, задайте в блоке <head> html-документа следующую директиву:

<meta name = "robots" content = "noimageindex">

Действие необходимо повторить с каждой страницей, которая содержит изображения, которые вы хотите скрыть от поисковиков. Учитывайте, что если другие сайты уже ссылались на ваши изображения, поисковики могут продолжать индексировать их.

Запрещая индексацию изображений, не забывайте о том, что поиск по картинкам может приносить хороший дополнительный трафик вашему сайту.

Noarchive

Директива может пригодиться тем, кто работает с интернет-магазинами. К примеру, на вашем сайте есть страницы с товарами и указанной на них стоимостью. Так как цены с определённой периодичностью меняются, кэшированные страницы товаров могут быстро терять свою актуальность. Для предотвращения кэширования поместите в <head> страницы такую строку:

<meta name="robots" content="noarchive">

Вопреки распространённому мнению, директива noarchive никак не влияет на ранжирование — эту информацию подтвердил в своем Твиттере ведущий аналитик компании Google, специалист отдела качества поиска по работе с вебмастерами Джон Мюллер (John Mueller).

Unavailable_after

Директива unavailable_after наиболее актуальна для страниц с акционными предложениями. Так как по истечению времени действия акции они теряют свою актуальность, вы можете указать поисковикам дату крайнего срока индексации контента. Дату и время нужно указывать в формате RFC 850.

К примеру, если вам нужно исключить возможность индексации страницы после 25 марта 2019 года, используйте метатег следующего вида:

<meta name="googlebot" content="unavailable_after: 25-Mar-2019 00:00:00 EST">

Отдельно отметим, что для правильного функционирования тега необходимо, чтобы он был прописан до первого обхода роботом. В таком случае запрос на удаление из поисковой выдачи займёт примерно сутки после указанной даты.

Проверка правильности Meta Robots и его содержимого в Netpeak Spider

Перед проверкой атрибутов Meta Robots важно узнать, какие страницы индексируются на сайте, иначе не будет смысла внедрять вышеописанные атрибуты.

Программа доступна для операционных систем Microsoft Windows и Mac OS, поддержка платформы Linux в данный момент не доступна, но находится в разработке. Вы можете пользоваться бесплатной версией в течение 14 дней без каких либо ограничений.

Воспользуйтесь промокодом c6c39672 при оформлении заказа и получите специальную скидку 10% на покупку Netpeak Spider и Netpeak Checker!

С помощью Netpeak Spider вы можете найти запрещённые к индексации страницы. На таких страницах программа делает особый акцент, отмечая ошибками:

• Заблокировано в Meta Robots. Показывает страницы, запрещённые к индексации с помощью инструкции <meta name="robots" content="noindex"> в блоке <head>.
• Nofollow в Meta Robots. Показывает страницы, содержащие инструкции <meta name="robots" content="nofollow"> в блоке <head>.

Для проверки сайта откройте программу и перейдите на вкладку «Параметры» на боковой панели. Найдите раздел «Индексация» и проверьте, отмечен ли галочкой пункт «Meta Robots». Если пункт не будет отмечен, программа не проанализирует метатег, и вы в финальном отчёте не увидите данных о нём.

Для сканирования всего сайта введите его начальный URL в адресную строку и нажмите кнопку «Старт». Если вам необходимо просканировать список страниц, зайдите в меню «Список URL» и выберите удобный вам способ добавления URL (ввести вручную, загрузить из файла или Sitemap, вставить из буфера обмена), после чего запустите сканирование.

По завершению сканирования получить информацию о Meta Robots вы можете несколькими путями:

1. В основной таблице на вкладке «Все результаты». В столбце Meta Robots просмотрите директивы, которые содержатся в соответствующем теге каждой из просканированных страниц.

2. На вкладке «Ошибки» боковой панели. Найдите ошибки, связанные с Meta Robots, и кликните по их названию. В таблице отфильтрованных результатов вы увидите полный список страниц, на которых были найдены эти ошибки.

3. На вкладке «Дашборд». Вы можете просмотреть данные в виде диаграмм об индексируемых страницах на сайте, а также узнать причины их неиндексируемости. Кликните на интересующую вас область, чтобы получить список страниц, соответствующих тому или иному значению.

4. На вкладке «Сводка» на боковой панели. Здесь вы можете ознакомиться как закрытыми от индексации страницами, так и посмотреть, какие ещё значения помимо noindex, nofollow заданы в метатеге Robots. Найдите пункт «Meta Robots» со списком всех имеющихся на сайте директив. Кликните на любую из них, чтобы ознакомиться со страницами, на которых они были найдены.

При необходимости вы можете воспользоваться функцией «Экспорт», чтобы выгрузить отфильтрованные результаты в отдельный файл формата .xlsx на свой компьютер. Нажмите на кнопку «Экспорт» в левом верхнем углу над результатами сканирования или выберите в соответствующем меню команду «Результаты в текущей таблице».

Коротко о главном

Meta Robots — удобный инструмент, который позволяет управлять инструкциями по индексации сайта и его отдельных страниц. Однако зачастую его использование ограничивается атрибутами запрета индексации — noindex, nofollow.

На деле же он может использоваться как минимум с 4 директивами, которые полноценно воспринимаются поисковыми роботами Google и помогают решить разного рода SEO-задачи. В их числе — nosnippet, noimageindex, noarchive и unavailable_after.

Проверить директивы метатега Robots всего сайта или списка определённых URL удобнее всего с помощью Netpeak Spider. Программа покажет все возможные ошибки, связанные с метатегами, и предоставит данные об атрибутах в максимально наглядном виде.

Краулер программы выполняет глубокий анализ сайта в автоматическом режиме, получает полную его структуру и находит ошибки технической оптимизации. Умеет находить битые ссылки и редиректы, обнаруживать дублирование страниц, Title, Description, заголовков h2 и т.д — проверяет более 50 ключевых параметров. Настоятельно рекомендую!

Метатег robots (meta name robots) – что это такое

Метатег robots – это код гипертекстовой разметки, позволяющий контролировать индексирование и показ страниц сайта в результатах поиска. Код можно писать на любой странице сетевого ресурса в специально отведенном для него месте. Роботы поисковых систем в процессе индексирования будут читать значение этого метатега и учитывать его в дальнейшей работе над сетевым ресурсом. Временное или постоянное внедрение этого кода может понадобиться в разных ситуациях. Например, он позволяет скрыть от поисковых роботов определенные ссылки или контент, который не должен попасть в выдачу поисковых систем. Этим тегом пользуются при оптимизации сайта, поисковом продвижении, наполнении ресурса уникальными статьями.

Использование

Код вписывают в заголовок каждой страницы, которую посещает робот. HTML-код выглядит следующим образом:

<html>

<head>

</head>

</html>

Все, что пользователь впишет между тегами <head> и </head> будет находиться в заголовке гипертекстовой разметки страницы.

Обсуждаемый код выглядит так:

<meta name=»robots» content=» » />

Между кавычками нужно указать команду, которую вы хотите отдать поисковому роботу.

Список стандартных значений метатега

Index и noindex. Разрешает или запрещает поисковику индексировать содержимое страницы соответственно. Полезно использовать при продвижении сайта и работе над ним в целом.

Follow и nofollow. Первое значение разрешает роботу переходить по ссылкам в пределах страницы, а второе запрещает. Также используется при SEO-оптимизации сетевых ресурсов.

Nosnippet. Директива запрещает роботу выводить в поисковой выдаче содержимое сниппета – краткое описание страницы.

Noarchive. Код запрещает роботу выводить в результатах поиска ссылку на сохраненную в кеше копию страницы.

All/none. Значение тега разрешает или запрещает индексацию всей страницы.

Noimageindex. Команда запрещает роботу индексировать опубликованные на странице фото.

Существуют и другие специальные указания, запрещающие или разрешающие поисковым роботам совершать определенные действия при индексировании содержимого страницы. Если тег отсутствует, то робот автоматически индексирует весь контент и все ссылки на странице. Если написано несколько тегов, значения которых противоречат друг другу, то поисковая система примет разрешающую директиву.

Значения метатега можно комбинировать, записывая команды через запятую. Записывать параметры можно без учета регистра. Если в атрибуте тега name стоит значение robots, то все поисковые системы будут учитывать его значение в процессе индексации. При желании можно дать команду конкретной поисковой системе, указав в атрибуте название робота. Например, значение Googlebot позволит запретить или разрешить определенные действия только поисковой системе Google.

Пример метатега:

<meta name=»googlebot» content=» » />

Если пользователь знает названия всех роботов, используемых поисковыми системами, то сможет давать команды каждому из них. Например, чтобы страница появилась в основном поиске Google, но не в новостях этого поисковика, нужно написать следующее:

<meta name=»googlebot-news» content=»noindex» />

Для передачи нескольких команд одной или нескольким поисковым системам или отдельным роботам можно писать несколько метатегов с разными или одинаковыми значениями. Если пользователь запутается и напишет команды, противоречащие друг другу, то робот выберет более строгую из них.

Причины использования метатега robots

Разработчики и пользователи сетевых ресурсов знают, что существует файл robots.txt, который помогает при СЕО-оптимизации, позволяя разрешать или запрещать роботам совершать определенные действия. Метатег robots дает возможность:

• закрывать содержимое страницы, оставляя ссылки доступными для индексирования;
• давать команды поисковым роботам при недоступности корневой директории сайта;
• открыть доступ роботу к просмотру содержимого некоторых страниц при закрытии от индексации каталогов.

Тег robots применяют совместно с файлом robots.txt для более тонкой настройки параметров индексации.

Веб-страницы роботов

О теге Robots

В двух словах

Вы можете использовать специальный HTML-тег, чтобы запретить роботам индексировать содержание страницы, и / или не сканировать его на наличие ссылок для подражания.

Например:

 
<Голова>
<Название> ... 
   

 

При использовании тега роботов необходимо учитывать два важных момента:

• роботы могут игнорировать тэг.Особенно вредоносные роботы, которые сканируют Интернет для уязвимостей безопасности и сборщики адресов электронной почты, используемые спамерами не будет обращать внимания.
• директива NOFOLLOW применяется только к ссылкам на этой странице. Это вполне вероятно, что робот может найти те же ссылки на некоторых других страница без NOFOLLOW (возможно, на каком-то другом сайте), и так до сих пор приходит на вашу нежелательную страницу.

Не путайте это НОСЛЕВО с атрибут ссылки rel = «nofollow».

Подробности

Как / роботы.TXT, роботы МЕТА тег является стандартом де-факто. Это произошло из «пернатых птиц» встречи в 1996 году распределенный семинар по индексированию, и был описан в заметках к совещанию.

Метатег также описан в HTML Спецификация 4.01, Приложение B.4.1.

Остальная часть этой страницы дает обзор того, как использовать роботов теги на ваших страницах, с некоторыми простыми рецептами. Чтобы узнать больше, смотрите также FAQ.

Как написать метатег роботов

Где поставить

Как и любой тег, он должен быть размещен в разделе HEAD HTML страница, как в примере выше.Вы должны поместить его на каждой странице вашего сайт, потому что робот может встретить глубокую ссылку на любой страница на вашем сайте.

Что положить в него

Атрибут «ИМЯ» должен быть «РОБОТЫ».

Допустимые значения для атрибута «CONTENT»: «INDEX», «NOINDEX», «FOLLOW», «НЕ СЛЕДУЕТ». Допускается несколько значений через запятую, но очевидно, только некоторые комбинации имеют смысл. Если нет тэг роботов, по умолчанию «INDEX, FOLLOW», так что нет необходимости объяснять это.Это оставляет:

Основы SEO: Мета Роботы «Noindex, Nofollow» Объяснение

Сегодня мы поговорим о одной из самых больших ошибок SEO , которую может совершить владелец сайта (или веб-разработчик): noindex . Просто упоминание об этом может вызвать дрожь в спине разработчика.

29/08/2018 Обновление: см. Примечания к обновлению в конце поста.

Что такое тег?

Проще говоря, этот метатег сообщает поисковым системам, какие действия они могут предпринять (или не предпринять) на определенной странице.Основные поисковые системы будут соблюдать команды, включенные в этот тег.

Этот метатег может быть включен в любое место между и тегами в заголовке страницы, как показано ниже:

ВАЖНО: Этот тег не имеет сайта общий эффект. Он может содержать разные значения на разных страницах одного и того же сайта.

Доступные значения для тега META ROBOTS

Ниже приведен список допустимых значений для тега META ROBOTS.

• Индекс (значение по умолчанию )
• Noindex
• Нет
• Подписаться
• Nofollow
• Noarchive
• Nosnippet
• Noodp ( больше не актуально )
• Нойдир ( больше не актуально )

Эти значения можно комбинировать, поэтому, например, все приведенные ниже варианты представляют собой совершенно корректные мета-теги robots:

Эффект NOINDEX, NOFOLLOW

Значение NOINDEX указывает поисковым системам НЕ индексировать эту страницу, поэтому в основном эта страница не должна отображаться в результатах поиска.

Значение NOFOLLOW сообщает поисковым системам, что они НЕ должны следить (открывать) страницы, на которые ссылаются на этой странице.

Иногда разработчики добавляют метатеги NOINDEX, NOFOLLOW на веб-сайтах разработчиков, чтобы поисковые системы не начинали случайно отправлять трафик на веб-сайт, который все еще находится в разработке.

Или у вас может быть свой текущий (действующий) веб-сайт на www.example.com, но вы также сохраняете копию для разработчиков на www.dev.example.com/. В этом случае целесообразно noindex, nofollow версии Dev, чтобы избежать многих потенциальных проблем.

Часто случается, что люди случайно добавляют этот тег на живые веб-сайты, забывают добавить его в копии для разработки или, что еще хуже, забывают удалить его с живых веб-сайтов после запуска.

Да, те же результаты и проблемы могут возникнуть из-за плохого файла robots.txt в корне веб-сайта, но это выходит за рамки темы этого поста.

~ 3% сайтов отелей затронуты

Согласно независимому анализу HermesThemes.Было установлено, что из более 50 000 гостиничных сайтов со всего мира ~ 3% веб-сайтов не позволяют поисковым системам индексировать свой веб-сайт.

Это было шокирующее открытие, которое побудило нас решить проблему с этой статьей.

Как проверить, содержит ли мой сайт эту ошибку?

К счастью, существует очень простой способ проверить любой сайт / страницу на наличие этой ошибки.

Просто откройте страницу в своем браузере, щелкните правой кнопкой мыши где-нибудь на странице (но не на ссылках или изображениях) и выберите «Просмотр источника страницы».В большинстве браузеров на Windows вы можете просто нажать CTRL + U на клавиатуре.

В результате откроется новая вкладка с полным HTML-кодом (как его видит браузер) для текущей страницы. Как упоминалось ранее, метатеги обычно находятся в верхней части веб-сайта, как в этом примере:

Если на этой странице вы видите строку META ROBOTS со значением NOINDEX или NONE, то вам нужно выполнить действие немедленно !

Как выглядят затронутые сайты в результатах поиска?

Я рад, что вы (надеюсь) спросил.

Существует очень удобный способ поиска в Google проиндексированных страниц по определенному доменному имени: [site: example.com] (без квадратных скобок).

Итак, мы идем в Google и ищем домен, который использует мета-роботы NOINDEX на их веб-сайте, и вот что мы получаем:

Я надеюсь, что вы понимаете, какой ущерб может быть нанесен, если ваш сайт полностью удалены из Google и других поисковых систем. Ваш обычный поисковый трафик упадет до нуля в течение нескольких дней.

Как исправить / удалить линию мета-роботов?

К счастью, решить эту проблему легко и не следует откладывать. Сначала вам нужно определить, откуда взялась эта строка.

В WordPress первое, что вам нужно сделать, это зайти в Dashboard> Настройки> Чтение.

Убедитесь, что флажок Видимость поисковой системы равен и не проверен .

Если это не помогло решить проблему, проверьте, не закодирована ли эта строка в теме.

Чтобы проверить это, перейдите в «Внешний вид»> «Редактор» и выберите «Theme Header header.php» в списке файлов справа (действительно для большинства тем).

Просмотрите этот файл и убедитесь, что нет метки META ROBOTS с вредоносным значением. Если есть — удалите его и нажмите синюю кнопку «Обновить файл».

Заключение

Эта строка кода может вызвать сильную головную боль, потерю дохода и негативное долгосрочное влияние на SEO.

Затрагивается ли ваш сайт NOINDEX? Проверьте сегодня!

Обновления от 29/08/2018:

Я хотел бы выделить время и упомянуть новые цифры от 29 августа 2018 года.

Количество анализируемых веб-сайтов резко возросло. Оригинальная статья ссылалась на данные, извлеченные из 50000 сайтов отелей. Сейчас я анализирую ~ 875 000 уникальных гостиничных сайтов (уникальных доменов).

Результаты этих 875 000+ гостиничных сайтов показывают, что 1,502% гостиничных сайтов используют NOINDEX или NONE в качестве значения своих мета-роботов.

Процент не кажется высоким, но это более 13 000 гостиничных сайтов, которые эффективно блокируют все поисковые роботы от индексации своих сайтов.

Конечно, некоторые из них делают это во время обслуживания своих веб-сайтов. Другие веб-сайты на самом деле пытаются вести себя сдержанно и показывать свой бизнес только через прямые ссылки.

Но я потратил время, чтобы вручную посетить более 200 случайных сайтов из этого списка, и я бы быстро подсчитал, что 3/4 из них фактически используют NOINDEX по ошибке.Вот и все.

Связанные

SEO — метатег против robots.txt

1. Товары
2. Клиенты
3. Случаи использования

1. Переполнение стека Публичные вопросы и ответы
2. Команды Частные вопросы и ответы для вашей команды
3. предприятие Частные вопросы и ответы для вашего предприятия
4. работы Программирование и связанные с ним технические возможности карьерного роста
5. Талант Нанимать технический талант
6. реклама Связаться с разработчиками по всему миру

noindex, nofollow, noarchive, noodp & noydir

Мета-робот-тег контролирует пауков от сканирования и индексации вашей веб-страницы или публикации. В этом посте мы подробно рассмотрим все типы тегов. Мы можем использовать более одной метатеги на веб-странице, но это не очень хорошая практика, потому что это может вызвать конфликты. Следовательно, это должно происходить только один раз на веб-странице.

мета-тегов по умолчанию

Если вы не укажете метатег на веб-странице, то по умолчанию spider будет сканировать и индексировать вашу веб-страницу.Вы можете сказать, что он считает метатег ниже по умолчанию.

Мета роботы noindex

Предотвращает индексацию страницы. Это означает, что если вы укажете метатег ниже для страницы, эта страница не будет отображаться в результатах поиска. Например: вы не хотели бы, чтобы страницы вашего автора появлялись в результатах поиска, поэтому для предотвращения этого вы можете использовать мета-теги ниже на страницах автора.

Мета роботы nofollow

Этот метатег запрещает паукам переходить по любой ссылке на странице. Если вы новичок, то это может сбить вас с толку. Позвольте мне объяснить вам подробно. Всякий раз, когда паук (бот Google) находит ссылку (внутреннюю или внешнюю) на странице, он попадает на эту веб-страницу для сканирования и индексации, чтобы заставить паука не переходить по какой-либо ссылке на странице, мы можем использовать этот тег. Чтобы лучше это понять, можете сослаться на мой пост Dofollow vs nofollow.

Мета роботы noarchive

Вы, должно быть, видели в результатах поиска, что всякий раз, когда вы наводите указатель мыши на какой-либо результат, он отображает снимок этой страницы в правой части поиска Google (, см. Ниже снимок экрана !! ). Это мы называем кэшированной копией веб-страницы. Чтобы предотвратить кэширование страницы, мы можем указать тег ниже.

Мета роботов лапша

Запрещает поисковой системе (Google, Yahoo и MSN) отображать собственное описание, взятое из его каталога, вместо мета-описания.Использование тега ниже гарантирует, что поисковая система будет отображать ваше мета-описание под результатами поиска, и было бы полезно улучшить ваш CTR.

Мета роботы Нойдир

Это то же самое, что и вышеупомянутый тег NOODP, с той лишь разницей, что он применим только для Yahoo.

Лучшая практика использования noodp и noydir: Вы можете использовать тег ниже для всех своих веб-страниц —

ИЛИ (выше тега и ниже двух тегов — оба одинаковы)

Что делать, если на странице более одного тега мета-робота

Мы должны использовать его только один раз на страницу, и это лучший метод, но иногда из-за сочетания SEO-дружественных тем и плагинов SEO у нас может быть несколько экземпляров таких тегов.Поэтому для таких случаев давайте обсудим, как пауки (или сканеры) будут интерпретировать это.

CASE 1: В метатеге роботов нет конфликтующих значений.

Приведенные выше два тега были бы такими же:

СЛУЧАЙ 2: Значение конфликта присутствует в метатеге роботов.

Первый экземпляр:

Второй экземпляр:

В этом случае оба значения конфликтуют, так как одно указывает noindex, а другое заставляет паука индексировать страницу. Для таких случаев сканеры рассматривают первый случай конфликтов.

Таким образом, бот поисковой системы будет воспринимать это как , потому что noindex включается до индекса первого.

Как заблокировать конкретного поискового бота

Указывая мета-имя как «роботы», вы фактически блокируете всех роботов поисковых систем. Однако, если вы хотите заблокировать конкретного поискового бота, вы можете указать имя бота вместо «роботы»

BOT Имя:

Google: GOOGLEBOT

Yahoo: SLURP

MSN: MSNBOT

ASK: TEOMA

Итак, если вы хотите сделать свою страницу nofollow только для бота Google, вы можете использовать тег ниже.

Примечание. В названии мета я указал «Googlebot» вместо «robots», чтобы сделать его применимым только для бота поисковой системы Google.

Ссылка

мета-роботы тег: блог для веб-мастеров Google

<Изображение предоставлено>