Содержание

Правильный robots.txt для MODX Revo

Главная » MODX Revo

MODX Revo

Автор Алексей На чтение 3 мин Просмотров 6.3к. Опубликовано Обновлено

Содержание

  1. Как создать robots.txt для MODX Revo
  2. Краткий разбор нестандартного «роботс» для CMS MODX
  3. Использование кириллицы
  4. Проверка корректности robots.txt

Сегодня мы составим правильный robots.txt для MODX Revo. Данный файл в первую очередь создается для того что бы закрыть дубли страниц и системный файлы от индексации в поисковых системах.

Как создать robots.txt для MODX Revo

Перед тем как начать вы должны включить ЧПУ MODX в настройках сайта.

robots.txt можно создать 2-мя способами:

Первый — прямо на компьютере при помощи блокнота создать текстовый документ с именем robots и расширением txt.

Второй — непосредственно в самом modx (создать документ — и в настройках выбрать тип содержимого txt)

Выбирайте любой способ, который больше нравится. Ну а теперь самое главное.

Правильный стандартный robots.txt для MODX Revo и Evo

User-agent: *                  # правила для всех роботов
Disallow: /manager/            # авторизация
Disallow: /assets/components/  # папка с файлами modx пакетов
Disallow: /core/               # папка с системными файлами modx
Disallow: /connectors/         # папка с системными файлами modx
Disallow: /index.php           # дубль главной страницы index.php
Disallow: *?*                  # удаляем дубли для всех страниц (с параметрами)
Disallow: *openstat=           # ссылки с метками openstat
Disallow: *from=               # ссылки с метками from
Disallow: *utm*=               # ссылки с utm-метками
Allow: /*.
 
 jpg                  # здесь и далее открываем для индексации изображения, скрипты и прочие файлы
Allow: /*.jpeg 
Allow: /*.gif 
Allow: /*.png 
Allow: /*.pdf 
Allow: /*.doc 
Allow: /*.docx 
Allow: /*.xls 
Allow: /*.xlsx 
Allow: /*.ppt 
Allow: /*.pptx 
Allow: /*.css
Allow: /*.js
Allow: *?page=                 # открываем для индексации страницы пагинации (и проверьте, чтобы для них был настроен canonical)

# Укажите один или несколько файлов Sitemap
Sitemap: http://site.ru/sitemap.xml

Также часто на хостингах в директориях сайта, есть папка cgi-bin, ее тоже закрываем от индексации: Disallow: /cgi-bin

Если вы используете модуль pThumb (phpThumbOf или phpThumbOn), то желательно открыть для индексации обрезанные изображения:
Allow: /core/cache/phpthumb/*.jpeg

Allow: /core/cache/phpthumb/*.png
Allow: /core/cache/phpthumb/*.svg
Раньше еще указывали директиву host (Host: сайт.ru) но ее сейчас поисковые боты не учитывают — она устарела)

Краткий разбор нестандартного «роботс» для CMS MODX

Использование кириллицы

Использование кириллицы запрещено в файле robots. txt и HTTP-заголовках сервера.

Для указания имен кириллических доменов и папок с русскими именами используйте Punycode. Названия указывайте в кодировке, соответствующей кодировке текущей структуры сайта. Пример для указания сайтмапа для http://сайт.рф:

Sitemap: http://xn--80aswg.xn--p1ai/sitemap.xml

Проверка корректности robots.txt

Анализ robots.txt от Yandex (нужна авторизация).

Анализ robots.txt от Google (нужна авторизация).

Если у вас есть какие либо вопросы или предложения по правильному составлению robots.txt для CMS MODX пишите в комментариях.

modx robots.txt robots txt modx revo

Поделиться с друзьями

Оцените автора

( 1 оценка, среднее 5 из 5

)

MODX — Карта сайта и Robots.txt — OLDESIGN.RU

Разработка и ведение стартапов, изготовление сайтов, дизайн печатной и сувенирной продукции, продвижение.

    КАРТА САЙТА для MoDx:

     

    1. Создайте ресурс с именем sitemap

      Во вкладке настроек ресурса выберите:
      Тип содержимого (Content Type) — XML,
      Шаблон документа — Пустой (Blank template)
       

    2. Установите дополнение GoogleSiteMap
    3. В настройках Ресурса отключите «использовать html-редактор»
    4. В содержимое поле контента вставьте вызов сниппета [ [ !GoogleSiteMap? ] ], убрав пробелы.
    5. Cохраните ресурс.


    Карта сайта готова!

     


    ROBOTS.TXT для MoDx

     

    1. Создайте ресурс с именем robots

      Во вкладке настроек ресурса выберите:
      Тип содержимого — text,
      Шаблон документа — Пустой
       

    2. В настройках Ресурса отключите «использовать html-редактор»
    3. В содержимое поле контента вставьте код ниже
    4. Замените«domen.
      ru» на адрес домена вашего сайта.
    5. Cохраните ресурс.

       

    
User-agent: *
Disallow: /manager/
Disallow: /assets/components/
Disallow: /core/
Disallow: /connectors/
Disallow: /index.php
Disallow: *?
Host: domen.ru
Sitemap: http://domen.ru/sitemap.xml

     

    Ваш правильный robots.txt для MoDx Revo готов, и карта сайта теперь находится по адресу:

    http://вашдомен/sitemap.xml


    Комментарии (0)

    Оставьте ваш комментарий:

    • Все статьи блога
    • Яндекс.Карты для MoDx Revo
      Mapex — Лучшее дополнение для MODX Revolution…
    • Эффект цвета в маркетинге
      Цветовые схемы и психологические реакции клиентов…
    • Центрирование в CSS
      Центрирование элементов — самая популярная причина…
    • Цветовой профиль Photoshop для верстальщика
      Простыми словами о том как грамотно настроить…
    • Цветовая схема для сайта
      Коллекция сервисов для подбора или коррекции…
    • Функция Php для удаления лишних символов из строки
      Здесь представлена функция, которая вычищает…
    • Стилизация всплывающих сообщений в AjaxForm
      Стандартный и нестандартные методы изменения…
    • Список HTML шрифтов
      Таблица как показываются шрифты Web в разных…
    • Скрипт для Instagram
      Предлагаем вам 1 раз приобрести недорогой скрипт,…
    • Сервисы для тестирования сайта на разных гаджетах
      Список сервисов для тестирования и презентации…
    • Сервисы для визуализации данных
      Коллекция сервисов для подбора или коррекции…
    • Разноплановые и необычные CSS и SVG меню
      На данной странице мы собираем красивые и необычные…
    • Перевод аудио в текст
      Как перевести речевой аудио-файл в текст с помощью…
    • Нейросети для создания и обработки изображений
      Сервисы для обработки и создания изображений…
    • Настройка Nic ru — сайт modx revo на ру-центре
      Описание корректной установки системы Modx на…
    • Минимальная Seo-настройка сайта
      Статья по первоначальной и основной сео-оптимизации…
    • Метки по углам — макрос для расставления меток в CorelDraw
      Бесплатный, удобный и простой макрос, который…
    • Маркетинг ручной работы
      Эта краткая статья поможет тем, кто хочет увеличить…
    • Макрос для CorelDraw — Curve info
      Удобный и практичный макрос площади, периметра…
    • Лучшая адаптивная галерея Fotorama
      Fotorama — мощная и многофункциональная галерея,…
    • Как избежать штрафа о хранении и обработке персональных данных
      С 1 июля 2017 года вступают в силу поправки к…
    • Как вставить Google forms на сайт
      Как сделать из обычной формы гугл — точную копию…
    • Горячие клавиши браузеров
      Горячие клавиши при работе с браузером, которые…
    • Всплывающие окна popup при загрузке страницы
      2 простейших рабочих варианта всплывающих окон…
    • Все meta-tags на вашем сайте
      Метатеги, которые используются для хранения информации…
    • ReCaptchaV2 для MoDx Revolution
      Описание установки ReCaptcha 2 от Google на сайт…
    • PrintNCut — макрос для печати и резки в CorelDraw
      Удобный и практичный макрос, который ускорит…
    • Open Server и Dr. Web — разрешаем файл Hosts
      Как разрешить на запись файл HOSTS для настройки…
    • MoDx обновление 2.6.5
      С 19 июля 2018 года произошла большая атака на…
    • MODX Revolution с http на https
      Статья, кратко и по делу, описывающая правильных…
    • MODX — Карта сайта и Robots.txt
      В этой статье простым языком написано как установить…
    • meta — теги для сайта MoDx Revo
      Для того чтобы у каждой страницы вашего сайта…
    • LESS на стороне клиента
      Использование на стороне клиента (в самом браузере)…
    • Iconogen — сервис автоматической генерации Favicon
      Это сервис поможет вам быстро сгенерировать favicon…
    • HTML5 аудио-плеер с плейлистом
      Аудио-плеер на основе технологии HTML5. Он состоит…
    • HSL — цветовая палитра и прозрачность
      Значения цвета HSLA являются расширением значений…
    • FormIt на MoDx Revolution
      FORMIT — это приложение для обработки формы в…
    • Eurowebcart — CMS для создания магазина
      Система управления сайтом Eurowebcart позволяет…
    Made in Russia 2005-2023

    КОНТАКТЫ / Политика конфиденциальности

    Новый элемент управления robots.

    txt в MODX Cloud

    Сегодня мы объявляем о новой функции в облаке, которая упрощает обработку файлов robots.txt, добавляя новые возможности для уникальных файлов robots.txt для каждого имени хоста для многосайтовых установок.

    Райан Трэш, Майк Шелл

    19 октября 2017 г. | 3 мин чтения

    Облачная версия MODX

    Сегодня мы анонсируем новую функцию в облаке, которая упростит обработку файлов robots.txt, предоставив новую возможность для уникальных файлов robots.txt для каждого имени хоста для многосайтовых установок.

    Что такое robots.txt?

    Файл /robots.txt — это необязательный файл, который позволяет веб-мастеру явно сообщать хорошо работающим веб-роботам, таким как пауки поискового индекса, о том, как им следует сканировать веб-сайт. Если файл robots.txt отсутствует, большинство роботов должны продолжить сканирование и индексацию сайта.

    Это полезно, когда владельцы сайтов используют сайт разработки или промежуточный сайт для текущей работы, а также изолированный рабочий сайт, на котором развертываются изменения и обновления. Вы можете указать веб-роботам игнорировать сайт разработки, разрешив при этом индексирование рабочего сайта.

    Robots.txt в MODX Cloud

    Ранее MODX Cloud предоставлял пользователям контроль над поведением, разрешая обслуживание пользовательского файла robots.txt на основе переключателя на панели инструментов. Хотя это было полезно, можно было случайно разрешить индексирование на промежуточных/разрабатываемых сайтах, переключив параметр на панели инструментов. Точно так же можно было легко запретить индексацию на рабочем сайте.

    Сегодня мы полностью удаляем этот интерфейс и полагаемся на наличие файлов robots.txt в файловой системе со следующим исключением: любой домен, оканчивающийся на modxcloud.com будет обслуживаться директивой Disallow: / для всех пользовательских агентов, независимо от наличия или отсутствия файла robots.txt.

    Для рабочих сайтов (тех, которые получают реальный трафик посетителей) вам нужно будет использовать собственный домен, если вы хотите, чтобы ваш сайт был проиндексирован.

    Подавать уникальные файлы robots.txt для каждого имени хоста в MODX Cloud

    Некоторые организации используют MODX Revolution для запуска нескольких веб-сайтов из одной установки с использованием контекстов . Случаи, когда это может применяться, могут быть общедоступными маркетинговыми сайтами в сочетании с микросайтами целевых страниц и, возможно, закрытым интранетом.

    Большинство владельцев сайтов хотят, чтобы их сайты были проиндексированы. В облаке MODX все сайты с пользовательскими именами хостов будут обслуживать любой загруженный файл robots.txt в корневом каталоге веб-сайта, обычно со следующим содержимым:

     User-agent: *
Disallow:

     
    Однако для гипотетической интрасети, использующей intranet.example.com в качестве имени хоста, вы бы не хотели, чтобы она индексировалась. Традиционно это было сложно сделать при многосайтовых установках, потому что они использовали один и тот же веб-корневой каталог. Однако в MODX Cloud это просто. Просто загрузите дополнительный файл в свой веб-каталог с именем 9.0025 robots-intranet.example.com.txt со следующим содержимым, и он заблокирует индексирование роботами с хорошим поведением, а все остальные имена хостов вернутся к стандартному файлу robots.txt, если не существует других имен хостов:

     Пользовательский агент: *
Disallow: /

    Нужно ли что-то делать?

    Все новые облака будут работать, как описано выше, начиная с этого момента. См. наше примечание о поведении robots.txt для облаков, созданных до 19 октября 2017 г.

    Подробнее

    Понимание того, как robots.txt влияет на ваши сайты в поисковых системах, является важным аспектом управления сайтом. Узнайте больше о robots.txt на robotstxt.org. Также добавьте в закладки нашу документацию по обработке robots.txt в облаке MODX. И если вы хотите начать использовать эту новую возможность в MODX Cloud, войдите в свою панель инструментов или создайте учетную запись сегодня.

    Подпишитесь на MODX Cloud!

    Sergst88modx / Modx REVO

    Робот Путь Разрешение
    GoogleBot / ✔
    БингБот / ✔
    BaiduSpider / ✔
    ЯндексБот / ✔
    Название Модкс REVO
    Описание Н/Д
    Ключевые слова Н/Д
    Сайт Ранг
    alfweb. ru № 10 913 413
    derzaiii.ru № 8 453 326
    ценаp42.ru # 7 891 179
    trywar.ru № 10 706 169
    serramazda.com
    sertefikat.ru
    setsale.ru
    shahtrading.com
    shakhesandishan.ir
    shallibegin.com
    shantikunnj. com
    sharedigger.com
    sharevideosonline.net
    shbabn.com
    paydayloanssimple.com
    pbpython.com

    3162 долл. США

    Последнее обновление: 26 января 2020 г.

    Sergst88modx.blogspot.com имеет глобальный рейтинг трафика 15 911 175. Sergst88modx.blogspot.com оценивается в 3162 доллара США, исходя из предполагаемого дохода от рекламы. Sergst88modx.blogspot.com получает примерно 192 уникальных посетителя каждый день. Его веб-сервер находится в США с IP-адресом 172.217.12.129. Согласно SiteAdvisor, sergst88modx.blogspot. com безопасно посещать.

    Стоимость покупки/продажи 3 162 долл. США
    Ежедневный доход от рекламы долларов США 1
    Ежемесячный доход от рекламы долларов США 51
    Годовой доход от рекламы 632 долл. США
    Уникальные посетители за день 192
    Примечание. Все значения трафика и доходов являются приблизительными.
    Глобальный рейтинг 15 911 175
    Дельта (90 дней) 0
    Самые популярные в стране Н/Д
    Рейтинг страны Н/Д
    Хост Тип ТТЛ Данные
    sergst88modx.blogspot.com А 299 IP: 172.217.6.225
    sergst88modx.

    No related posts.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *