Ровер — робот-курьер — Блог Яндекса

На прошлой неделе во дворе штаб-квартиры Яндекса в Москве появился необычный робот: чем-то похожий на луноход, на шести колёсиках, около полуметра в высоту. Мы назвали робота Яндекс.Ровер — в честь самоходных космических аппаратов, которые исследуют поверхность небесных тел.

Яндекс.Ровер — робот для транспортировки небольших грузов. Тестирование Ровера только началось. Его первой задачей стала перевозка документов и мелких пакетов, которые нужно доставить из штаб-квартиры на улице Льва Толстого в другой московский офис Яндекса. Ровер забирает груз из канцелярии и отвозит в точку, где останавливается курсирующий между двумя офисами микроавтобус.

Грузы помещаются в отсек внутри корпуса. Ровер оснащён набором датчиков, включая лидар — благодаря ему робот может работать даже в тёмное время суток.

Яндекс.Ровер функционирует без какого-либо участия человека. Он сам составляет для себя маршрут и во время движения распознаёт объекты вокруг: например, объезжает препятствия и пропускает прохожих и животных. Робот самоуправляем — люди лишь присматривают за ним дистанционно.

Ровер спроектировали в Яндексе. Его можно считать младшим братом нашего беспилотного автомобиля. В нём используются те же технологии, что и в беспилотнике, только адаптированные под новые условия: доставщик ездит не по дорогам, а по тротуарам, и со скоростью, с которой передвигаются пешеходы.

В штаб-квартире Яндекса Ровер проходит полевые испытания. Их условия не назовёшь тепличными: на дворе поздняя осень, робот ездит под открытым небом в офисном квартале, где работают больше семи тысяч человек — и это не считая посетителей окрестных кафе и магазинов и просто случайных прохожих.

Когда первые испытания будут завершены, Ровер сможет попробовать себя в новых сферах. Он пригодится не только для перевозки корреспонденции, но и, скажем, для доставки блюд в Яндекс.Еде, заказов в магазине Беру или в складской логистике. Мы также рассматриваем возможность предложить робота другим компаниям.

yandex.ru

Роботы Яндекса — «robots.txt» для Яндекса, директива «Host», HTML-тег «noindex», IP-адреса роботов Яндекса — Robots.Txt по-русски

Методы управления поведением робота Яндекса

Читайте в отдельной статье: методы управления поведением робота.

Виды роботов Яндекса

  • Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
  • Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
  • Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
  • Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
  • Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
  • Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова»
  • YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
  • YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
  • YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
  • Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.

IP-адреса роботов Яндекса

IP-адресов, с которых «ходит» робот Яндекса, много, и они могут меняться. Список адресов не разглашается.

Кроме роботов у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

  • Yandex/2.01.000 (compatible; Win16; Dyatel; C) — «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; Z) — «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; D) — «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.
  • Yandex/2.01.000 (compatible; Win16; Dyatel; N) — «простукивалка» Яндекс.Новостей. Она формирует отчет для контент-менеджера, который оценивает масштаб проблем и, при необходимости, связывается с партнером.

Директива Host

Во избежания возникновения проблем с зеркалами сайта рекомендуется использовать директиву «Host». Директива «Host» указывает роботу Яндекса на главное зеркало данного сайта. С директивой «Disallow» никак не связана.

User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru

либо

User-agent: Yandex
Disallow: /cgi-bin
Host: site.ru

в зависимости от того что для вас оптимальнее.

Вот цитата из ЧаВо Яндекса:

Мой сайт показывается в результатах поиска не под тем именем. Как это исправить?

Скорее всего, ваш сайт имеет несколько зеркал, и робот выбрал как основное не то зеркало, которое хочется вам. Есть несколько решений:

  • удалите зеркала вашего сайта;
  • на всех зеркалах, кроме того, которое вы хотите выбрать основным, разместите файл robots.txt, полностью запрещающий индексацию сайта, либо выложите на зеркалах robots.txt с директивой Host;
  • разместите на главных страницах неосновных зеркал тег <meta name=»robots» content=»noindex, nofollow»>, запрещающий их индексацию и обход по ссылкам;
  • измените код главных страниц на неосновных зеркалах так, чтобы все (или почти все) ссылки с них вглубь сайта были абсолютными и вели на основное зеркало.

В случае реализации одного из вышеперечисленных советов ваше основное зеркало будет автоматически изменено по мере обхода робота.

Интересная информация об обработке директивы Host из ответов А. Садовского на вопросы оптимизаторов:

Вопрос:

Когда планируется своевременное соблюдение директивы Host: в robots.txt? Если сайт индексируется как www.site.ru, когда указано Host: site.ru уже после того, как robots.txt был размещен 1–2 недели, то при этом сайт с www и без www не склеивается более 1–2 месяца и в Яндексе существуют одновременно 2 копии частично пересекающихся сайтов (один 550 страниц, другой 150 страниц, при этом 50 страниц одинаковых). Прокомментируйте, пожалуйста, проблемы с работой «зеркальщика».
Ответ: Расширение стандарта robots.txt, введенное Яндексом, директива Host — это не команда считать зеркалами два любых сайта, это указание, какой сайт из группы, определенных автоматически как зеркала, считать главным. Следовательно, когда сайты будут идентифицированы как зеркала, директива Host сработает.

HTML-тег <noindex>

Робот Яндекса поддерживает тег noindex, который запрещает роботу Яндекса индексировать заданные (служебные) участки текста. В начале служебного фрагмента ставится <noindex>, а в конце — </noindex>, и Яндекс не будет индексировать данный участок текста.

Тег работает аналогично мета-тегу noindex, но распространяется только на контент, заключенный внутри тега в формате:

<noindex>текст, индексирование которого нужно запретить</noindex>

Тег noindex не чувствителен к вложенности (может находиться в любом месте html-кода страницы). При необходимости сделать код сайта валидным возможно использование тега в следующем формате:

<!––noindex––>текст, индексирование которого нужно запретить<!––/noindex––>

Ссылки по теме

Описание робота Яндекса на сайте Яндекса
Очень интересная запись о роботах на (не)?Путевых заметках

Яндекс и robots.txt – ньюансы
Яндекс накосячил с соблюдением стандарта файла robots.txt
Форма для добавления URL сайта в индекс
Форма для удаления URL сайта из индекса
Robots.txt глазами Яндекса (Анализ robots.txt)

robotstxt.org.ru

Вопросы и ответы — Яндекс.Работа. Помощь

Индексирование новых объявлений происходит каждый час.

Яндекс.Работа — это объединенная база объявлений о работе, собранных сервисом с различных специализированных сайтов. Разместить объявление непосредственно на Яндекс.Работе невозможно.

Чтобы ваше объявление попало на сервис, разместите его на одном из сайтов наших партнеров.

Я добавил объявление, но оно не появилось на Яндекс.Работе

Внести правки в объявление можно на том сайте, где вы его разместили. Если отредактировать объявление самостоятельно не получается, обратитесь за помощью в службу поддержки этого сайта. Когда вы отредактируете объявление, через некоторое время информация обновится на Яндекс.Работе.

Чтобы удалить объявление, перейдите на тот сайт, где вы его разместили. Через несколько часов после того, как вы удалите объявление с сайта, оно перестанет отображаться на сервисе Яндекс.Работа.

Похожие вакансии разных компаний могут объединяться в одну (склеиваться) из-за совпадения названий этих компаний. Это могут быть организации как из одного города, так и из разных регионов. Как правило, такое происходит, если в опубликованных объявлениях не указан сайт компании. Для решения этой проблемы укажите сайт вашей компании на ресурсах наших партнеров, через которые вы размещаете вакансии, и некоторое время подождите, пока Яндекс проиндексирует измененные данные.

Если проблема не решится, обратитесь в службу поддержки Яндекс.Работы.

Если вас заинтересовала вакансия, нажмите на ее заголовок. Вы перейдете на страницу сайта, где она размещена. Вместе с полным описанием вакансии вы найдете контактные данные работодателя.

Если в объявлении нет контактов работодателя, вы можете обратиться в службу поддержки сайта, на котором оно было опубликовано.

Сервис Яндекс.Работа предназначен только для поиска вакансий. Резюме вы можете разместить на специализированных сайтах.

Сервис Яндекс.Работа предназначен только для поиска вакансий. Резюме кандидатов можно искать на специализированных сайтах.

Чтобы посмотреть информацию о компании (описание и активные вакансии), нажмите ссылку с названием компании в карточке вакансии.

Вся информация о компаниях (описание, логотипы) поступает на сервис Яндекс.Работа автоматически — с рекрутинговых сайтов.

Мы не вносим какие-либо изменения на сервисе Яндекс.Работа вручную. Вся информация о компаниях (описание, логотипы) поступает на сервис с рекрутинговых сайтов автоматически.

Чтобы изменить описание или логотип вашей компании, отредактируйте соответствующую информацию на сайтах наших партнеров, через которые ваша компания размещает вакансии (например, hh.ru, superjob.ru и другие). В описании обязательно укажите ссылку на ваш сайт. Через некоторое время информация на нашем сервисе обновится.

Чтобы сообщить об ошибке в работе сервиса, воспользуйтесь формой обратной связи.

yandex.ru

Работа в Яндексе

Антон Ригин прошел стажировку в Яндекс.Музыке, а теперь работает младшим разработчиком в Яндекс.Маркете. Мы поймали его в коридоре офиса и расспросили про то, как студенту начать работать в IT.

После второго курса я понял, что настало время искать работу. Заглянул на сайты ведущих IT-компаний, посмотрел вакансии для стажеров. На факультете компьютерных наук ВШЭ, где я учусь, нам в течение года преподавали Java. Поэтому вакансия стажера-разработчика в Яндекс.Музыке сразу привлекла мое внимание. Я решил задания в анкете, прошел скайп-собеседование и получил приглашение уже на очную встречу в офисе. Я удивился, но самым сложным для меня оказались не алгоритмы или задачки на «подумать», а секция по Java (было много задач на многопоточность).

В начале стажировки я вообще мало что понимал: было сложно разобраться с имеющейся инфраструктурой, с какими-то внутренними разработками сервиса. Но я справился. Моя стажировка длилась 4 месяца, где-то к середине я уже полностью разобрался и делал многие задачи. Когда я только пришел, я знал язык Java, умел работать с Git, но ничего не знал про бэкенд. Этому я учился на ходу. Моим руководителям было важно, чтобы я знал базу, все остальное можно было понять и сделать самому.

После окончания стажировки позиции в Яндекс.Музыке для меня не оказалось. Но я написал своему рекрутеру, и она организовала для меня два собеседования — в другие сервисы. В Маркет меня взяли, причем на полный день.

Сейчас я совмещаю учебу в вузе и работу. Конечно, я не нахожусь в офисе по 40 часов, но по количеству времени и задач я работаю на полную. Чтобы компенсировать свои частые отсутствия, я дополнительно делаю важные, но фоновые задачи, которые не горят и до которых у других сотрудников не доходят руки.

Всем, кто хочет работать в IT, я советую начать со стажировки. Даже если вас после нее не возьмут на работу, вы узнаете много нового и приобретете опыт. К тому же при отборе на стажировку не требуют чего-то сверхъестественного, поэтому начать с нее проще. Просто перед собеседованием повторите все базовые алгоритмы, структуры данных и сортировки, хеш-таблицы, простейшие деревья поиска. Ну и, конечно, вам нужно хорошо знать все про выбранный вами язык программирования.

yandex.ru