Поисковые системы в интернете без цензуры – 6 , , Google

В 2017 году, когда в Интернете содержатся миллионы терабайт информации и каждое движение пользователя в Интернете записывается, никак не обойтись без анонимных поисковых систем. Ведь нам всем очень важно добраться до нужных данных как можно быстрее и как можно безопаснее. Но знают ли наши дорогие читатели,  каким именно образом поисковики переводят вводимые символы в код? Догадываетесь ли Вы, что все запросы моментально переходят в маркетинговые отделы корпораций?

Принцип работ обычных поисковых систем в 2017 году: анонимность на нуле

Google

 
Давайте зайдем в Google-поиск и посмотрим, как он отображает ссылку на сайт, например, whoer.net:
 

 

Яндекс поиск

 
А вот так это делает «Яндекс»:
 

 
Как видим, не сильно очевидно. На самом деле это сделано специально, а набор символом является ничем иным, как скриптом, который обработает «клик» по ссылке и запоминает действие пользователя.
Сегодня на нашем сайте мы поговорим об анонимных поисковых системах, которые не «загрязняют» поиск лишними скриптами и не хранят данные о ваших поисковых запросах.
 

Анонимный поиск от сайта DuckDuckGo.com

 
Наиболее популярной анонимной поисковой системой на 2017 год является DuckDuck, который  в анонимном браузере Tor назначен средством поиска «по умолчанию».
 

 
DuckDuck также предоставляется для выбора в браузерах Firefox и Opera. Приватный поисковик славится тем, что не использует скрипты в ссылках и не выводит в результаты поиска рекламные и вирусные сайты. DuckDuckGo позволяет пользователю указывать в запросе специальные знаки и символы. И, как мы уже говорили, поисковик не следит за действиями пользователя.
 

Отображение результатов запроса в анонимном поисковике DuckDuck

 
Посмотрим, как отображается ссылка на сайт whoer.net в этом анонимном поиске:
 

 
Как видим, здесь нет никаких скрытых поведенческих скриптов, а имеется только прямая ссылка!
 

Преимущества DuckDuckGo

 
Еще одним положительным моментом в системе DuckDuckGo можно считать его полную поддержку https- протокола. Пока, эта настройка выключена при первом запросе пользователя, но ее легко активировать через удобное главное меню поисковика. После выполнения данного действия весь поиск будет проходить дополнительное шифрование.
 

Анонимный поисковик IxQuick

 
Самой конфиденциальной поисковой системой в 2017 году называют IxQuick.
 

 
Сервера этого поисковика «снаряжены» мощнейшей метапоисковой системой. Это обозначает следующее: после запроса на поиск IxQuick выдает результаты сразу от десятка поисковых систем, объединяя их в своем окне выдачи и присваивая каждой ссылке уникальный рейтинг,  по которому происходит ранжирование.
На скриншоте выше видно, что основные запросы берутся из Google, так что за релевантность выдачи беспокоиться не приходиться.
 

Настройки приватности в анонимном поисковике IxQuick

 
Несмотря на все производственные мощности, за пользователями не ведется никакой «слежки», более того, даже не фиксируются IP-адреса пользователей. Тем не менее, каждый пользователь может разрешить сохранять настройки своего поиска на сервере анонимного поисковика в виде куки-файлов, которые будут либо удаляться в автоматическом режиме раз в три месяца, либо обновляться при каждом заходе на главную страницу IxQuick.
 

Плюсы и минусы IxQuick

 
Огромным преимуществом IxQuick является метапоиск сопряженный с анонимностью запросов, которые поисковый робот «заметает» с помощью сложной сети перенаправления данных от оригинальной поисковой системы до пользователя.
Из минусов анонимного поиска IxQuick.можно отметить лишь факт отсутствия русского языка в интерфейсе.
 

Анонимный поиск от сайта StartPage.com

 

 
Уже из скриншота внимательный читатель может сделать вывод, что StartPage является клоном анонимного поисковика IxQuick. Так и есть: история этого проекта зародилась раньше, чем IxQuick, но, не смотря на то, что сайт никак не анализировал и не сохранял результаты поиска пользователя, тем не менее, конкуренцию он проиграл и вскоре был выкуплен более мощным соперником.
Впрочем, данный сайт до сих пор работает, поэтому можем порекомендовать использовать связку: в IxQuick настроить Bing основным поставщиком запросов, а в StartPage поставить по умолчанию поиск от Гугл. Таким образом, вы получите двойной анонимный поиск, легко сравнивая результаты ваших поисковых данных.
 

Безопасный поисковик eTools.ch

 

 
Чешский поисковик также не использует собственный индекс для выдачи результатов, а заимствует базу сразу у 16 поисковых систем.
Почему же eTools.ch позиционирует себя анонимным?
 

Плюсы и минусы eTools.ch

 
Во-первых, он не сохраняет данные о пользователе – ваш IP не записывается, а cookies не сохраняются.
Во-вторых, поисковик не передаёт конфиденциальные данные третьим лицам.
И, наконец, поддерживает стандарт шифрования PFS.
Список преимуществ выглядит внушительно и достойно, а значит eTools.ch можно смело рекомендовать к использованию.
 

Заключение

 
Наш сайт рекомендует своим посетителям пользоваться любым из рассмотренных сегодня поисковиков и искать анонимно, не показывая свои действия в Интернете.
 

Посмотрите, какие анонимные поисковые системы рекомендует whoer.net :

vpnhook.com

три года спустя / Habr

Yacy — это децентрализованная поисковая машина, которая позволяет осуществлять поиск информации в интернете без локальной или глобальной цензуры или любых других ограничений.

Первое и единственное упоминание о нем на хабре было 29 ноября 2011.

Но с того времени многое изменилось, давайте посмотрим на него еще раз.

Основные возможности и преимущества Yacy:

Основные недостатки:

Что изменилось за три года ?

Как работает Yacy?

Индексирование

После составление базы индекса она сохраняется локально, рассылая в сеть информацию о том, что она у вас есть, и распределяется по DHT на соседних пиров.

Поиск

Результаты поиска от Yacy:

Официальный сайт проекта yacy.net/en
Windows yacy.net/release/yacy_v1.68_20140209_9000.exe
Linux yacy.net/release/yacy_v1.68_20140209_9000.tar.gz
OS X yacy.net/release/yacy_v1.68_20140209_9000.dmg

Тестовая поисковая страницы search.yacy.net (которая может упасть от большого трафика)

PS Последняя статья была три года назад, если хабр пользователям будет интересна тема децентрализованных поисковых систем, я готов сделать обзор всего функционала Yacy и рассмотреть подробно как она работает

habr.com

Shodan – самый страшный поисковик Интернета / Habr

«Если люди не могут найти что-то в Google, они думают, что это не сможет найти никто. Это не так», – утверждает Джон Мэзерли, создатель Shodan, самого страшного поискового движка Интернета.

В отличие от Google, который ищет в Сети простые сайты, Shodan работает с теневыми каналами Интернета. Это своего рода «черный» Google, позволяющий искать серверы, веб-камеры, принтеры, роутеры и самую разную технику, которая подключена к Интернету и составляет его часть.

Shodan работает 24 часа в сутки 7 дней в неделю, собирая информацию о 500 млн подключенных устройствах и услугах ежемесячно.

Просто невероятно, чтó можно найти в Shodan с помощью простого запроса. Бесчисленные светофоры, камеры безопасности, домашние системы автоматизации, системы отопления – все это подключено к Интернету и легко обнаруживается.

Пользователи Shodan нашли системы управления аквапарка, газовой станцией, охладителя вина в отеле и крематория. Специалисты по кибербезопасности с помощью Shodan даже обнаружили командно-контрольные системы ядерных электростанций и ускорителя атомных частиц.

И особенно примечателен в Shodan с его пугающими возможностями тот факт, что очень немногие из упомянутых систем имеют хоть какую-то систему безопасности.

«Это гигантское фиаско в безопасности», – говорит Эйч-Ди Мур, директор по безопасности в Rapid 7. Эта компания имеет частную базу данных типа Shodan для собственных исследовательских задач.

Если сделать простой поиск по запросу «default password», можно найти бесконечное число принтеров, серверов и систем управления с логином «admin» и паролем «1234». Еще больше подключенных систем вообще не имеют реквизитов доступа – к ним можно подключиться с помощью любого браузера.

Независимый специалист по проникновению в системы Дэн Тентлер в прошлом году на конференции по кибербезопасности Defcon продемонстрировал, как он с помощью Shodan нашел системы управления испарительными охладителями, нагревателями воды с давлением и гаражными воротами.

Он нашел автомойку, которую можно включать и выключать, и ледовую арену в Дании, которую можно разморозить одним нажатием кнопки. В одном городе к Интернету была подключена целая система управления дорожно-транспортной сетью, и всего одной командой ее можно было перевести в «тестовый режим». А во Франции он нашел систему управления гидроэлектростанцией с двумя турбинами, каждая из которых генерирует по 3 мегаватт.

Страшные вещи, если попадут не в те руки.

«Этим можно нанести серьезный вред», – сказал Тентлер, и он еще мягко выразился.

Так почему же все эти устройства подключены к сети и почти не защищены? В некоторых случаях, таких как дверные замки с управлением через iPhone, принято считать, что их очень сложно найти. И тогда о безопасности думают по остаточному принципу.

Более серьезной проблемой является то, что многие такие устройства вообще не должны быть в онлайне. Фирмы часто покупают устройства, которые позволяют с помощью компьютера управлять, скажем, системой нагревания. Как подключить компьютер к системе нагревания? Вместо прямого подключения во многих ИТ-отделах просто подключают и то, и другое к веб-серверу, тем самым неосознанно раскрывая их всему миру.

«Конечно, на таких вещах просто нет безопасности, – говорит Мэзерли. – Но в первую очередь им не место в Интернете».

Но хорошо то, что Shodan почти полностью используется для благих целей.

Сам Мэзерли, который три года назад создал Shodan просто забавы ради, ограничил число запросов до 10 без учетной записи и 50 с учетной записью. Если вы хотите задействовать больше возможностей Shodan, Мэзерли запросит у вас дополнительную информацию о ваших целях – и оплату.

Испытатели проникновения, специалисты по безопасности, научные исследователи и правоохранительные органы – вот основные пользователи Shodan. Мэзерли согласен с тем, что Shodan могут воспользоваться как отправной точкой и плохие ребята. Но он при этом добавляет, что киберпреступники обычно имеют доступ к ботнетам – большим коллекциям инфицированных компьютеров, которые могут делать то же самое, но скрытно.

Сегодня большинство кибератак сосредоточены на краже денег и интеллектуальной собственности. Плохие ребята пока еще не пытались навредить кому-то, взорвав здание или отключив светофоры.

Специалисты по безопасности надеются предотвратить подобные сценарии, выявляя эти незащищенные подключенные устройства и услуги с помощью Shodan и предупреждая их владельцев об уязвимостях. А тем временем масса вещей в Интернете без всякой безопасности просто сидят и ждут атаки.

habr.com

три малоизвестных поисковых системы в сравнении

17.12.2017 17:00:00

Современный Интернет сложно представить без поисковых систем. Ежедневно они обрабатывают миллиарды запросов, поступающие через десктопные браузеры и мобильные приложения. Сложнейшие алгоритмы буквально предугадывают действия пользователей, подсказывают возможные варианты вводимых данных и выдают наиболее точные результаты.

Но какая самая лучшая поисковая система функционирует в Сети на сегодняшний день? Почему мы отдаем предпочтение какому-то определенному поисковику? В нашей статье мы разберем какие поисковые системы завоевали наибольшую популярность и в чем их принципиальные отличия.

Рейтинг поисковых систем в мире

Для начала выясним, какие поисковики пользуются самой большой популярностью в мире. Для этого обратимся к данным, которые предоставляет авторитетное аналитическое агентство NetMarketShare. В данной таблице выведен топ-5 поисковиков и процент запросов пользователей персональных компьютеров за 2017 год:

Нетрудно заметить, что по обеим позициям поисковик от Google лидирует с максимальным отрывом от своих конкурентов. Более того, для мобильных устройств Google, по сути, является монополистом, обрабатывая 93% всех поисковых запросов. Связано это и с широким распространением смартфонов на ОС Андроид.

Кроме того, Google – один из самых минималистичных поисковиков. На главной странице пользователь видит лишь логотип и строку поиска. Также пользователей привлекают интересные дудлы – логотипы Google, которые перерисоваются в честь определенной даты или события. Очень часто такие дудлы делают интерактивными. Таким образом, по всем вышеуказанным показателям Google – это однозначно лучшая поисковая система.

На втором месте по популярности, как на ПК, так и на смартфонах, прочно утвердился китайский поисковик Baidu. Дело в том, что данный сервис является единственно доступным в Китае – им пользуются 92% всего населения. Время от времени Baidu пытается расширить географический границы, однако популярности в других странах он так и не снискал. Во многом это связано с довольно агрессивной политикой продвижения и конфликт расширений поисковика с антивирусами.

Bing – поисковик от Microsoft, которым чаще всего пользуются владельцы персональных компьютеров в США. Небольшой процент запросов с мобильных устройств обусловлен тем, что смартфоны от Microsoft постепенно уходят с рынка.

Yahoo! – один из старейших поисковиков, который был создан в 1995 году. В основном, им пользуются жители США, Великобритании и некоторых стран Юго-Восточной Азии.

Поисковик от Яндекс попал только в первую пятерку по запросам с ПК. Небольшой процент от общего количества запросов также обусловлен тем, что отечественным поисковиком пользуются пользователи России и стран СНГ. А замыкает топ-5 по популярности поисковиков для мобильных устройств сервис Dogpile. Его основная аудитория – жители США, Канады и Европы.

Рейтинг поисковых систем в России

Выяснить, какая лучшая поисковая система в российском интернет-сегменте Рунете нам помогут данные счетчика LiveInternet и аналитического сервиса Seo-auditor.

Счетчик LiveInternet учитывает поисковые запросы как с ПК, так и с мобильных платформ. В итоге, рейтинг популярности поисковиков в России выглядит так:

С большим отрывом лидируют два главных конкурента – Google и Яндекс. Оба поисковика отличаются высокой скоростью и эффективностью работы. Кроме того, каждый сервис обладает своими уникальными «фишками». Например, поисковик от Гугл выдает четкую и лаконичную информацию о каждом сайте, а также учитывает качество страниц в выдаче. Яндекс же большое внимание уделяет своим дополнительным сервисам, которые подключаются при каждом запросе в поисковике.

На третьем месте по популярности оказался поисковик от Mail.ru. Многие эксперты отмечают у данного сервиса хорошо проработанные поисковые алгоритмы, быстрое обновление новостей на главной странице. С другой стороны, хватает у Mail и недочетов. В первую очередь, это нехватка дополнительных сервисов и недоработанный анти-спам фильтр.

Некогда популярный Rambler сейчас обрабатывает всего 0,2% от общего количества поисковых запросов в Рунете. Некоторое время назад сервис сделал капитальный ремонт: у поисковика сменился логотип и была с нуля перерисована главная страница. Однако подняться в рейтинге поисковых систем это, увы, не помогло.

Тем не менее, у Рамблера есть свои очевидные достоинства. Например, ассоциативная система поиска. Если пользователь забывает сменить раскладку и вбивает слово vepsrf, поисковик выдает результаты по запросу «Музыка». Сейчас этой системой уже никого не удивишь, вот только Рамблер был первым поисковиком в Рунете, который смог качественно реализовать такой алгоритм.

Меньше 200 тысяч запросов в год обработал поисковик Bing. Как уже говорилось выше, сервис от Microsoft популярен, в основном, на Западе, и, скорее всего, большая часть запросов в Рунете через Bing отправляется со смартфонов и ПК иностранцев, работающих в России.

Схожие данные по популярности поисковиков можно наблюдать в исследовании аналитического агентства Seo-auditor. Сравните цифры по состоянию на январь и ноябрь 2017 года:

Сопоставив данные счетчиков Яндекс.Метрика, SpyLog/Openstat, LiveInternet, Hotlog, Рейтинг@Mail.ru, а также с помощью оригинальных алгоритмов, специалисты Seo-auditor пришли к выводу, что звание «Самая лучшая поисковая система» в Рунете вновь делят между собой Google и Яндекс. К тому же заметно, как за год уменьшилась доля запросов через поисковики Мейл, Рамблер и Бинг.

Мобильные приложения-поисковики

Среди первой пятерки самых популярных поисковых систем фирменные мобильные приложения имеются у Google , Яндекс и Bing . Чтобы выяснить, чем отличается каждая утилита, мы протестировали поисковики на мощном и производительном смартфоне . В качестве тестового запроса мы использовали один из самых популярных, на данный момент, не только в России, но и во всем мире – Звездные Войны 8. Результат можно посмотреть на видео ниже:

Google в своем мобильном поисковике руководствуется тем же принципом, что и в десктопной версии — минимум элементов интерфейса. Поисковый запрос можно вводить как с экранной клавиатуры, так и голосом. В выдаче поисковика можно проследить четкую иерархию:

• Обзоры и рейтинги фильма
• Расписание сеансов в кинотеатрах города
• Трейлеры на YouTube
• Список актеров фильма
• Похожие запросы
• Ссылки на сайты.

Похожую картину можно наблюдать и в поисковике от Яндекса. Российский сервис в своем приложении также копирует основную версию. На главном странице размещены полезные сервисы и новости, а поисковая строка закреплена внизу экрана. Результаты по выдаче распределяются так:

• Трейлеры и ролики на Яндекс.Видео
• Расписание сеансов в кинотеатрах
• Ссылка на Википедию
• Список актеров
• Похожие запросы
• Ссылки на сайт (причем первой ссылкой значится страница фильма на Кинопоиске, который принадлежит Яндексу).

Отдельной «фишкой» Яндекса можно назвать голосовой помощник Алиса, с помощью которого можно не только найти нужную информацию, но и скоротать время в

iuni.ru

duckduckgo.com: поисковик без цензуры

Я очень много переосмыслил из того, что здесь написано. Исправить эту статью не получилось – пришлось бы переписывать всё. Поэтому рекомендую вместо прочтения статьи на этой странице, перейти к статье «Веб поисковики: из двух цензур выбираем меньшую».

Для меня самое удивительное в поисковике Яндекс является то, что им до сих пор пользуется огромное количество народа. Моё знакомство с Интернетом, как и большинства в то время, началось через поисковик Яндекс. Популярных поисковиков, в том числе и российских, в то время было много. Я искал то, что мне нужно, с помощью разных поисковых машин и довольно долго мой эмпирический опыт подтверждал, что если чего-то не нашёл Яндекс, то другие уж точно не найдут по этому запросу ничего полезного. Ещё мне нравился слоган того Яндекса, что «Яндекс не цензор Интернета, а его зеркало». Имелось ввиду то, что Яндекс не фильтрует выдачу, даже если некоторые её результаты кому-то не нравятся.

В то время было обычным делом доходить и до 7 и до 11 страниц выдачи и т. д. Т.к. то ли Рунет был ещё мал, то ли поисковые машины работали так себе. Это сейчас подавляющее большинство редко по какому запросу заходит хотя бы на вторую страницу результатов поиска.

Некоторое время спустя я заметил, что Гугл догнал Яндекс по качеству поисковой выдачи. Но я продолжал пользоваться Яндексом даже тогда, когда понял, что Гугл стал лучше. Всё дело в консервативности, присущей большинству людей: на Яндексе у меня была почта, да и вообще с переменами у людей связаны какие-то опасения. В общем, я решился и полностью перешёл на поиск от Гугл и уже через пару недель мои опасения по переходу стали казаться наивными и смешными.

Иногда я возвращаюсь, «тестирую» поисковую выдачу Яндекса и только лишний раз убеждаюсь, насколько я был прав, перестав им пользоваться. Рунет, глазами Яндекса, какой-то покоцанный, неполный, с какими-то перекошенными приоритетами.

Некоторое время назад, трудно сказать когда точно, но и Гугл перестал вызывать чувство полного удовлетворения. Т.е. в подавляющем большинстве Гугл идеален и выдаёт именно то, что нужно на самых первых позициях. Но при поиске, например, фильмов или чего-то другого контрафактного, Гугл цензурирует выдачу. Гугл прямо об этом сообщает прямо на странице выдачи. Это, а также постоянное «Гугл следит за пользователями» всегда толкали на эксперименты с другими поисковиками.

duckduckgo.com всегда был главным претендентом на замену Гуглу и Яндексу. Но, положа руку на сердце, никогда не дотягивал до уровня. Но некоторое время назад, я заметил очень разительные перемены в «уточке». И несколько недель назад всё-таки решился — я сделал duckduckgo.com поисковиком по умолчанию в своём браузере. На мой взгляд, по моим субъективным ощущениям, duckduckgo.com самое ясное, самое адекватное зеркало Интернета.

Секретом того, что данный поисковик так резко улучшился, является то, что он задействует не только свой собственный поисковый движок, но и пользуется в своей выдаче и результатами от Гугл, и результатами от Яндекс, и от других крупных поисковых сервисов. На мой взгляд, самые лучшие результаты сейчас выдаёт именно duckduckgo.com.

Я начал свою заметку с того, что большинство из нас очень консервативны и с большой неохотой меняет свои привычки. На сегодняшний день, судя по количеству переходов на мои сайты, пользователей duckduckgo.com совсем мало. Кто-то просто не знает о его существовании, кто-то попробовал раньше и ему не понравилось. Пришло время попробовать что-то новое. Всех желающих взглянуть на Интернет (Рунет) чистым, незамутнённым цензурой или бредовым «ранжированием» взглядом, я приглашаю попробовать поисковую систему DuckDuckGo, главным слоганом которой, между прочим, является «Поисковая система, которая не отслеживает вас».

Система содержит много разных интересных настроек, их вы сможете найти на этой странице https://duckduckgo.com/settings.

А о том, как реализовать поиск по своему собственному сайту с помощью DuckDuckGo, читайте в следующей статье.

codeby.net