Ip proxy: Список прокси серверов

Прокси – что это такое: для чего нужен прокси-сервер

Прокси-сервер – это промежуточная часть интернет-соединения, которая объединяет устройство пользователя с сервером ресурса. Такой удаленный сервер обеспечивает прием и передачу запросов, то есть он позволяет пользоваться интернетом без прямого коннекта между ПК и конечным ресурсом. Но для чего нужен прокси и как он функционирует?

Особенности работы технологии

Каждое устройство, которое используется для выхода во Всемирную сеть, должно иметь уникальный IP-адрес установленного формата. Эта стандартизированная цифровая маркировка позволяет определить регион нахождения пользователя, его провайдера, а также идентифицировать само устройство входа.

Чтобы понять, для чего используются прокси-сервера, нужно напомнить, что им тоже присваиваются определенные IP-адреса. При соединении пользовательского устройства через proxy запросы передаются на внешние ресурсы уже с адреса посреднического сервера.

Зная, что это такое – прокси-сервер, стоит понять, как к нему подключиться. Самым простым способом является внесение изменений в настройки подключения к сети в браузере. Для этого нужно предварительно получить адрес бесплатного или платного прокси. После этого все запросы будут передаваться и приниматься через сторонний сервер. Также существуют специальные программы, которые позволяют выбирать различные прокси-сервера и подключаться к ним без внесения изменений в настройки браузера.

Для чего используются прокси-сервера

В массовой практике эта технология используется для маскировки IP-адреса. Если пользователи сталкиваются с блокировкой сайтов и сервисов для своего региона или конкретного устройства, то они понимают, что, значит, нужно использовать прокси. К примеру, некоторые онлайн-игры предназначены для пользователей из США, но с помощью посреднического сервера к ним могут получить доступ любые пользователи.

Также можно выделить еще несколько ситуаций, когда предпочтительно пользоваться proxy-сервером:

• защита конфиденциальных данных;
• организация системы противодействия сетевым атакам;
• необходимость подключения к сети нескольких устройств с единственного IP-адреса;
• ограничение возможности посещения определенных сайтов. В таком случае прокси отсекает запросы на заданные ресурсы;
• потребность в минимизации сетевого трафика, ведь промежуточный сервер может сжимать информационный поток;
• необходимость снятия лишней нагрузки с канала соединения. В такой ситуации удаленный сервер используется для хранения и кэширования данных.

Итак, что такое HTTP прокси, теперь понятно, но нужно узнать, как получить такое подключение. В интернете можно найти сайты, на которых публикуются адреса бесплатных серверов, но в случае их использования придется смириться с достаточно низкой скоростью передачи и получения данных.

Преимущества использования прокси-серверов

В полной мере положительные качества технологии раскрываются, если говорить о профессиональных решениях, которыми активно пользуются в корпоративном секторе. К ним можно отнести следующие плюсы:

• proxy-подключение поддерживается всеми распространенными браузерами;
• легко реализуется возможность учета, контроля и фильтрации трафика;
• позволяет на безаппаратном уровне локализировать корпоративную сеть, оградив ее от сетевых угроз.

Сегодня на рынке появляются специальные сетевые маршрутизаторы, которые по своим функциям во многом копируют возможности proxy-серверов. Но посредническая технология передачи и приема данных продолжает пользоваться популярностью. Это связано с тем, что она намного безопаснее и проще во внедрении.

Виды прокси-подключения

Прозрачная схема – вид подключения, предусматривающий перенаправление всего или части трафика на прокси. Пользователь получает возможность использовать весь объем ресурсов сервера, но при этом он ограничивается в выборе способа подключения.

Обратная схема – это более сложная технология, которая используется для равномерного распределения нагрузки между серверами. При необходимости такой вид подключения может использоваться в качестве безопасного межсетевого экрана.

Прокси-сервера можно разделить не только по способам подключения, но и по технологии шифрования трафика:

• HTTP – самый популярный протокол, так как он совместим со всем стандартным оборудованием и программным обеспечением, что делает его универсальным;
• CGI – технология, разработанная для реализации анонимного подключения к интернету. Протокол поддерживается только браузерами;
• Socks – специальный протокол для профессионального использования. Обычно не работает со стандартными программами, поэтому требует использования особого софта;
• FTP – применяется в корпоративных целях и веб-разработке. Отличается высокой степенью защиты от внешних сетевых атак.

Тонкости использования бесплатных прокси

Главное преимущество открытых серверов очевидно: нет необходимости тратить деньги для их использования. Но стоит задуматься о следующих недостатках бесплатных proxy:

• практически всегда они работают слишком медленно с большой частотой сбоев;
• сервисы часто закрываются или переходят на платный формат;
• анонимность обычно не обеспечивается или не гарантируется;
• некоторые серверы используются для атак на устройства пользователей.

Соответственно, к использованию бесплатных прокси-серверов нужно подходить с аккуратностью.

что это такое и как использовать

Прокси – это промежуточный сервер, выполняющий посредническую функцию в цепи обмена данными между пользовательским устройством и целевым сервером. Если сказать проще, то это удаленный компьютер, необходимый для выхода в интернет. Он получает запросы от пользователя, передает их целевому серверу и обратно возвращает ответы. Чтобы полностью понять, что такое прокси, просто дочитайте эту статью до конца.

Каждое устройство, подключенное к Глобальной сети, получает собственный IP-адрес для безошибочной идентификации пользователя. В номере адреса зашифровывается информация о стране, локации и провайдере. Прокси-сервера тоже имеют собственные IP-адреса. Анализ пути соединения показывает, что запросы исходят от компьютера-посредника, что дает возможность пользователю сохранять свою анонимность.

Чтобы подключить прокси-соединение, нужно внести соответствующие настройки в браузер, который будет использоваться для передачи запросов и получения ответов. После этого последующие выходы в сеть будут реализовываться через IP-адрес удаленного сервера. Локальный ПК будет отправлять запросы на прокси, который обработает и отправит обратно полученный от веб-ресурса ответ.

Сегодня технология прокси преимущественно используется для того, чтобы скрыть реальный IP-адрес абонента. Эта потребность может возникать из-за широкого перечня причин. К примеру, маскировка необходима для посещения сайтов, которые заблокированы в определенном регионе. Прокси-сервера активно используются для анонимной рассылки электронных писем или для доступа к сервисам, на которых пользователь был заблокирован администрацией.

Есть еще несколько задач, которые способен решить прокси. Это:

• обеспечение безопасности локальной сети или отдельного устройства от определенных методов проведения сетевых атак;
• дополнительная защита важных данных;
• запрет на взаимодействие с конкретными сайтами.
  К примеру, некоторые компании закрывают сотрудникам доступ к социальным сетям и развлекательным порталам;
• подключение к интернету нескольких устройств при наличии только одного IP-адреса;
• экономия входящего трафика. Специальные настройки прокси позволяют передавать абоненту предварительно сжатые данные;
• снижение нагрузки на канал подключения к сети путем кэширования информации. В таком случае востребованные файлы хранятся на удаленном сервере, что увеличивает скорость получения данных.

Каждый желающий может найти IP-адреса бесплатных прокси-серверов: существует масса сайтов, на которых публикуются подборки доступных сервисов. Далеко не все пользователи разбираются в настройках браузера, поэтому они пользуются определенными программами. Специальный прокси-софт будет самостоятельно подключаться к удаленным посредникам, при этом юзер может выбрать регион подключения. Нужно отметить, что бесплатные прокси обычно работают медленно. Для получения быстрого доступа можно создать свой сервер на основе арендованных или собственных мощностей.

Технология получила широкое распространение в бизнес-сегменте. Практически все компании используют прокси для организации выхода собственной локальной сети в интернет. Массовую популярность можно объяснить следующими преимуществами:

• совместимостью со всеми популярными браузерами и операционными системами;
• возможностью полного контроля и учета входящего и исходящего трафика;
• интеграция антивирусного софта позволяет эффективно защищать сеть от внешних угроз;
• единый протокол передачи данных обеспечивает высокий уровень безопасности.

Сегодня активно развиваются прямые сетевые протоколы передачи данных. Также значительно снизилась стоимость маршрутизаторов, поддерживающих технологию NAT. Несмотря на это, частные и государственные организации продолжают активно использовать прокси-сервера для выхода в интернет. Это связано с тем, что proxy-технология доказала свою надежность.

Технология прямой связи, предполагающая передачу всего или части трафика на удаленный сервер. Плюсом этого вида соединения является максимальная простота настроек. Но прозрачный proxy имеет потенциальную уязвимость, связанную с тем, что пользователь всегда перенаправляется на единый узел.

В рамках реализации этой технологии прокси-сервер выполняет балансирующую функцию. Он регулирует и перераспределяет потоки сетевого трафика между несколькими веб-серверами. В таком случае обратный proxy используется как межсетевой экран, что увеличивает безопасность подключения.

Также существует и другая классификация прокси-серверов.

HTTP – это универсальная и самая распространенная технология. Она способна решать большинство задач, для которых используются proxy. Практически весь актуальный софт поддерживает HTTP-протокол.

CGI – технология, созданная специально для анонимайзинга. Она работает только во взаимодействии с браузерами.

Socks – вид прокси, который используется для обеспечения дополнительной безопасности локальной сети. Для работы с ним требуется специальное профессиональное программное обеспечение.

FTP – эта технология обычно используется в корпоративном секторе для создания единой локальной сети с высокой степенью защищенности от внешних атак.

Теперь вы знаете, что такое прокси, для чего они используются и какими бывают.

Internet Explorer использует прокси-сервер для локального IP-адреса — Browsers

• 01/21/2021
• Чтение занимает 2 мин

В этой статье

Эта статья поможет устранить проблему, которая возникает при подключении к веб-серверу с помощью IP-адреса или полного доменного имени (FQDN) в локальной сети.

Применимо к:   Windows 7 Корпоративная, Windows 7 Корпоративная N, Windows 7 Домашняя базовая, Windows 7 Домашняя расширенная, Windows 7 Профессиональная, Windows 7 Профессиональная N, Windows 7 Начальная, Windows 7 Начальная N, Windows 7 Максимальная, Windows 7 Максимальная N, Microsoft Windows Server 2003 Standard Edition (32-битная версия x86), Internet Explorer
Исходный номер КБ:   262981

Симптомы

При подключении к веб-серверу с помощью IP-адреса или полного доменного имени (FQDN) в локальной сети Microsoft Internet Explorer или Windows Internet Explorer подключается через назначенный прокси-сервер, даже если включен параметр обхода прокси-сервера для локальных адресов.

Однако при подключении к веб-серверу с использованием имени хоста (например, ) вместо http://webserver IP-адреса (например, ) или http://10.0.0.1 FQDN (например, ) прокси-сервер обходится, и Internet Explorer подключается непосредственно к http://webserver.domainname.com серверу.

Причина

По умолчанию при включаемом прокси-сервере обхода для локальных адресов проверяются только имена хостов.

Решение

Чтобы обойти диапазон IP-адресов или определенное доменное имя, укажите адреса в списке исключений прокси-сервера:

1. Откройте Internet Explorer и в меню Сервис выберите Свойства браузера.
2. На вкладке «Подключения» выберите «Параметры локальной сети».
3. Выберите «Дополнительные» и введите соответствующие сведения в области исключений.

Статус

Такое поведение является особенностью данного продукта.

Дуров готов пожертвовать миллионы долларов администраторам proxy и VPN

Основатель Telegram Павел Дуров начал выплачивать биткойн-гранты администраторам прокси-сервисов и VPN. Об этом он рассказал на своей странице «В контакте». По его словам, в течение этого года он готов пожертвовать «миллионы долларов» личных средств на это. Дуров также призвал всех помочь финансированием прокси-сервисов и VPN.

Дуров объясняет свои действия тем, что многие из независимых прокси-сервисов и VPN перестают работать из-за действий властей России. «Как показали последние сутки, в своей войне с прогрессом надзорные органы России готовы блокировать миллионы IP-адресов облачных хостингов, не считаясь с потерями посторонних проектов», – отмечает основатель Telegram.

Последние сутки Telegram находится под запретом российских интернет-провайдеров, отмечает Дуров в своем Telegram-канале. Несмотря на запрет, нет значительного снижения числа пользователей, потому что россияне обходят запрет через прокси-сервисы и VPN, отмечает он там же. «Спасибо за вашу поддержку и лояльность, российские пользователи Telegram. Спасибо, Apple, Google, Amazon, Microsoft – за то, что не принимали участия в политической цензуре», – пишет Дуров. Происходящее противостояние мессенджера и Роскомнадзора он называет «цифровым сопротивлением».

Роскомнадзор приступил к блокировке Telegram в понедельник. В погоне за мессенджером ведомство уже успело заблокировать более 15,8 млн IP-адресов, по данным сервиса для мониторинга блокировок IP-адресов 2018.schors.spb.ru. Однако Telegram у многих пользователей продолжает работать и без использования прокси и VPN. Дуров ранее заявлял, что мессенджер будет использовать встроенные методы обхода блокировок, не требующие действий от пользователей. Однако он не гарантировал доступность сервиса без использования VPN.

Суд постановил заблокировать Telegram в пятницу, 13 апреля. Кроме того, судья удовлетворила ходатайство Роскомнадзора о немедленном исполнении решения. Иск был подан после того, как Telegram отказался предоставлять ключи шифрования силовикам. Дуров неоднократно подчеркивал, что мессенджер не будет этого делать.

Зачем нужны прокси и VPN

Прокси-серверы и VPN помогают обходить блокировку по IP-адресам, которую проводит Роскомнадзор. Прокси-сервер отправляет трафик через некоторый промежуточный сервер в компьютерных сетях и выполняет роль посредника между пользователем и сервером, к которому обращается пользователь. А VPN (virtual private network) позволяет обеспечить сетевое соединение поверх другой сети (например, интернета). Используя при помощи VPN нероссийские IP-адреса, можно открывать сервисы, блокируемые на территории России.

Новость о предстоящей блокировке Telegram вызвала бум установок таких сервисов у россиян, писали «Ведомости». Разработчики отмечали резкий рост установок уже накануне суда 13 апреля, в ходе которого был запрещен доступ к Telegram в России. Число установок бота для Telegram Socks5 Bot в России раньше достигало 2000 в день, но на фоне угрозы блокировки Telegram резко выросло, говорит основатель сервиса комьюнити-аналитики Combot Федор Скуратов. За 11 апреля прокси-бот поставили больше 7000 новых пользователей, а в четверг, 12 апреля, — более 67 000. В итоге число подключений бота достигло 1 млн пользователей, говорит Скуратов. Разработчик решений в области кибербезопасности Veesecurity.com и автор популярного Telegram-канала о кибербезопасности Александр Литреев рассказывал, что за неделю до блокировки Telegram в России у Veesecurity было около 9000 пользователей прокси-сервера. Сейчас это число превышает 6 млн, говорит представитель компании.

Вечером 16 апреля Роскомнадзор стал рассылать владельцам прокси-серверов уведомления о скорой блокировке, объясняя это тем, что сайты содержат «призывы к массовым беспорядкам, осуществлению экстремистской деятельности, участию в массовых (публичных) мероприятиях, проводимых с нарушением установленного порядка». В России с 1 ноября 2017 г. действует закон о запрете использования VPN-сервисов и анонимайзеров для доступа к запрещенной в России информации. Однако владельцы прокси-серверов отказываются выполнять требования службы.

Прокси для замены ip-адреса

В своей статье «Извлечение всех ссылок вэб-сайта с помощью Python» я отметил, что сканирование (парсинг) вэб-сайта с помощью кода Python (например, с целью извлечения всех ссылок этого сайта) может привести к тому, что ваш IP-адрес будет заблокирован.

В этой статье предлагаю рассмотреть, один из примеров того, как использовать «бесплатные» прокси-серверы для того, чтобы это избежать блокировки вашего ip-адреса.

Справочно: прокси-сервер представляет собой промежуточный сервер в компьютерных сетях, выполняющий роль посредника между пользователем и целевым сервером, позволяющий клиентам как выполнять косвенные запросы к другим сетевым службам, так и получать ответы.

Вместо прямого подключения к целевому серверу, который может выполнять запрошенный ресурс, например, файл или веб-страницу, клиент направляет запрос на прокси-сервер, который оценивает запрос и выполняет необходимые сетевые транзакции.

Итак, начнем с установки необходимых библиотек.

pip install bs4 requests

Импортируем библиотеки.

import requests
import random
from bs4 import BeautifulSoup as bs

Далее создаем функцию, с помощью которой получим список бесплатных прокси-серверов, например, с одного из сайтов, который располагает данной информацией.

def get_proxy():
    url = "https://free-proxy-list.net/"
    # формируем объект sp, получив ответ http
    sp = bs(requests.get(url).content, "html.parser")
    proxy = []
    for row in sp.find("table", attrs={"id": "proxylisttable"}).find_all("tr")[1:]:
        tds = row.find_all("td")
        try:
            ip = tds[0].text.strip()
            port = tds[1].text.strip()
            host = f"{ip}:{port}"
            proxy.append(host)
        except IndexError:
            continue
    return proxy

Выполним эту функцию и посмотрим на полученный список. Надо заметить, что срок «жизни» этого списка недолгий. И для получения нового списка необходимо будет снова выполнить функцию get_proxy().

get_proxy()
proxy = get_proxy()
print(proxy)

На данном рисунке представлен фрагмент полученного списка.

Другая функция, назовем ее get_session, получив этот список создает сеанс запросов, который случайно выбирет для этого сеанса один из переданных ip-адресов прокси.

def get_session(proxy):
    # создание сеанса запроса
    session = requests.Session()
    # случайный выбор proxy
    proxy_ = random.choice(proxy)
    session.proxy = {"http": proxy_, "https": proxy_}
    return session

Чтобы это проверить, выполним следующий код, который отправит запрос на сайт http://icanhazip.com, возвращающий наш ip-адрес.

for i in range(4):
    q = get_session(proxy)
    try:
        print("Request page with IP:", q.get("http://icanhazip.com", timeout=1.5).text.strip())
    except Exception as e:
        continue

Из полученного результата можем видеть, что это будет не наш фактический ip-адрес, а один из ip-адресов списка proxy.

Request page with IP: 124.158.183.196
Request page with IP: 163.44.153.98
Request page with IP: 191.235.239.84
Request page with IP: 109.200.155.197

Если потребуется использовать прокси-сервер в более длительном процессе парсинга, то можно воспользоваться сервисом, предоставляемым Crawlera. Этот прокси-ротатор справится с большим объемом информации и с сайтами, защищенными от роботов.

Настройки для использования балансировщика или прокси‑сервера

Для кого этот документ

Этот документ содержит информацию для пользователей, у которых установлен прокси‑сервер или балансировщик, принимающий запросы и проксирующий их на WAF‑ноды Валарм.

Если в вашей системе нет такого балансировщика, вы можете пропустить этот шаг настройки.

По умолчанию WAF‑нода Валарм принимает IP‑адрес, с которого пришел запрос, за IP‑адрес источника запроса.
Если перед передачей на ноду запрос прошел через прокси‑сервер или балансировщик нагрузки, в веб‑интерфейсе в качестве IP‑адреса источника запроса будет отображаться IP‑адрес балансировщика.

Для того, чтобы веб‑интерфейс Валарм корректно отображал IP‑адрес источника запросов, настройте балансировщик и WAF‑ноду так, чтобы они передавали IP‑адрес источника в заголовке запроса.

На рисунке ниже изображен пример использования заголовка X‑Client‑IP сервером HAProxy для отправки IP‑адреса клиента.

Для того, чтобы настроить отправку IP‑адреса клиента в заголовке запроса прокси‑сервером или балансировщиком, выполните следующие шаги:

1. Настройка прокси‑сервера/балансировщика нагрузки

2. Настройка WAF‑ноды

Настройка прокси‑сервера или балансировщика нагрузки

Настройте прокси‑сервер или балансировщик нагрузки так, чтобы он записывал IP‑адрес, с которого был получен запрос, в заголовок этого запроса и отправлял полученный запрос с заголовком на WAF‑ноду Валарм.

Вы можете узнать о том, как настроить ваш прокси‑сервер или балансировщик, из его официальной документации. Пример ниже демонстрирует настройку заголовка X‑Client‑IP для балансировщика HAProxy.

Пример настройки балансировщика HAProxy

Директива option forwardfor сообщает балансировщику HAProxy о том, что в запрос необходимо добавить заголовок со значением IP‑адреса клиента.
Для этих целей вы можете использовать заголовок X‑Client‑IP.

В файле конфигурации /etc/haproxy/haproxy.cfg вставьте строку option forwardfor header X‑Client‑IP в блок директивы backend, отвечающий за связь HAProxy с WAF‑нодой Валарм.

Пример фрагмента конфигурационного файла /etc/haproxy/haproxy.cfg:

# Публичный IP‑адрес для получения запросов
frontend my_frontend
    bind <haproxy-ip>
    mode http
    default_backend my_backend

# Бэкенд с WAF‑нодой Валарм
backend my_backend
    mode http
option forwardfor header X-Client-IP
server wallarm-node <node-ip>

В этом примере:

• <haproxy-ip> — IP‑адрес прокси‑сервера HAProxy, на который он принимает запросы от клиентов;

• <node-ip> — IP‑адрес WAF‑ноды Валарм, на который он принимает запросы от HAProxy.

Настройка WAF‑ноды

Для того, чтобы WAF‑нода Валарм распознавала значение заголовка X‑Client‑IP как адрес источника запроса, добавьте директивы set_real_ip_from и real_ip_header в конфигурационный файл NGINX.

Директива real_ip_header сообщает, что настоящий IP‑адрес клиента, отправившего запрос, передается в заголовке X‑Client‑IP.

Директива set_real_ip_from указывает IP‑адрес вашего прокси‑сервера или балансировщика, с которого приходят запросы с заголовком X‑Client‑IP.

Если в вашей системе несколько таких прокси‑серверов или балансировщиков, укажите несколько директив set_real_ip_from с их IP‑адресами.
Вы также можете указывать диапазоны IP‑адресов (например, 1.2.3.0/24).

Пример фрагмента конфигурационного файла /etc/nginx/conf.d/default.conf:

location / {
    # Настройка режима проксирования и фильтрации WAF‑ноды
    wallarm_mode block;

    # Настройка проксирования запросов на защищаемое приложение
    proxy_pass http://<app-ip>;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_forwarded_for;

     # Настройка определения настоящего IP источника запросов
    set_real_ip_from <proxy-ip1>;
    set_real_ip_from <proxy-ip2>;
    real_ip_header X-Client-IP;
}

В этом примере:

• <app-ip> — IP‑адрес защищаемого приложения, на который оно принимает запросы от WAF‑ноды;

• <proxy-ip1> и <proxy-ip2> — IP‑адреса прокси‑серверов, с которых они отправляют запросы на WAF‑ноду Валарм.

После того, как вы сохранили измененный файл конфигурации NGINX, перезагрузите NGINX:

sudo service nginx restart

Проверка результата

Проведите тестовую атаку и проверьте, что в веб‑интерфейсе Валарм корректно отображается адрес источника запроса:

Анонимный парсинг с помощью Tor — Разработка на vc.ru

{«id»:167503,»url»:»https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor»,»title»:»\u0410\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Tor»,»services»:{«facebook»:{«url»:»https:\/\/www.facebook.com\/sharer\/sharer.php?u=https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor»,»short_name»:»FB»,»title»:»Facebook»,»width»:600,»height»:450},»vkontakte»:{«url»:»https:\/\/vk.com\/share.php?url=https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor&title=\u0410\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Tor»,»short_name»:»VK»,»title»:»\u0412\u041a\u043e\u043d\u0442\u0430\u043a\u0442\u0435″,»width»:600,»height»:450},»twitter»:{«url»:»https:\/\/twitter. com\/intent\/tweet?url=https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor&text=\u0410\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Tor»,»short_name»:»TW»,»title»:»Twitter»,»width»:600,»height»:450},»telegram»:{«url»:»tg:\/\/msg_url?url=https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor&text=\u0410\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Tor»,»short_name»:»TG»,»title»:»Telegram»,»width»:600,»height»:450},»odnoklassniki»:{«url»:»http:\/\/connect.ok.ru\/dk?st.cmd=WidgetSharePreview&service=odnoklassniki&st.shareUrl=https:\/\/vc.ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor»,»short_name»:»OK»,»title»:»\u041e\u0434\u043d\u043e\u043a\u043b\u0430\u0441\u0441\u043d\u0438\u043a\u0438″,»width»:600,»height»:450},»email»:{«url»:»mailto:?subject=\u0410\u043d\u043e\u043d\u0438\u043c\u043d\u044b\u0439 \u043f\u0430\u0440\u0441\u0438\u043d\u0433 \u0441 \u043f\u043e\u043c\u043e\u0449\u044c\u044e Tor&body=https:\/\/vc. ru\/dev\/167503-anonimnyy-parsing-s-pomoshchyu-tor»,»short_name»:»Email»,»title»:»\u041e\u0442\u043f\u0440\u0430\u0432\u0438\u0442\u044c \u043d\u0430 \u043f\u043e\u0447\u0442\u0443″,»width»:600,»height»:450}},»isFavorited»:false}

2706 просмотров

Что такое прокси или прокси-сервер

Прокси-сервер

Прокси-сервер — это, по сути, другой компьютер, который служит концентратором, через который обрабатываются интернет-запросы. Подключившись через один из этих серверов, ваш компьютер отправляет ваши запросы на сервер, который затем обрабатывает ваш запрос и возвращает то, что вы хотели. Более того, таким образом он служит посредником между вашим домашним компьютером и остальными компьютерами в Интернете. Прокси-серверы используются по ряду причин, таких как фильтрация веб-контента, обход ограничений, таких как родительская блокировка, просмотр загрузок и выгрузок, а также обеспечение анонимности при работе в Интернете.

Зачем нужен прокси?

Если вы хотите просматривать веб-страницы анонимно, прокси-серверы могут предоставить вам средство, позволяющее скрыть ваш домашний IP-адрес от остального мира. При подключении к Интернету через прокси домашний IP-адрес вашего компьютера не будет отображаться, а будет отображаться IP-адрес прокси-сервера. Это может обеспечить вам большую конфиденциальность, чем если бы вы просто подключались к Интернету напрямую. Чтобы уточнить, есть ряд прокси, которые могут предоставить вам услуги.Например, мы искали и нашли несколько. Некоторые из них бесплатны, а некоторые взимают небольшую плату. Выбор за вами, но мы обнаружили, что платные услуги более надежны, быстрее и безопаснее.

Проверка прокси

Скрыть мой IP

Как настроить прокси с помощью браузера

Настройки Internet Explorer

• Инструменты щелчка (см. Изображение 1)
• Выберите параметры Интернета (см. Изображение 1)
• Выберите вкладку «Подключения» (см. Изображение 2)
• Щелкните Настройки LAN (см. Изображение 2)
• Установите флажок «Использовать прокси-сервер для вашей локальной сети» (см. Изображение 3).
• Введите IP-адрес сервера и номер порта (см. Изображение 3)
• Нажмите ОК (см. Изображение 3)
• Короче, нажмите здесь, чтобы узнать, сработали ли ваши настройки

Настройки Firefox

• Нажмите кнопку Firefox (кнопка в верхнем левом углу)
• Выберите параметры
• Щелкните Параметры в новой вкладке
• Выберите вкладку «Дополнительно»
• Нажмите «Настройки»
• Нажмите «Ручные настройки прокси-сервера»
• В поле HTTP Proxy введите IP-адрес сервера и номер порта
• Нажмите ОК
• Короче, нажмите здесь, чтобы узнать, сработали ли ваши настройки

Настройки Google Chrome

• Нажмите кнопку настройки и управления (кнопка с изображением гаечного ключа в верхнем правом углу
• Выбрать под капотом
• Выберите Изменить настройки прокси
• Нажмите Настройки LAN
• Установите флажок «Использовать прокси-сервер для вашей локальной сети».
• Введите IP-адрес сервера и номер порта
• Нажмите ОК
• Короче, нажмите здесь, чтобы узнать, сработали ли ваши настройки

Настройки Safari

Обнаружение прокси

Во-первых, вы действительно прячетесь? Кроме того, мы предоставляем инструмент обнаружения на WhatIsMyIP.com. Кроме того, если служба настроена правильно, вы увидите ее IP-адрес на странице проверки и можете получить сообщение о том, что он был обнаружен. Прежде всего, невозможно обнаружить все прокси. Чтобы уточнить, мы можем не обнаружить тот, который используется, но это не значит, что другие сайты не могут. Это также не означает, что вы полностью анонимны.

Статьи по теме

Полностью ли прокси скрывает мою личность? — Наконец, мы собираемся завершить нашу серию статей обо всем, что вам нужно знать о прокси, с помощью простого вопроса.

Обнаружение и блокировка прокси-серверов — Зачем обнаруживать прокси-серверы? Анонимность легко достигается в Интернете. Обнаружение прокси-сервера помогает преодолеть скрытую личность кого-то, чтобы помочь веб-мастерам.

Что такое веб-прокси по отношению к IP? — Веб-прокси предоставляет быстрый и простой способ изменить ваш IP-адрес во время серфинга в Интернете, чтобы обеспечить анонимность при посещении веб-сайта.

Советы по защите конфиденциальности в Интернете

Три простых способа повысить конфиденциальность в Интернете

ProxyMesh HTTP-прокси-сервер | Ротация анонимных IP-прокси-серверов

Быстрые прокси-серверы

С семью прокси-серверами США , a Прокси-сервер Великобритании , прокси-сервер Франция , прокси-сервер Нидерланды , прокси-сервер Германия , прокси-сервер Швейцария , прокси-сервер Япония , прокси-сервер для Сингапура и прокси-сервер для Австралии . ProxyMesh обеспечивает быстрый доступ в Северной Америке, Европе и Азии. Серверы имеют время безотказной работы более 99%, обрабатывают сотни одновременных подключений, и вы даже можете использовать ProxyMesh для очистки экрана в реальном времени.

Простая конфигурация

Настроить программы, такие как Phantombuster, для использования ProxyMesh легко с помощью аутентификации IP-адреса. Просто добавьте свой IP-адрес в ProxyMesh, затем настройте параметры прокси-сервера, и вы сразу же будете использовать ProxyMesh. Для веб-браузеров мы также предоставляем URL-адрес автоконфигурации прокси.

Несколько местоположений

ProxyMesh имеет анонимные прокси-серверы в 15 локациях: 7 различных штатах США; Лондон, Великобритания; Амстердам, Нидерланды; Франкфурт, Германия; Цюрих, Швейцария; Токио, Япония; Сингапур; и Перт, Австралия. Каждый сервер предоставляет 10 исходящих чередующихся IP-адресов, всего 150 IP-адресов за раз и 300 IP-адресов в день . Мы также предоставляем открытые прокси-серверы с сотнями IP-адресов, меняющихся каждые 15 минут, а также всемирный прокси-сервер с 25000 IP-адресами в 16 странах .

Скрыть свой IP-адрес

При использовании наших анонимных прокси-серверов ваш IP-адрес будет замаскирован, а все идентифицирующие заголовки будут удалены. Ваши запросы будут поступать с одного из 10 разных IP-адресов прокси, а не с одного IP-адреса.

Избегайте запретов IP и ограничений скорости

Имея 20 разных IP-адресов каждый день во всех 15 прокси-серверах, вы можете делать до 300 раз больше запросов для оценки ограниченных API или иметь 1/300-й шанс быть заблокированным по IP.

Вращающиеся прокси-серверы

Каждое расположение ProxyMesh имеет 10 прокси-серверов IP, которые меняются каждые 12 часов. Это означает 20 разных IP-адресов каждый день в каждом месте без ручного переключения прокси. При объединении всех 15 локаций ротация IP-адресов обеспечивает высокую анонимность: 300 IP-адресов в день .

Прокси-серверов и туннелирование — HTTP

При навигации по различным сетям Интернета прокси-серверы и HTTP-туннели облегчают доступ к контенту во всемирной паутине.Прокси-сервер может находиться на локальном компьютере пользователя или в любом месте между компьютером пользователя и конечным сервером в Интернете. На этой странице представлены некоторые основные сведения о прокси-серверах и представлены некоторые параметры конфигурации.

Существует два типа прокси: прокси-серверы прямого доступа (или туннель, или шлюз) и обратные прокси-серверы (используются для управления и защиты доступа к серверу для балансировки нагрузки, аутентификации, дешифрования или кэширования).

Прямой прокси, или шлюз, или просто «прокси» предоставляет услуги прокси для клиента или группы клиентов.Скорее всего, в Интернете существуют сотни тысяч открытых прокси-серверов. Они хранят и пересылают Интернет-сервисы (например, DNS или веб-страницы), чтобы уменьшить и контролировать полосу пропускания, используемую группой.

также могут быть анонимными прокси-серверами и позволяют пользователям скрывать свой IP-адрес при просмотре веб-страниц или использовании других интернет-сервисов. TOR (луковый маршрутизатор) направляет интернет-трафик через несколько прокси-серверов для анонимности.

Как следует из названия, обратный прокси-сервер делает противоположное тому, что делает прямой прокси: прямой прокси действует от имени клиентов (или запрашивающих хосты).Прямые прокси-серверы могут скрывать идентификаторы клиентов, тогда как обратные прокси-серверы могут скрывать идентификаторы серверов. У обратных прокси есть несколько вариантов использования, несколько из них:

• Балансировка нагрузки: распределение нагрузки на несколько веб-серверов,
• Кэшировать статическое содержимое: разгрузить веб-серверы путем кэширования статического содержимого, такого как изображения,
• Сжатие: сжимайте и оптимизируйте контент, чтобы ускорить загрузку.

Прокси-серверы могут отображать запросы, как если бы они исходили с IP-адреса прокси. Это может быть полезно, если прокси-сервер используется для обеспечения анонимности клиента, но в других случаях информация из исходного запроса теряется. IP-адрес исходного клиента часто используется для отладки, статистики или создания содержимого, зависящего от местоположения. Распространенный способ раскрытия этой информации — использование следующих заголовков HTTP:

Стандартизированный заголовок:

Переадресовано

Содержит информацию с клиентской стороны прокси-серверов, которая изменяется или теряется, когда прокси-сервер участвует в пути запроса.

Или де-факто стандартные версии:

X-Forwarded-For Этот API не стандартизирован.

Определяет исходные IP-адреса клиента, подключающегося к веб-серверу через прокси-сервер HTTP или балансировщик нагрузки.

X-Forwarded-Host Этот API не стандартизирован.

Определяет исходный хост, запрошенный клиентом для подключения к вашему прокси-серверу или подсистеме балансировки нагрузки.

X-Forwarded-Proto Этот API не стандартизирован.

определяет протокол (HTTP или HTTPS), который клиент использовал для подключения к вашему прокси-серверу или подсистеме балансировки нагрузки.

Для предоставления информации о самом прокси (а не о подключении к нему клиента) можно использовать заголовок Via .

Через

Добавляется прокси-серверами, как прямыми, так и обратными, и может отображаться в заголовках запросов и ответов.

Туннелирование передает данные частной сети и информацию протокола через общедоступную сеть путем инкапсуляции данных.HTTP-туннелирование использует протокол более высокого уровня (HTTP) для передачи протокола более низкого уровня (TCP).

Протокол HTTP определяет метод запроса под названием CONNECT . Он запускает двустороннюю связь с запрошенным ресурсом и может использоваться для открытия туннеля. Таким образом клиент за HTTP-прокси может получить доступ к веб-сайтам с помощью SSL (например, HTTPS, порт 443). Однако обратите внимание, что не все прокси-серверы поддерживают метод CONNECT или ограничивают его только портом 443.

См. Также статью о HTTP-туннеле в Википедии.

Файл автоконфигурации прокси (PAC) — это функция JavaScript, которая определяет, идут ли запросы веб-браузера (HTTP, HTTPS и FTP) непосредственно к месту назначения или перенаправляются на веб-прокси-сервер. Функция JavaScript, содержащаяся в файле PAC, определяет функцию:

Файл автоконфигурации должен быть сохранен в файл с расширением имени файла .pac :

  proxy.pac  

И тип MIME установлен на:

  приложение / x-ns-proxy-autoconfig  

Файл состоит из функции с именем FindProxyForURL .Пример ниже будет работать в среде, где внутренний DNS-сервер настроен так, что он может разрешать только внутренние имена хостов, и цель состоит в том, чтобы использовать прокси только для хостов, которые не разрешаются:

  function FindProxyForURL (url, host) {
  если (isResolvable (хост))
    вернуть «ПРЯМОЙ»;
  еще
    return "PROXY proxy. mydomain.com:8080";
}  

Дополнительные примеры см. В разделе Автоконфигурация прокси (PAC).

Найти анонимный интернет-прокси с IP-адресом и геолокацией Документация по продукту

Интернет-мошенничество — растущая проблема для розничных продавцов и других предприятий.Только в 2011 году мошенники украли более 3,4 миллиарда долларов. Один из способов избежать мошенничества: изучить IP-адреса и определить геолокацию пользователей. Однако этот метод работает только тогда, когда он также определяет анонимные прокси.

Что это такое и как работает

Анонимный прокси-сервер Интернета, также известный как «анонимайзер» — это сервер в Интернете, который действует как канал связи между компьютером пользователя и различными Интернет-ресурсами, такими как веб-сайты, приложения электронной коммерции, группы новостей, чаты и другие.Прокси-серверы дают пользователям возможность маскировать свои общедоступные IP-адреса, чтобы предотвратить обнаружение их личности в сети.

Когда пользователь просматривает Интернет с помощью анонимного прокси, анонимайзер появляется вместо пользователя. Веб-сайты и приложения электронной коммерции могут не знать, что входящий трафик и запросы проходят через прокси-сервер. Все запросы данных и все ответы обмениваются с анонимайзером, который, в свою очередь, обменивается этой информацией в частном порядке с фактическим пользователем.

Некоторые люди используют прокси для защиты своей личности, в то время как другие используют прокси для целей мошенничества или обхода ограничений. В любом случае анонимайзеры увеличивают риск одобрения злонамеренных пользователей или блокировки законных клиентов.

Законное использование анонимных интернет-прокси

Некоторые анонимные прокси-серверы предлагают законные службы конфиденциальности, которые помогают пользователям защитить себя от всплывающей рекламы, файлов cookie, интернет-цензуры или репрессивных правительств.Многие веб-сайты используют методы чтения информации браузера посетителя или размещения файлов cookie на компьютере посетителя, чтобы отслеживать действия этого человека в Интернете или показывать им нежелательную рекламу.

Перенаправление трафика браузера через анонимный прокси-сервер не позволяет веб-сайту эффективно использовать эти методы идентификации, отслеживания и таргетинга и помогает сохранить конфиденциальность пользователей. В некоторых случаях репрессивные правительства внедрили технологии, чтобы препятствовать доступу пользователей Интернета к определенным веб-сайтам или отслеживать людей в Интернете.Использование анонимного прокси-сервера позволяет обойти эти ограничения и защитить личность пользователя.

Незаконное использование анонимных интернет-прокси

Преступные анонимайзеры были тайно настроены с конкретной целью включения и сокрытия злонамеренной онлайн-активности. Их часто трудно найти, потому что они рекламируются только в хакерских и криминальных сообществах. Некоторые мошенники используют анонимайзеры при ведении незаконной деятельности в Интернете. Когда они заходят на веб-сайт таким образом, они словно проходят через парадную дверь кирпичного завода в лыжной маске. В качестве альтернативы некоторые люди используют анонимные прокси-серверы, чтобы обойти ограничения, ограничивающие онлайн-доступ к контенту или данным в определенных регионах. Люди, которые живут за пределами этих мест, могут использовать прокси-сервер для получения доступа к контенту, который запрещен по контракту или по закону.

Идентификация Интернет-прокси

С 2005 года Neustar IP Intelligence разработала собственную методологию идентификации и устаревания интернет-прокси. Он широко используется в сочетании с другими географическими и технографическими данными Neustar IP Intelligence для построения различной бизнес-логики, которая является краеугольным камнем многих платформ для мошенничества, банковских операций и управления цифровыми правами.

Процесс обнаружения и устаревания прокси-серверов Neustar:

1. Получить информацию о подозреваемом прокси
2. Подозреваемый прокси-сервер проверяется на активность
3. Если результат отрицательный, повторить тест позже
4. Если тест положительный, прокси добавляется в GeoPoint
5. Прокси-сервер регулярно тестируется для подтверждения непрерывной активности
6. Прокси остается в GeoPoint, пока активен
7. Прокси-сервер удаляется из GeoPoint после периода бездействия

Интеллект Интернет-прокси

Возможность охарактеризовать прокси-соединение для доступа пользователя к вашему сайту позволяет вам уточнить логику принятия решений в соответствии с потребностями вашего бизнеса. Следующие поля доступны в GeoPoint для интеллектуальных решений на основе IP.

Статус анонимайзера

Статус присваивается IP-адресам, которые были определены как прокси. Статус — это индикатор на самом высоком уровне того, что IP-адрес может быть связан с анонимизирующим прокси. Это относительный показатель того, как давно прокси-сервер был обнаружен как активный, и его категория.

Последний обнаруженный Интернет-прокси

Предоставляет самую последнюю дату, когда технология обнаружения прокси-сервера Neustar IP Intelligence подтвердила, что прокси-сервер был активен или служил в качестве частного прокси.Он обеспечивает более детальную индикацию того, что IP-адрес может быть связан с анонимизирующим прокси. Использование даты «последнего обнаружения» позволяет вам решить, насколько серьезную угрозу для вашего бизнеса представляет использование прокси-сервера.

Тип интернет-прокси

Идентифицируется тип сети или протокола, используемого сервером для прокси-сервера пользовательского соединения. Классификация типов прокси включает использование http, Tor, web и SOCKS.

Интернет-прокси, уровень

Уровень описывает степень сокрытия, обеспечиваемую использованием прокси.В то время как все прокси-серверы действуют как посредник между пользователем и запрашиваемым веб-сайтом, прокси-серверы обеспечивают различные уровни обфускации исходного IP-адреса пользователя. Уровни запутывания включают: прозрачный, анонимный, искажающий и элитный.

Скачать PDF

Internet Explorer использует прокси-сервер для локального IP-адреса — Браузеры

• 21.01.2021
• 2 минуты на чтение

В этой статье

Эта статья поможет вам решить проблему, которая возникает при подключении к веб-серверу с использованием IP-адреса или полного доменного имени (FQDN) в локальной сети.

Применимо к: Windows 7 Enterprise, Windows 7 Enterprise N, Windows 7 Home Basic, Windows 7 Home Premium, Windows 7 Professional, Windows 7 Professional N, Windows 7 Starter, Windows 7 Starter N, Windows 7 Ultimate, Windows 7 Ultimate N, Microsoft Windows Server 2003 Standard Edition (32-разрядная версия x86), Internet Explorer
Исходный номер базы знаний: 262981

Симптомы

Когда вы подключаетесь к веб-серверу с использованием адреса Интернет-протокола (IP) или полного доменного имени (FQDN) в локальной сети, Microsoft Internet Explorer или Windows Internet Explorer подключается через назначенный прокси-сервер, даже если прокси-сервер Bypass для локальные адреса опция включена.

Однако, если вы подключаетесь к веб-серверу, используя имя хоста (например, http: // webserver ) вместо IP-адреса (например, http://10.0.0.1 ) или FQDN (например, , http://webserver.domainname.com ), прокси-сервер обходится, и Internet Explorer подключается непосредственно к серверу.

Причина

По умолчанию, если включен параметр Обход прокси-сервера для локальных адресов , проверяются только имена хостов.

Разрешение

Чтобы обойти диапазон IP-адресов или конкретное доменное имя, укажите адреса в списке исключений прокси:

1. В Internet Explorer в меню Инструменты выберите Свойства обозревателя .
2. На вкладке Connections выберите LAN Settings .
3. Выберите Advanced и введите соответствующую информацию в области Исключения .

Статус

Такое поведение является преднамеренным.

Экспресс за прокси

При запуске приложения Express за обратным прокси-сервером некоторые из API Express могут возвращать значения, отличные от ожидаемых. Чтобы отрегулировать это, можно использовать настройку доверенного прокси приложения для предоставления информации, предоставляемой обратным прокси, в API Express. Наиболее распространенная проблема заключается в том, что экспресс-API, открывающие IP-адрес клиента, вместо этого могут отображать внутренний IP-адрес обратного прокси.

При настройке параметра доверенного прокси-сервера важно понимать точную настройку обратного прокси-сервера. Поскольку этот параметр будет доверять значениям, указанным в запросе, важно, чтобы комбинация параметров в Express соответствовала работе обратного прокси.

Параметр приложения доверенный прокси-сервер может иметь одно из значений, перечисленных в следующей таблице.

  ок. set ('trust proxy', 'loopback') // указываем одну подсеть
app.set ('trust proxy', 'loopback, 123.123.123.123') // указываем подсеть и адрес
app.set ('trust proxy', 'loopback, linklocal, uniquelocal') // укажите несколько подсетей как CSV
app.set ('trust proxy', ['loopback', 'linklocal', 'uniquelocal']) // указываем несколько подсетей в виде массива
  

  app.set ('trust proxy', function (ip) {
  if (ip === '127.0.0.1' || ip === '123.123.123.123') return true // доверенные IP-адреса
  иначе вернуть ложь
})
  

Включение доверенного прокси будет иметь следующие последствия:

• Значение req.hostname выводится из значения, установленного в заголовке X-Forwarded-Host , который может быть установлен клиентом или прокси.

• X-Forwarded-Proto может быть установлен обратным прокси, чтобы сообщить приложению, что это https или http или даже недопустимое имя.Это значение отражается в req.protocol.

• Значения req.ip и req.ips заполняются списком адресов из X-Forwarded-For .

Настройка доверенного прокси-сервера реализуется с помощью пакета proxy-addr. Для получения дополнительной информации см. Его документацию.

ietf-masque-ip-proxy-reqs-01 — Требования к протоколу MASQUE для прокси IP-трафика

Сетевая рабочая группа А.Черняховский
Интернет-проект Д. МакКолла
Предполагаемый статус: информационный D. Schinazi
Истекает: 12 июля 2021 г. Google LLC
                                                          8 января 2021 г.


         Требования к протоколу MASQUE для прокси IP-трафика
                   проект-ietf-masque-IP-прокси-reqs-01

Абстрактный

   Среди участников рабочей группы MASQUE есть интерес к
   разработка протокола, который может передавать IP-трафик через HTTP.Этот
   В документе описывается набор требований к такому протоколу.

   Обсуждение этой работы приветствуется на MASQUE IETF.
   список рассылки [email protected] или в репозитории GitHub, который
   содержит черновик: https://github.com/ietf-wg-masque/draft-ietf-
   маска-IP-прокси-запрос.

Дискуссионные площадки

   Это примечание должно быть удалено перед публикацией как RFC.

   Исходный код этого черновика и средство отслеживания проблем можно найти по адресу
   https://github.com/ietf-wg-masque/draft-ietf-masque-ip-proxy-reqs.Статус этой памятки

   Данный Интернет-проект представлен в полном соответствии с
   положения BCP 78 и BCP 79.

   Интернет-проекты - это рабочие документы Интернет-инжиниринга.
   Целевая группа (IETF). Обратите внимание, что другие группы также могут распространять
   рабочие документы в виде Интернет-проектов. Список текущих Интернет-
   Черновики находятся на https://datatracker.ietf.org/drafts/current/.

   Интернет-проекты - это проекты документов, срок действия которых составляет не более шести месяцев.
   и могут быть обновлены, заменены или исключены другими документами в любое время
   время.Использовать Интернет-черновики в качестве справочника неуместно.
   материала или цитировать их иначе, как «незавершенная работа».

   Срок действия этого Интернет-проекта истекает 12 июля 2021 года.







Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 1] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


Уведомление об авторских правах

   Авторское право (c) 2021 IETF Trust и лица, указанные в качестве
   авторы документа. Все права защищены.

   Этот документ подпадает под действие BCP 78 и Правового регулирования IETF Trust.
   Положения, касающиеся документов IETF (https: // tustee.ietf.org/
   license-info), действующий на дату публикации этого документа.
   Пожалуйста, внимательно ознакомьтесь с этими документами, поскольку они описывают ваши права.
   и ограничения в отношении этого документа. Компоненты кода
   извлеченный из этого документа, должен включать упрощенный текст лицензии BSD
   как описано в Разделе 4.e Правовых положений о трастах и ​​являются
   предоставляется без гарантии, как описано в Упрощенной лицензии BSD.

Оглавление

   1. Введение  . . . . . . . . . . . .. . . . . . . . . . . . 3
     1.1. Условные обозначения. . . . . . . . . . . . . . . . . . . . . . . 3
     1.2. Определения. . . . . . . . . . . . . . . . . . . . . . . 3
   2. Варианты использования. . . . . . . . . . . . . . . . . . . . . . . . . . 4
     2.1. Потребительский VPN. . . . . . . . . . . . . . . . . . . . . . 4
     2.2. Точка-точка подключения. . . . . . . . . . . . . . . 4
     2.3. Укажите на подключение к сети. . . . . . . . . . . . . . 4
     2.4. Сеть к сетевому подключению.. . . . . . . . . . . . 4
   3. Требования. . . . . . . . . . . . . . . . . . . . . . . . 5
     3.1. Установление IP-сессии. . . . . . . . . . . . . . . . 5
     3.2. Проксирование IP-пакетов. . . . . . . . . . . . . . . . . 5
     3.3. Максимальный блок передачи. . . . . . . . . . . . . . . . 5
     3.4. Присвоение IP. . . . . . . . . . . . . . . . . . . . . . 5
     3.5. Согласование маршрута. . . . . . . . . . . . . . . . . . . . 5
     3.6. Личность  . . . . . . .. . . . . . . . . . . . . . . . . 6
     3.7. Транспортная безопасность. . . . . . . . . . . . . . . . . . . 6
     3.8. Управление потоком  . . . . . . . . . . . . . . . . . . . . . . 6
     3.9. Неразличимость. . . . . . . . . . . . . . . . . . 6
     3.10. Поддержка HTTP / 2 и HTTP / 3. . . . . . . . . . . . . . . . 6
     3.11. Мультиплексирование. . . . . . . . . . . . . . . . . . . . . . 6
   4. Расширяемость. . . . . . . . . . . . . . . . . . . . . . . . 7
     4.1. Балансировка нагрузки  .. . . . . . . . . . . . . . . . . . . . 7
     4.2. Аутентификация  . . . . . . . . . . . . . . . . . . . . . 7
     4.3. Надежная передача IP-пакетов. . . . . . . . . . . 7
     4.4. Конфигурация перегрузки и управления потоком. . . . . . 7
     4.5. Сжатие передачи данных. . . . . . . . . . . . . . . 8
   5. Нет требований. . . . . . . . . . . . . . . . . . . . . . 8
     5.1. Обращаясь к архитектуре. . . . . . . . . . . . . . . . . 8
     5.2. Перевод.. . . . . . . . . . . . . . . . . . . . . . 8
     5.3. Извлечение IP-пакетов. . . . . . . . . . . . . . . . . . 9
   6. Соображения безопасности. . . . . . . . . . . . . . . . . . . 9
   7. Соображения IANA. . . . . . . . . . . . . . . . . . . . . 9



Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 2] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


   Благодарности. . . . . . . . . . . . . . . . . . . . .. . . . 9
   Рекомендации  . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
     Нормативные ссылки  . . . . . . . . . . . . . . . . . . . . . 9
     Информативные ссылки. . . . . . . . . . . . . . . . . . . . 10
   Адреса авторов. . . . . . . . . . . . . . . . . . . . . . . 10

1. Введение

   Существует несколько стандартов IETF для проксирования IP таким образом, чтобы
   аутентифицированный и конфиденциальный, например IKEv2 / IPsec [IKEV2].
   Однако они отличаются от обычного интернет-трафика и
   часто блокируется.Кроме того, развертывание крупных серверов показало
   заинтересованность в использовании решения VPN, которое усиливает существующую безопасность
   такие протоколы, как QUIC [QUIC] или TLS [TLS], чтобы избежать добавления еще одного
   протокол к их позе безопасности.

   В этом документе описывается набор требований к протоколу, который
   может проксировать IP-трафик через HTTP. Изложенные ниже требования:
   аналогично соображениям, сделанным при разработке CONNECT-UDP
   метод [CONNECT-UDP], дополнительно включая IP-адрес
   требования, такие как средства согласования маршрутов, которые должны
   рекламироваться на любом конце соединения.Обсуждение этой работы приветствуется на MASQUE IETF.
   список рассылки [email protected] или в репозитории GitHub, который
   содержит черновик: https://github.com/ietf-wg-masque/draft-ietf-
   маска-IP-прокси-запрос.

1.1. Соглашения

   Ключевые слова «ДОЛЖНЫ», «НЕ ДОЛЖНЫ», «ОБЯЗАТЕЛЬНО», «ДОЛЖНЫ», «НЕ ДОЛЖНЫ»,
   «ДОЛЖЕН», «НЕ ДОЛЖЕН», «РЕКОМЕНДУЕТСЯ», «НЕ РЕКОМЕНДУЕТСЯ», «МОЖЕТ» и
   «НЕОБЯЗАТЕЛЬНО» в этом документе следует толковать, как описано в BCP.
   14 [RFC2119] [RFC8174] когда и только когда они появляются во всех
   столицы, как показано здесь.1.2. Определения

   * Передача данных: механизм, отвечающий за передачу IP.
      пакеты через HTTP. Это может включать потоки или дейтаграммы.

   * IP-сессия: связь между клиентом и сервером, при которой оба
      соглашаются на прокси-IP-трафик с учетом определенных свойств конфигурации.
      Это похоже на ассоциацию детской безопасности в IKEv2.
      терминология. Сеанс IP использует транспорты данных для передачи
      пакеты.





Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 3] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


2.Сценарии использования

   Есть несколько причин для развертывания протокола IP-проксирования. Этот
   В разделе обсуждаются некоторые примеры использования, которые ДОЛЖНЫ поддерживаться.
   по протоколу. Обратите внимание, что хотя протокол должен поддерживать эти
   варианты использования, разрешающие их элементы протокола могут быть необязательными.

2.1. Потребительский VPN

   Потребительские VPN относятся к сетевым приложениям, которые позволяют пользователю скрывать
   некоторые свойства их трафика от некоторых сетевых наблюдателей. В
   в частности, он может скрыть идентификационные данные серверов, на которых находится клиент.
   подключается к сетевому провайдеру клиента и может скрыть
   IP-адрес клиента (и полученная географическая информация) из
   серверы, с которыми они обмениваются данными.Обратите внимание, что это скрытое
   информация теперь доступна поставщику услуг VPN, поэтому только
   выгодно для клиентов, которые доверяют поставщику услуг VPN более чем
   другие сущности.

2.2. Точка-точка подключения

   Соединение точка-точка создает частную, зашифрованную и
   аутентифицированная сеть между двумя IP-адресами. Это полезно для
   например, с сетью контейнеров для обеспечения виртуального (оверлея)
   сеть с адресацией отдельно от физического транспорта. An
   Примером этого является Wireguard.2.3. Укажите на подключение к сети

   Подключение точка-сеть - это более традиционный вариант удаленного доступа.
   Вариант использования "VPN", часто используемый, когда пользователю необходимо подключиться к
   другую сеть (например, корпоративную) для доступа к
   ресурсы, которые не доступны в общедоступном Интернете.

2.4. Сеть к сетевому подключению

   Связь между сетями также называется VPN типа "сеть-сеть".
   Как и в случае использования «точка-сеть», цель состоит в том, чтобы соединить два
   сети, которые не публикуются.Межсайтовые аспекты
   сделать это прозрачным для пользователя; все сети подключены
   друг к другу и прозрачно маршрутизировать пакеты без VPN-клиента
   установлен на устройстве пользователя. Этот стиль подключения также может
   использоваться для подключения устройств, которые не могут запускать VPN-клиенты, к
   сеть.







Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 4] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


3.Требования

   В этом разделе перечислены требования к протоколу, который может использовать прокси IP через
   HTTP-соединение.

3.1. Установление IP-сессии

   Протокол позволит клиенту запросить установление IP-адреса.
   Сеанс вместе с параметрами конфигурации и одним или несколькими связанными
   Перенос данных. Сервер будет иметь возможность принимать или отклонять
   запрос клиента.

3.2. Проксирование IP-пакетов

   Протокол установит передачи данных, которые смогут
   пересылать IP-пакеты.Транспорты данных ДОЛЖНЫ иметь возможность пересылать
   пакеты в неизмененном виде, хотя расширения могут включать
   использование модифицированных форматов пакетов (например, сжатие). Протокол
   будет поддерживать как IPv6 [IPV6], так и IPv4 [IPV4].

3.3. Максимальный блок передачи

   Протокол позволит конечным точкам информировать друг друга о максимальном
   Единица передачи (MTU), которую они готовы пересылать. Это позволит
   избегая фрагментации IP, тем более, что IPv6 не допускает IP
   фрагментация по узлам по пути.3.4. Назначение IP

   Клиент сможет запросить присвоение IP-адреса
   диапазон, необязательно указав предпочтительный диапазон. В ответ на это
   запрос, сервер либо назначит диапазон по своему выбору для
   клиент, либо отклонить запрос. Для симметрии сервер может запросить
   присвоение диапазона IP-адресов от клиента и клиента
   либо назначит диапазон, либо отклонит запрос.

3.5. Согласование маршрута

   В любой момент IP-сеанса (не ограничиваясь его начальным
   переговоры), протокол позволит и клиенту, и серверу
   сообщить своему партнеру, что он может маршрутизировать набор префиксов IP.Обе
   конечные точки также могут запрашивать маршрут к заданному префиксу, а одноранговый узел
   может выбрать, предоставлять этот маршрут или нет.

   Обратите внимание, что если конечная точка предоставляет своему одноранговому узлу маршрут, одноранговый узел
   никоим образом не обязан направлять свой трафик через конечную точку.





Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 5] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


3.6. Личность

   При согласовании создания IP-сеанса протокол будет
   разрешить обеим конечным точкам обмениваться идентификаторами.В качестве примеров
   личность может быть именем пользователя, адресом электронной почты, токеном или полностью
   квалифицированное доменное имя. Обратите внимание, что это требование не распространяется
   аутентификация идентификатора.

3.7. Транспортная безопасность

   Протокол ДОЛЖЕН запускаться поверх протокола, который обеспечивает взаимное
   аутентификация, конфиденциальность и целостность. Использование QUIC или TLS
   соответствует этому требованию.

3.8. Управление потоком

   Протокол позволит проксировать IP-пакеты без потока.
   контроль, по крайней мере, когда используется HTTP / 3.Фреймы QUIC DATAGRAM
   не контролируется потоком и отвечает этому требованию. Документ
   определение протокола предоставит рекомендации о том, как лучше всего использовать поток
   контроль для повышения производительности IP-сеанса.

3.9. Неразличимость

   Пассивный сетевой наблюдатель, не участвующий в зашифрованном
   соединение не должно отличать проксирование IP от обычного
   зашифрованный HTTP-веб-трафик, наблюдая только за незашифрованными частями
   трафик. В частности, любые данные, отправленные в незашифрованном виде (например,
   заголовки или части рукопожатия) должны выглядеть одинаково
   незашифрованные данные, которые будут присутствовать для веб-трафика.Трафик
   анализ выходит за рамки этого требования.

3.10. Поддержка HTTP / 2 и HTTP / 3

   Протокол IP-проксирования, обсуждаемый в этом документе, будет выходить за рамки
   HTTP. Протоколу СЛЕДУЕТ использовать HTTP / 3 [h4] и
   СЛЕДУЕТ использовать кадры QUIC DATAGRAM [DGRAM], когда они доступны, чтобы улучшить
   спектакль. Протокол ДОЛЖЕН также поддерживать HTTP / 2 [h3] как
   откат, когда UDP заблокирован на сетевом пути. Прокси IP через
   HTTP / 2 МОЖЕТ привести к снижению производительности, чем HTTP / 3.3.11. Мультиплексирование

   Поскольку последние версии HTTP поддерживают одновременное выполнение нескольких
   запросы через одно и то же соединение, протокол ДОЛЖЕН поддерживать
   несколько независимых экземпляров IP-проксирования по заданному протоколу HTTP
   связь.




Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 6] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


4. Расширяемость

   Протокол предоставит механизм, с помощью которого клиенты и серверы
   может добавить информацию о расширении к обмену, который устанавливает IP
   Сессия.Если решение использует HTTP-запрос и ответ, это
   может быть выполнено с использованием заголовков HTTP.

   После установления IP-сеанса протокол предоставит
   механизм, который позволяет надежно обмениваться сообщениями расширения в обоих
   направления в любой момент времени существования IP-сеанса.

   В подразделах ниже перечислены возможные расширения, которые разработчики
   протокол будет иметь в виду, чтобы гарантировать, что можно будет спроектировать
   такие расширения.

4.1. Балансировка нагрузки

   Это расширение позволит балансировать нагрузку отправляемого трафика.
   через IP-сеанс, например, на другой сервер.Это позволяет IP
   механизмы прокси для горизонтального масштабирования до нескольких серверов.

4.2. Аутентификация

   Поскольку протокол предлагает способ передачи идентичности, расширения
   позволит аутентифицировать эту личность как от клиента, так и от
   сервер во время установления IP-сеанса. Например,
   расширение может позволить клиенту предлагать токен доступа OAuth [OAUTH]
   при запросе IP-сеанса. В качестве другого примера, еще одно расширение
   может позволить конечной точке продемонстрировать знание криптографической
   секрет.4.3. Надежная передача IP-пакетов

   Хотя в большинстве случаев желательно передавать IP-пакеты ненадежно.
   случаях расширение может предоставить механизм, позволяющий пересылать
   несколько пакетов надежно. Например, при использовании HTTP / 3 это может быть
   достигается за счет того, что транспорты данных могут работать как с DATAGRAM
   и ПОТОКОВЫЕ кадры.

4.4. Конфигурация перегрузки и управления потоком

   Расширение позволит обмениваться перегрузкой и управлением потоком
   параметры для повышения производительности. Например, расширение могло
   отключить контроль перегрузки для неповторно переданных транспортов данных, если
   он знает, что прокси-трафик сам контролируется перегрузкой.Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 7] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


4.5. Сжатие передачи данных

   В то время как основной протокол Data Transports будет передавать IP-пакеты в
   их неизменной целостности, расширение может позволить сжать эти
   пакеты.

5. Нет требований

   В этом разделе обсуждаются темы, которые явно выходят за рамки
   протокол IP-проксирования. Эти темы МОГУТ обрабатываться
   разработчиков или будущих расширений.5.1. Обращаясь к архитектуре

   Этот документ описывает только требования к протоколу, который
   разрешает проксирование IP. Здесь не обсуждается, как назначаются IP-адреса.
   определены, управляются или переведены. Пока эти детали
   важны для создания функциональной системы, они не должны быть
   обрабатываются протоколом за пределами возможности передать эти
   задания.

   Точно так же "владение" диапазоном IP-адресов выходит за рамки. Если
   конечная точка сообщает своему партнеру, что может распределять адреса от
   диапазон или направлять трафик в диапазон, партнер не обязан
   доверяйте этой информации.Стоит ли доверять этой информации.
   оставлено на усмотрение отдельных реализаций и развертываний.

5.2. Перевод

   Некоторые серверы могут захотеть выполнить преобразование сетевых адресов (NAT) или
   любые другие модификации пересылаемых пакетов. Это выходит из
   область для протокола прокси. В частности, способность
   обнаружить наличие NAT, согласовать привязки NAT или проверить
   возможность подключения через NAT явно выходит за рамки и предоставляется
   будущие расширения.

   Серверы, которые не выполняют NAT, обычно пересылают пакеты
   аналогично традиционному IP-маршрутизатору, но специфика
   которые считаются выходящими за рамки.В частности, уменьшение
   Поле Hop Limit (или TTL) заголовка IP выходит за рамки MASQUE
   и ожидается, что он будет выполняться маршрутизатором за сервером MASQUE, или
   совмещен с ним.









Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 8] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


5.3. Извлечение IP-пакетов

   Как пакеты пересылаются между прокси-соединением IP и
   физическая сеть выходит за рамки.Например, это может быть
   выполняется в некоторых операционных системах с использованием интерфейса TUN. Как
   это сделано намеренно не указано и будет оставлено
   индивидуальные реализации.

6. Соображения безопасности

   В этом документе обсуждаются только требования к протоколу, который позволяет
   Прокси IP. Этот протокол должен будет документально подтвердить свою безопасность.
   соображения.

7. Соображения IANA

   Этот документ не требует никаких действий со стороны IANA.

Благодарности

   Авторы выражают благодарность участникам работы МАСКА.
   группе за их отзывы.Рекомендации

Нормативные ссылки

   [DGRAM] Поли, Т., Киннер, Э., и Д. Шинази, "Ненадежный
              Расширение дейтаграмм на QUIC », Работа в процессе, Интернет-
              Проект, draft-ietf-quic-datagram-01, 24 августа 2020 г.,
              .

   [h3] Белше, М., Пеон, Р., и М. Томсон, Ред., «Гипертекст.
              Протокол передачи версии 2 (HTTP / 2) », RFC 7540,
              DOI 10.17487 / RFC7540, май 2015 г.,
              .

   [h4] Бишоп, М., "Протокол передачи гипертекста версии 3
              (HTTP / 3) ", работа в процессе, Internet-Draft, draft-ietf-
              quic-http-33, 15 декабря 2020 г., .

   [IPV4] Постел, Дж., «Интернет-протокол», STD 5, RFC 791,
              DOI 10.17487 / RFC0791, сентябрь 1981 г.,
              .





Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 9] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


   [IPV6] Диринг, С. и Р. Хинден, Интернет-протокол, версия 6
              (IPv6) Спецификация », STD 86, RFC 8200,
              DOI 10.17487 / RFC8200, июль 2017 г.,
              .

   [QUIC] Айенгар, Дж. И М. Томсон, "QUIC: мультиплексирование на основе UDP
              и безопасный транспорт », Работа в стадии разработки, Интернет-проект,
              draft-ietf-quic-transport-33, 13 декабря 2020 г.,
              .

   [RFC2119] Брэднер, С., «Ключевые слова для использования в RFC для обозначения
              Уровни требований », BCP 14, RFC 2119,
              DOI 10.17487 / RFC2119, март 1997 г.,
              .

   [RFC8174] Лейба Б., «Неоднозначность прописных и строчных букв в RFC.
              2119 Ключевые слова », BCP 14, RFC 8174, DOI 10.17487 / RFC8174,
              Май 2017 г., .

   [TLS] Рескорла, Э., "Протокол безопасности транспортного уровня (TLS)
              Версия 1.3 ", RFC 8446, DOI 10.17487 / RFC8446, август 2018 г.,
              .

Информативные ссылки

   [CONNECT-UDP]
              Schinazi, D., "HTTP-метод CONNECT-UDP", Работа в
              Прогресс, Интернет-проект, draft-ietf-masque-connect-udp-
              03, 5 января 2021 г., .

   [IKEV2] Кауфман, К., Хоффман, П., Нир, Ю., Эронен, П., и Т.
              Кивинен, "Протокол обмена ключами в Интернете, версия 2
              (IKEv2) ", STD 79, RFC 7296, DOI 10.17487 / RFC7296, октябрь
              2014 г., .

   [OAUTH] Hardt, D., Ed., «Структура авторизации OAuth 2.0»,
              RFC 6749, DOI 10.17487 / RFC6749, октябрь 2012 г.,
              .

Адреса авторов









Черняховский и др.Срок действия истекает 12 июля 2021 г. [Страница 10] 

Проект требований к IP-проксированию в Интернете, январь 2021 г.


   Алексей Черняховский
   Google LLC
   1600 Amphitheatre Parkway
   Маунтин-Вью, Калифорния 94043,
   Соединенные Штаты Америки

   Электронная почта: [email protected]


   Даллас МакКолл
   Google LLC
   1600 Amphitheatre Parkway
   Маунтин-Вью, Калифорния 94043,
   Соединенные Штаты Америки

   Эл. Почта: [email protected]


   Дэвид Шинази
   Google LLC
   1600 Amphitheatre Parkway
   Маунтин-Вью, Калифорния 94043,
   Соединенные Штаты Америки

   Электронная почта: [email protected]


























Черняховский и др. Срок действия истекает 12 июля 2021 г. [Страница 11]