Определить регион по ip: Узнать адрес по IP-адресу: поиск и определение местоположения по IP, узнать город где живет человек

ip2geotools · PyPI

Установка

Чтобы установить модуль ip2geotools, введите:

 $ pip install ip2geotools
 

Базовое использование

 >>> из ip2geotools.databases.noncommercial import DbIpCity
>>> response = DbIpCity.get ('147.229.2.90', api_key = 'free')
>>> response.ip_address
'147.229.2.90'
>>> response.city
'Брно (Brno střed)'
>>> response.region
'Южноморавский'
>>> ответ.страна
'CZ'
>>> response.latitude
49.1926824
>>> response.longitude
16.6182105
>>> response.to_json ()
'{"ip_address": "147.229.2.90", "city": "Brno (Brno střed)", "region": "South Moravian", "country": "CZ", "latitude": 49.1926824, "longitude" : 16.6182105} '
>>> response.to_xml ()
'   147.229.2.90   Брно (Brno střed)   Южноморавский   CZ   49.1926824   16.6182105   '
>>> response.to_csv (',')
'147.229.2.90, Brno (Brno střed), South Moravian, CZ, 49.1926824,16.6182105'
 

Использование командной строки

После установки вы можете вызвать ip2geotools из командной строки:

 ip2geotools [-h] -d {dbipcity, hostip, freegeoip, ipstack, maxmindgeolite2city, ip2location, dbipweb, maxmindgeoip2city, ip2locationweb, neustarweb, geobytescitydetails, skyhookcontextacceleratorip, ipinfokcontextacceleratorip, ipinfo
                   [--api_key API_KEY] [--db_path DB_PATH] [-u ИМЯ ПОЛЬЗОВАТЕЛЯ]
                   [-p ПАРОЛЬ] [-f {json, xml, csv-space, csv-tab, inline}] [-v]
                   АЙПИ АДРЕС
 

Где:

• ip2geotools: скрипт, установленный в вашей среде, при разработке вы можете использовать python -m ip2geotools вместо
• IP_ADDRESS: IP-адрес для проверки
• -h, —help: показать справочное сообщение и выйти из
• -d {dbipcity, hostip ,…, ipdata}: база данных геолокации, которая будет использоваться (без учета регистра)
• —api_key API_KEY: ключ API для данной базы данных геолокации (при необходимости)
• —db_path DB_PATH: путь к файлу базы данных геолокации (при необходимости)
• -u ИМЯ ПОЛЬЗОВАТЕЛЯ, —username ИМЯ ПОЛЬЗОВАТЕЛЯ: имя пользователя для доступа к данной базе данных геолокации (при необходимости)
• -p ПАРОЛЬ, —password ПАРОЛЬ: пароль для доступа к данной базе данных геолокации (при необходимости)
• -f {json, xml, csv-space, csv-tab, inline}, —format {json, xml, csv-space, csv-tab, inline}: формат выходных данных
• -v, —version: показать номер версии программы и выйти из

Примеры:

 $ 147.229.2.90 -d dbipcity -f json
{"ip_address": "147.229.2.90", "city": "Brno (Brno střed)", "region": "South Moravian", "country": "CZ", "latitude": 49.1926824, "longitude": 16.6182105}
 

Найти геолокацию IP-адреса в BigQuery · GitHub

Мгновенно делитесь кодом, заметками и фрагментами.

Найдите геолокацию IP-адреса в BigQuery

Этот запрос предназначен для определения геолокации IP-адреса, включая широту, долготу, город и страну.

Legacy SQL не поддерживает условия диапазона, такие как BETWEEN при использовании JOIN , поэтому нам нужно фильтровать данные по WHERE . Это означает, что если IP-адрес не соответствует ни одной из данных внутри geolite_city_bq_b2b , записи не смогут получить.

Используйте стандартный SQL, если вы хотите получать записи независимо от того, удалось вам найти геолокацию или нет.

Пожалуйста, обратитесь к следующему посту для получения более подробной информации.

https: // cloudplatform.googleblog.com/2014/03/geoip-geolocation-with-google-bigquery.html

Как определить местоположение посетителей вашего веб-сайта с помощью JavaScript | автор: Adeyinka Adegbenro

Определение местоположения пользователей вашего веб-сайта полезно по разным причинам.

Вы можете, например, захотеть отображать разный контент, возможно, на разных языках для людей из разных стран, или отображать целевую информацию для посетителей из разных мест.

Какими бы ни были ваши причины, у вас есть два варианта:

1. API геолокации и поиск IP-адреса

API геолокации — это новая функция HTML5, которая позволяет посетителю веб-страницы делиться с вами своим местоположением, если они так что выбирайте.

Когда вы пытаетесь получить местоположение с помощью этого API, пользователю отображается запрос с вопросом, хотят ли они поделиться своим местоположением с вашим сайтом.

Очевидно, это означает, что вы не получите местоположение, если пользователь решит не сообщать вам свое местоположение.

Недостатки: Работает только на защищенных серверах (https). Он не поддерживается в Internet Explorer 10 и более ранних версиях, а также в OperaMini.

Вывод кода дает нам только координаты. Что делать, если вам нужно реальное местонахождение или получить адрес на словах? Мы поговорим об этом после того, как обсудим поиск IP.

Поиск IP-адреса — еще один способ узнать местонахождение вашего посетителя. Обычно для этой опции мы используем общедоступные службы поиска IP / API. Некоторые из них являются платными, а некоторые — бесплатными.

Примеры включают API геолокации IP, IPinfo и базу данных GEOIP. Они также предоставляют данные в различных форматах, таких как JSON, XML и CSV. Чтобы понять, как пользоваться этими сервисами, прочтите их документацию.

В качестве примера я буду использовать API геолокации IP. Я мог бы использовать ванильный JavaScript, но не буду. С такими библиотеками, как jQuery, это проще.

Это как вывод на моей консоли:

Недостатки: Хотя страна, указанная большинством служб поиска IP, почти всегда точна, координаты не всегда точны.Кроме того, если вы собираетесь делать много запросов, некоторые из этих услуг требуют, чтобы вы получили ключ API, и вам, возможно, придется заплатить за услугу.

Вы можете использовать поиск IP в качестве альтернативы или резервной копии для API геолокации в браузерах, которые не поддерживают геолокацию, или сообщать вам, когда возникает ошибка, например:

Теперь, когда у нас есть наше местоположение в одном или во-вторых, мы собираемся преобразовать полученные широту и долготу в более полный адрес с помощью API обратного геокодирования Google Maps.

Согласно Google, обратное геокодирование — это процесс преобразования географических координат в удобочитаемые адреса. Все, что нам нужно, это ключ api. Следуйте инструкциям, чтобы получить его здесь.

Вот что я получил:

Вы можете поиграть с объектом, чтобы получить желаемый адрес в формате, который вам больше всего нравится.

Собирая все вместе, у нас есть следующий код. (Обратите внимание, что функция ipLookUp была изменена.)

На данный момент мы знаем, как получить местоположение нашего пользователя, несмотря ни на что, и теперь вы можете адаптировать код к своему собственному уникальному проекту.

Надеюсь, вы кое-что узнали, спасибо за чтение!

Начало работы со службой геолокации IP Sitecore

Аннотация

Представляем динамический инструмент для персонализации пользовательского опыта и бесценный инструмент для исследования и проведения кампаний для маркетологов.

Если вы маркетолог или разработчик и заинтересованы в использовании службы геолокации IP Sitecore с установкой Sitecore, то эта статья предназначена для вас.

Благодаря услугам Sitecore по IP-геолокации посетители вашего веб-сайта получают более расширенный, персонализированный опыт работы со многими инструментами и действиями, которые также могут быть полезны для маркетологов.

С помощью IP-геолокации вы можете настроить персонализацию для различных географических регионов и просматривать отчеты, относящиеся к этим местоположениям. Посетители вашего веб-сайта могут идентифицировать их:

• Часовой пояс

• Долгота и широта

• Страна

• Регион

• Код метро

• Город

• Почта код

• Название компании

• DNS-адрес

• IP-адрес

• Имя провайдера

IP-геолокация особенно полезна для целевого маркетинга.Вы можете настроить персонализацию на страницах с помощью редактора набора правил для геолокации IP.

Другой пример целевого маркетинга — это то, что вы можете запускать цели и события страницы, если посетитель из определенного места посещает страницы вашего веб-сайта. Вы просто применяете те же правила, что и при создании цели. Обратите внимание, что цель на скриншоте ниже будет активирована, только если посетитель приехал из Европы.

Маркетологи могут применять условия геолокации в своих планах Marketing Automation.Например, маркетолог может выбрать отправку электронного письма только покупателям в Лондоне или из Лондона.

Вы также можете сегментировать свои списки, установив наборы правил, например, по местоположению, полу, критериям вовлеченности и т. Д.

Используя инструмент Experience Analytics , вы также можете создавать отчеты по отслеживаемым местоположениям посетителей, что дает вам лучший обзор поведения посетителей в разных местах.

Используя службу геолокации IP Sitecore, вы можете собрать данные о геолокации посетителя, такие как страна, штат, город и зарегистрированное название компании, чтобы создать для них профиль опыта.

Анализ геолокации IP в Python стал проще | API геолокации IP

WhoisXML API являются мощными, надежными и недорогими источниками данных IP-геолокации. В частности, API-интерфейс геолокации IP имеет сильную поддержку Python: пакет simple-geoip полагается на этот API, и он предоставляет, возможно, самый простой способ получить информацию о геолокации IP в Python.

Все, что вам нужно сделать, это

  pip install simple-geoip  

и получите свой ключ API после регистрации на веб-странице API, где вы можете получать 1000 бесплатных запросов в месяц.

Вы можете получить местоположение по IP-адресу в Python и другие детали относительно просто с помощью следующего сеанса:

  Python 3.6.9 (по умолчанию, 17 июля 2020 г., 12:50:27)
[GCC 8.4.0] в Linux
Для получения дополнительной информации введите «помощь», «авторские права», «кредиты» или «лицензия».
>>> из simple_geoip импортировать GeoIP
>>> geoip = GeoIP ("ВАШ КЛЮЧ API")
>>> data = geoip.lookup ("104.26.13.210")
>>> печать (данные)
{'ip': '104.26.13.210',
'location': {'country': 'US', 'region': 'Virginia', 'city': 'Ashburn', 'lat': 39.0438, «lng»: -77.4874,
'postalCode': '20147', 'часовой пояс': '-04: 00', 'geonameId': 4744870},
'as': {'asn': 13335, 'name': 'Cloudflare', 'route': '104.26.0.0/20',
'domain': 'https://www.cloudflare.com', 'type': 'Content'},
'isp': 'Cloudflare, Inc.', 'connectionType': '', 'proxy': {'proxy': False, 'vpn': False, 'tor': False}}
>>>  

И вот, у нас есть словарь Python с данными геолокации IP. Чтобы попробовать это, вам нужно заменить «YOUR_API_KEY» на свой фактический ключ API, а затем выбрать любой адрес IPv4 или IPv6; 104.26.13.210 — это один из адресов www.whoisxmlapi.com.

Обратите внимание, что в дополнение к информации, которая помогает нам определить местоположение IP-адреса, мы получаем полезные сведения: об автономной системе, к которой принадлежит IP (хотя это только для IPv4), о домене, к которому он относится (хостинг-провайдер WhoisXML API, Inc. в этом случае). Поле «Тип подключения» пустое, так как здесь оно не имеет значения, оно может быть одним из «модем», «мобильный», «широкополосный» или «компания».

Что же тогда делать с этими данными? Возможности Python для поиска IP-адреса и других целей в значительной степени зависят от его пакетов.В этой среде очень легко стоять на плечах гигантов: импортировав некоторые пакеты, вы можете получить доступ к сложным алгоритмам и решениям с помощью нескольких простых команд. Вы можете случайно организовать практически все, что можно сделать с помощью компьютера.

Итак, вместо дешевых разговоров, я представлю здесь некоторые идеи с помощью примеров кода, которые вы легко можете попробовать сами. Хотя сами коды просты, они используют пакеты, основанные на мощном арсенале географии и математики.И результаты не только впечатляющие, но и очень полезные в геомаркетинге, кибербезопасности и других областях. Давайте теперь посмотрим на подробности.

1. Вопрос

Предположим, что у вас есть (возможно, большой) набор различных IP-адресов в качестве входных данных. С помощью GeoIP вы можете назначить каждому географическое местоположение. Как и зачем вы анализируете эти данные?

Если у вас есть, например, веб-страница вашего предприятия, эти данные могут поступать из журнала доступа вашего веб-сервера.Анализ структуры географических местоположений, из которых вы посещаете, может иметь решающее значение для разработки вашей стратегии геомаркетинга: вы можете определить регионы, в которых есть интерес к вашей веб-странице, или те, где у вас еще нет желаемого количества посетителей.

В криминалистике безопасности список IP-адресов может быть получен в результате анализа атаки. Конечно, вас может интересовать структура локаций, из которых была атакована ваша система.

При таком анализе вполне вероятно, что вы захотите увидеть эти местоположения как точки на карте.Во-первых, мы продемонстрируем, насколько легко это сделать. Хотя карта, безусловно, информативна, вы также можете быть заинтересованы в выявлении тех наборов IP-адресов, которые поступают из схожих мест, например, из одного региона, алгоритмическим способом. Во-вторых, мы рассмотрим это с помощью алгоритмов графов, которые снова будут привлекательно простыми и понятными в Python.

2. Получение местоположения с IP-адреса в Python

Чтобы получить некоторый список соответствующих IP-адресов, вы можете попросить администратора вашего веб-сервера предоставить список IP-адресов, с которых осуществлялся доступ к вашей странице в определенный период времени.Вам нужен текстовый файл с одним IP-адресом в каждой строке, причем IP-адреса должны быть разными. Если у вас уже есть такой файл, вы можете пропустить следующий абзац.

При создании этого блога нашей отправной точкой был файл журнала ежедневного доступа к одному из веб-серверов WhoisXML API, Inc. Поскольку у меня есть разрешения на чтение журналов на сервере, самым простым способом сделать это из командной строки Linux было

  cat access.log | \
perl -nle '/ (\ d + \. \ d + \. \ d + \. \ d +) / && print $ 1' \
| sed '2 d' | сортировать -u> ips.csv  

Здесь «access.log» — это фактический файл журнала доступа к серверу, который может поступать с сервера apache или nginx, а целевой файл создается в «ips.csv».

Затем вам нужно собрать местоположение каждого из этих IP-адресов. Это легко сделать, как описано выше. Следующий фрагмент кода выполнит эту работу.

  из simple_geoip import GeoIP
 
geoip = GeoIP ("ВАШ_API_KEY")
 
ipfile = open ("ips.csv", "r")
 
sites = []
для ip в ipfile:
ip = ip.strip ()
пытаться:
данные = geoip.поиск (ip)
печать (данные)
sites.append (данные)
Кроме:
проходить
ipfile.close ()  

Адреса взяты из файла «ips.csv». Затем каждый адрес просматривается с помощью geoip, и полученные данные добавляются в список сайтов.

Здесь я отмечаю, что для простоты кода я выбираю довольно расплывчатые средства обработки исключений: если не удалось получить данные, цикл продолжается без добавления чего-либо к «узлам». В производственной ситуации вы должны различать различные исключения, которые может вызвать вызов geoip.В любом случае, стоит посмотреть на «len (sites)», чтобы решить, имеет ли «sites» примерно такое же количество элементов, как и количество IP-адресов. Может быть нормально, что местоположение не может быть определено для нескольких IP-адресов, но большинство из них должно быть там. Тем не менее, значительная разница должна иметь более глубокие причины, например, проблемы с сетевым подключением или у вас, возможно, закончились поисковые запросы, доступные в вашей подписке.

В качестве дополнительного примечания, поскольку мы ищем данные многих доменов, еще более эффективным решением будет групповой API-интерфейс IP-геолокации, который может запрашивать все поисковые запросы за один вызов API.Мы придерживаемся здесь simple-geoip, так как полученный код прост и прозрачен.

Возвращаясь к нашему небольшому коду выше, пока что при запуске этого кода местоположения IP Python вы можете следить за процессом поиска по мере отображения каждого результата, и, наконец, у вас будут «сайты», список этих словарей, готовый для обработки. Если вы собираетесь анализировать его с помощью различных подходов, вы можете подумать о том, чтобы сохранить этот список, например, с помощью pickle, и загрузить его в отдельных сценариях. В качестве альтернативы вы можете просто продолжить этот фрагмент кода теми, которые будут следовать в следующих разделах.

3. Визуализируйте геолокацию IP на карте

Прямое требование: давайте посмотрим сайты на карте расположения IP. Для этого на Python не обязательно быть профессиональным картографом. Все, что вам нужно сделать, это установить пакет «mpl_toolkits.basemap». Это немного менее просто, чем установка обычных пакетов, из-за их зависимостей. В моем Ubuntu Linux «apt install python3-mpltoolkits.basemap» выполнил свою работу. Для других платформ я рекомендую взглянуть на руководство по установке пакета или найти конкретную информацию для вашей собственной платформы.В любом случае, в целом это бесплатный пакет, и его несложно быстро установить. Вам также понадобятся пакеты matplotlib и numpy, которые в любом случае являются зависимостями базовой карты.

Установив эти зависимости и имея под рукой заранее подготовленный массив «sites», фрагмент кода, выполняющий работу по составлению карты геолокации IP, читает:

  из mpl_toolkits.basemap import Basemap
импортировать matplotlib.pyplot как plt
импортировать numpy как np
 
lats = [s ['location'] ['lat'] для s на сайтах]
lons = [s ['location'] ['lng'] для s на сайтах]
 
# Насколько масштабировать от координат (в градусах)
zoom_scale = 5
 
# Настроить ограничивающую рамку для масштабирования и границ карты
bbox = [np.min (латы) -zoom_scale, np.max (lats) + zoom_scale, \
np.min (lons) -zoom_scale, np.max (lons) + zoom_scale]
 
plt.figure ()
# Определите проекцию, масштаб, углы карты и разрешение.
m = Базовая карта (projection = 'merc', llcrnrlat = bbox [0], urcrnrlat = bbox [1], \
llcrnrlon = bbox [2], urcrnrlon = bbox [3], разрешение = 'i')
 
# Нарисуйте береговые линии и заполните континенты и воду цветом
м.drawcoastlines ()
м. заливные континенты (color = 'peru', lake_color = 'dodgerblue')
# Нас также интересуют страны ...
m.drawcountries ()
  

(Собственно, идею я позаимствовал отсюда.) Код довольно простой: мы собираем широту и долготу, рисуем базовую карту и ставим достаточно большие красные кресты на местоположения посетителей. (В коде ‘rx’ в коде ‘r’ означает красный, ‘x’ означает крестики, а markersize = 5 гарантирует, что они достаточно большие).

Итак, при вставке этого кода рядом с фрагментом из предыдущего раздела (или при извлечении «сайтов» из файла) он покажет карту IP-локатора, а также сохранит ее в «myvisitors.png», который выглядит следующим образом:

Конечно, если у вас есть опыт в определенных географических проекциях и т. Д.вы можете создавать гораздо более впечатляющие карты, но этого может быть достаточно из нескольких строк кода Python. Действительной альтернативой было бы добавить информацию о частоте посещений и раскрасить символы сайтов в соответствии с количеством посетителей, что было бы несложным обобщением этого кода. Но давайте теперь займемся более сложным математически, но информативным исследованием.

4. Определите регионы geoIP с помощью Python

Теперь мы хотим автоматически получать через Python группы IP-адресов, геолокация которых близка друг к другу.Под «близко друг к другу» мы подразумеваем, что при взятии любых двух из них они не будут дальше друг от друга, чем определенный предел расстояния. Как мы находим эти группы? Мы получаем ответ из математики, в частности из теории графов. Все очень просто.

Чтобы иметь граф, сначала нам нужен набор вершин, которые в нашем случае будут IP-адресами. Тогда в графе пары вершин либо соединены друг с другом, либо нет. Связь между парой вершин называется ребрами.В нашем случае между двумя вершинами будет ребро, если геолокации соответствующих IP-адресов ближе друг к другу, чем предел расстояния. Так, например, если рассматривать 300 миль в качестве ограничения расстояния, если два IP-адреса находятся из Лос-Анджелеса, Калифорния, и Сан-Диего, Калифорния соединена ребром, поскольку эти города находятся всего в 112 милях друг от друга, тогда как один в Лос-Анджелесе Анхелес не будет связан с другим в Чикаго, штат Иллинойс, так как их расстояние составляет около 1750 миль.

После создания этого графа то, что мы ищем, в математике называется «кликами».Клика — это подмножество ребер, в котором любые две пары соединены между собой. Точнее, мы ищем все «максимальные клики»: те, которые нельзя увеличить, добавляя к ним дополнительные ребра. К счастью, математики приложили немало усилий для поиска таких алгоритмов. Кроме того, существует библиотека Python networkx, в которой очень просто построить граф и подчинить его любому из популярных алгоритмов графа.

Другой вопрос, как вычислить расстояние двух мест по их широте и долготе.Конечно, это также было сделано экспертами по географии, и подходящая функция доступна в пакете Python для геолокации «geopy». Как geopy, так и networkx можно установить с помощью pip.

Затем, установив это, приступим к задаче. Опять же, мы предполагаем, что представленный ранее массив «sites» находится в нашем распоряжении. Следующий код предоставит текстовый отчет по всем максимальным кликам.

  импортировать networkx как nx
import geopy.distance
 
sitegraph = nx.График ()
 
# предел расстояния (миль)
distancelimit = 300.0
 
position = {}
location = {}
для сайта в сайтах:
позиция [сайт ['ip']] = (сайт ['местоположение'] ['широта'], сайт ['местоположение'] ['lng'])
location [site ['ip']] = "Страна:% s, Регион:% s, Город:% s"% (
сайт ['местоположение'] ['страна'], сайт ['местоположение'] ['регион'],
сайт ['местоположение'] ['город'])
ips = список (position.keys ())
 
sitesgraph.add_nodes_from (ips)
 
для k в диапазоне (len (ips)):
для l в диапазоне (k):
если geopy.distance.vincenty (position [ips [k]],
положение [IPS [l]]).mi <= ограничение расстояния:
sitesgraph.add_edge (ips [k], ips [l])
 
cliqueno = 1
для клика в nx.find_cliques (sitesgraph):
Распечатать("--------------------------------")
print ("Клика №% d \ n \ tMembers:"% (cliqueno))
для ip в клике:
печать (местоположение [ip])
cliqueno + = 1  

Основные идеи заключаются в следующем. «Sitegraph» - это экземпляр графа из networkx. Словари «location» и «position» содержат пары широты-долготы и информацию о стране-регионе-городе по IP-адресу, тогда как список «ips» содержит все IP-адреса.Вызов «sitesgraph.add_nodes_from» добавляет все IP-адреса как вершины к графу. Затем мы перебираем каждую пару вершин (пределы двух вложенных циклов for гарантируют, что каждая пара будет посещена только один раз, поскольку расстояние симметрично). Мы оцениваем их расстояния в милях с помощью вызова "geopy.distance.vincenty". (Посмотрите документацию geopy-s, если вас интересуют возможные способы ее вычисления.) Если она меньше нашего предела, мы добавляем ребро, вызывая метод «add_edge» графа.

Итак, наш график настроен. А теперь поищем максимальные клики. На самом деле это известная и сложная задача математики, но имея граф с несколькими тысячами вершин, networkx выполнит эту работу на современном компьютере за несколько минут. Это вызов nx.find_cliques (sitesgraph) просто в итераторе нашего последнего цикла. Этот цикл предоставляет нам отчет, в котором перечислены местоположения всех участников по кликам.

В моих данных я получаю небольшие клики, например:

  --------------------------------
Клика No.50
Члены:
Страна: IR, Регион: Мазандаран, Город: Сари
Страна: IR, Регион: Остан-е Тегеран, Город: Тегеран
Страна: IR, Регион: Остан-э Гилан, Город: Рашт
Страна: IR, Регион: Остан-е Тегеран, Город: Тегеран
Страна: IR, Регион: Остан-е Тегеран, Город: Тегеран
--------------------------------
Клика № 51
Члены:
Страна: Австралия, Регион: Новый Южный Уэльс, Город: Маккуори-Парк
Страна: Австралия, Регион: Новый Южный Уэльс, Город: Сидней
Страна: Австралия, Регион: Новый Южный Уэльс, Город: Сидней
Страна: Австралия, Регион: Австралийская столичная территория, Город: Канберра
--------------------------------  

или такие большие, например:

  Клика No.55
Члены:
Клика № 59
Члены:
Страна: BR, Регион: Сан-Паулу, Город: Прайя-Гранде
Страна: BR, Регион: Сан-Паулу, Город: Моги-дас-Крузис
Страна: BR, Регион: Сан-Паулу, Город: Фартура
Страна: BR, Регион: Сан-Паулу, Город: Сан-Паулу
Страна: BR, Регион: Сан-Паулу, Город: Сан-Паулу
Страна: BR, Регион: Сан-Паулу, Город: Кампинас
Страна: BR, Регион: Сан-Паулу, Город: Сан-Висенте
Страна: BR, Регион: Сан-Паулу, Город: Нупоранга
Страна: BR, Регион: Сан-Паулу, Город: Сан-Паулу
Страна: BR, Регион: Сан-Паулу, Город: Сан-Паулу  

Обратите внимание, что клики могут перекрываться, поскольку мы требуем, чтобы любая пара сайтов находилась близко друг к другу в пределах каждой клики.Тем не менее, то, что мы видим на карте предыдущего раздела в виде регионов с точками группировки, теперь отображается автоматически. В зависимости от предельного расстояния мы можем найти клики, характерные для различных размеров географических регионов, от городов до континентов. Лучше всего попробовать самому, результаты действительно поучительны.

5.

Мы рассмотрели два возможных анализа данных GeoIP, реализованных с помощью очень простых кодов Python, но полагающихся на инструменты из различных областей знаний.Полученные результаты могут найти свое прямое применение в задачах, имеющих важное практическое значение.

Однако в Python есть много других возможностей. Перечислим несколько идей без полноты, просто для вдохновения:

• Библиотека анализа данных Pandas позволяет проводить различные статистические анализы собранных данных. Например, приведенный ниже фрагмент кода сообщит о типах автономных систем, из которых были получены подключенные IP-адреса (здесь мы предполагаем, что собранные данные все еще находятся в массиве «sites», как и раньше):

  import pandas as pd
import matplotlib.pyplot как plt
 
def get_as_type (запись):
as_type = "неизвестно"
пытаться:
as_type = запись ['as'] ['type']
Кроме:
проходить
если as_type == "":
as_type = "неизвестно"
вернуть as_type
 
print (pd.Series ([get_as_type (s) для s на сайтах]). value_counts ())  

Результат для нашего набора данных будет следующим:

  неизвестно 1497
Контент 434
Предприятие 258
NSP 115
Кабельное / DSL / ISP 60
Не раскрывается 20
Некоммерческая 3
Образовательные / исследования 2  

Библиотека Pandas особенно хороша для анализа временных рядов.Следовательно, при сборе данных за более длительный период вы можете анализировать динамику геолокации.

• Вы можете сопоставить эти данные с другими типами данных, которые могут быть получены из WHOIS с помощью Pandas или библиотеки «статистики».

• Вы можете искать различные шаблоны в пространстве или времени в своих данных или пытаться делать прогнозы на будущее, используя машинное обучение с TensorFlow.

Есть много интересных идей, которые можно реализовать так же просто, как описанные выше.То, что стоит делать с данными GeoIP, вероятно, выполнимо в Python. А при использовании пакета simple-geoip сопоставление IP-адреса с его местоположением через Python почти тривиально.

Использование бесплатного API для получения информации о геолокации с общедоступного IP-адреса | автор: Абид Эбна Саиф Утша

Проект, созданный для развлечения

Эта статья представляет собой демонстрацию проекта, который я создал с использованием бесплатного API. Изначально целью было понять и узнать больше о вызовах API. Я работаю стажером в компании, занимающейся геопространственной информацией.Я получил вдохновение поработать над этим, работая там. Я постараюсь кратко объяснить код и метод, которые я использовал, а также потенциальную бизнес-перспективу. Опять же, это бесплатно и никаких дополнительных проверок не требуется. Давай начнем!

Бизнес-перспектива этого проекта состоит в том, чтобы определить область, в которой люди обращаются к веб-сайтам, в основном сегментация аудитории. Например, веб-сайт электронной коммерции хочет знать, сколько людей в Нью-Йорке просматривают их веб-сайт. Итак, представляя себя владельцем этой компании, занимающейся электронной коммерцией, я продаю игровые гаджеты в Интернете и хочу примерно знать, сколько людей заходят на мой веб-сайт из городов или со всего мира.У меня есть только общедоступный IP-адрес потребителя. Теперь я хочу знать, из какого штата и стран принадлежат мои потребители. Этот API предоставит мне широту и долготу по общедоступному IP-адресу моего потребителя. Оттуда я могу использовать geopy (Nominatim), чтобы получить адрес, используя полученные значения широты и долготы. Довольно просто, верно. Теперь, когда мы обдумываем и определяем ресурсы, давайте перейдем к коду на Python!

Погодите, у меня нет общедоступных IP-адресов всех потребителей, я просто представлял, что владею компанией по производству игровых гаджетов.Не беспокойтесь, Python может поддержать мое воображение, давайте посмотрим, как это сделать.

  import  random  import  socket  import  structsocket.inet_ntoa (struct.pack ('> I', random.randint (1, 0xffffffff))) 

Если вы запустите приведенные выше строки в блокноте Jupiter, вы увидит следующий вывод.

Хорошо, все это замечательно, но поиск одного пользователя за раз был бы трудоемким и трудным, давайте создадим автоматический скрипт Python, который сгенерирует 100 случайных IP-адресов, подобных этим, будет искать их местоположение и сохранять результаты в файле CSV.Я использовал VScode при разработке этого проекта, но для простоты и простоты использования я предоставлю в конце записную книжку colab, которая будет содержать исходный код. Также я дам ссылку на GitHub в конце.

Для этого мне нужно импортировать следующие библиотеки. запросы, json необходимы для вызовов API, global_land_mask используется для проверки широты и долготы (будет рассмотрено позже).

 запросов на импорт импортировать панды как pdimport numpy как npimport jsonimport randomimport socketimport structfrom geopy.геокодеры import Nominatimimport osfrom global_land_mask import global 

Если вы столкнетесь с какой-либо ошибкой при импорте библиотек, просто используйте следующие команды в своем терминале.

 pip install <библиотека> # (pip install global-land-mask) 
 или 
 conda install <библиотека> 

Следующая функция генерирует 100 случайных IP-адресов.

 def getting_ip_address (): 
 "" "Эта функция возвращает список случайных IP-адресов" "" 
 new, explored = [], [] 
 i = 0 
 while i <100: 
 ip = socket.inet_ntoa (struct.pack ('> I', random.randint (1, 0xffffffff))) 
, если ip in explored: 
 continue 
 else: 
 new.append (ip) 
 i + = 1 
 new = pd.DataFrame ( new, columns = ['ip']) 
 return new 

Я также создал список, в котором хранятся сгенерированные IP-адреса, которые позже будут использоваться для проверки того, был ли этот IP-адрес уже создан ранее или нет. Я преобразовал окончательный список в DataFrame pandas, так как мне удобнее работать с pandas. Теперь следующим шагом будет определение и получение информации об их широте и долготе.

 def getting_ip (row): 
 "" "Эта функция вызывает API и возвращает ответ" "" 
 url = f "https://freegeoip.app/json/{row}" # получение записей при получении IP-адреса 
 заголовков = {
 'accept': "application / json", 
 'content-type': "application / json" 
} 
 response = requests.request ("GET", url, headers = headers) 
 response = json .loads (response.text) 
 return response 

Эта функция принимает каждый IP-адрес и отправляет запрос в API для получения информации о широте и долготе вместе с другой информацией.Ниже приведен пример выходных данных для одного местоположения.

Вывод в формате JSON сохраняется в виде столбца дейтаграммы pandas. После этого из этого столбца выводится такая информация, как широта, долгота и tim_zone, что показано ниже:

 def get_information (): 
 "" "Эта функция вызывает как api, так и добавляет информацию в столбец фрейма данных pandas" "" 
 new = getting_ip_address () 
 new ['info'] = new ['ip']. apply (lambda row: getting_ip (row)) 
 new ['time_zone'] = new ['info'].apply (lambda row: row ['time_zone']) 
 new ['latitude'] = new ['info']. apply (lambda row: row ['latitude']) 
 new ['longitude'] = new [' info ']. apply (лямбда-строка: строка [' долгота ']) 
 new [' on_land '] = new.apply (лямбда-строка: глобус.is_land (строка [' широта '], строка [' долгота ']), axis = 1) 
 new = new [new ['latitude']! = 0] 
 new = new [new ['on_land'] == True] 
 new ['address'] = new.apply (лямбда-строка: get_city_nominatim (row), axis = 1) 
 return new 

Это основная функция извлечения информации, которая вызывает два API и обрабатывает их информацию.Во-первых, помните, что генерируется функция 100 случайных IP-адресов, показанная выше, эта функция вызывается и возвращается фрейм данных, содержащий IP-адреса. После этого используйте лямбда-функцию для вызова API для каждого IP-адреса и сохранения результата в столбце с именем «информация». После этого из этого столбца для каждого IP-адреса выводятся time_zone, latitude, longitude. Теперь речь идет о ранее упомянутой библиотеке global_land_mask. Я хочу проверить, попадают ли широта и долгота под сушу или в океан.Этот глобус.is_land (широта, долгота) возвращает логическое значение True или False для каждой строки, которая сохраняется в другом столбце с именем on_land, позже был сделан простой фильтр для фрейма данных, чтобы удалить, если какая-либо широта точно равна 0 и если широта и долгота равны В океане. После этого вызываем API-интерфейс geopy Nominatim, чтобы получить более подробный адрес. Функция, которая вызывает API-интерфейс geopy, показана ниже:

 def getting_city_nominatim (row): 
 "" "Эта функция вызывает API-интерфейс geopy и возвращает вывод адреса json" "" 
 try: 
 lat = row ['latitude'] 
 lon = row ['longitude'] 
 geolocator = Nominatim (user_agent = "my-application") 
 location = geolocator.reverse (f "" "{lat, lon}" "") 
 address = location.raw ['address'] 
 обратный адрес 
 за исключением: 
 print ('timeout') 

Эта функция вызывает geopy Nominatim, используя широту и долготу полученный из более ранних вызовов API. Для того же IP-адреса, показанного в качестве образца перед возвращением широты и долготы "192.168.10.111", на изображении ниже показан пример номинального вызова с использованием этих широты и долготы.

Теперь у меня готовы все строительные блоки, мне нужно сохранить результаты в CSV.функция для этого приведена ниже:

 def append_to_existing_df (new): 
 "" "Эта функция добавляет новые IP-адреса в фрейм данных" "" 
 if os.path.isfile (f '{os.path.abspath ( "")} \ location_of_ip_address.csv '): 
 new.to_csv (' location_of_ip_address.csv ', mode =' a ', header = False, index = False) 
 else: 
 new.to_csv (' location_of_ip_address.csv ', mode = 'w', header = True, \ 
 columns = ['ip', 'info', 'time_zone', 'latitude', 'longitude', 'address'], index = False) def deleting_duplicate_entries (): 
 "" "Эта функция проверяет отсутствие повторяющихся IP-адресов, сохраненных в файле csv" "" 
 df = pd.read_csv ('location_of_ip_address.csv') 
 df.sort_values ​​('ip', inplace = True) 
 df.drop_duplicates (subset = 'ip', keep = 'first', inplace = True) 
 df.to_csv ('location_of_ip_address. csv ', index = False) 

Первая функция выше проверяет, существует ли файл CSV или нет, если файл существует, то результаты добавляются к этому существующему файлу, если файл не существует в этом каталоге, то создается новый файл CSV. os.path.abspath («») возвращает путь к текущему каталогу, в котором находится файл python.и os.path.isfile () проверяет, существует файл или нет. После их сохранения и многократного запуска программы я заметил, что несколько IP-адресов содержат одно и то же, потому что первоначальная проверка дубликатов была только для 100 случайных сгенерированных IP-адресов. Но теперь я запускал программу несколько раз, и один и тот же IP-адрес обнаружен в разных местах. Чтобы удалить это, позже была добавлена ​​дополнительная функция, которая считывает весь CSV в кадре данных pandas, удаляет дубликаты значения и сохраняет файл обратно.

Теперь, когда у нас есть все функции, в блоке ниже показана основная функция, которая вызывает все функции, созданные ранее.

 def main (): 
 "" "main function" "" 
 new = get_information () 
 append_to_existing_df (new) 
 deleting_duplicate_entries () if __name__ == '__main__': 
 main () 

После запуска создается CSV, результаты которого приведены ниже:

Итак, это был проект, который я создал. Я просто рассказал о том, как я пришел к этой идее, создал материалы и автоматизировал процесс. Я не стал вдаваться в технические подробности. Планирую написать об этом отдельно.Это можно улучшить и изменить, например, дополнительно автоматизировать процесс, чтобы он выполнялся каждый день в определенное время. Показанный здесь исходный код представлен в формате colab. Также он доступен на GitHub.

Большое спасибо за то, что прочитали статью. Я впервые пишу для Medium, я постараюсь улучшить свои навыки письма и публиковаться чаще с некоторыми проектами и идеями.