Проверка IP-адреса на наличие в спам-базах
DNSBL или спам-базы — это так называемые черные списки доменов и IP-адресов. Существует более двухсот крупных спам-баз и в каждую IP-адреса добавляются по собственным критериям. Письма с таких IP не доходят до получателей или попадают сразу в папку «Спам».
Сервисы для проверки email-рассылок обращаются к спам-базам, чтобы проверить, пропустят ли почтовые серверы письма. Можно сказать, что спам-базы — это первый уровень защиты пользователей от нежелательных рассылок.
Почтовые сервисы также обращаются к спам-базам перед тем, как отправить письмо. Если домен или IP отправителя находится в DNSBL, письма не уйдут.
В каких случаях IP может попасть в спам-базу?
- Если слишком много получаетелей писем жалуется на спам;
- Если получатели долго не заходят в почту и не открывают сообщения, а письма с определенного IP продолжают приходить регулярно — почтовые сервисы могут посчитать это подозрительным и занести IP в черный список;
- Если отпрвитель рассылает письма по купленным или полученным другим нечестным способом базам адресов;
- Если в списке получателей есть почты на доменах, уже находящихся в спам-базах;
- Если содержание письма подозрительно: слишком много капса или восклицательных знаков, спамные слова — «срочно», «бесплатно», «халява» и прочие, письмо не содержит текста или в нем есть ссылки на домены из черных списов.
Ваш IP может оказаться в спам-листе даже в случае, если вы не рассылали спам. Возможно, другой пользователь этого же IP ранее делал массовые рассылки. Чтобы избежать проблем с рассылками, рекомендуем использовать выделенный IP, их предоставляют крупные рассылочные сервисы. Если ваша база для рассылки состоит из нескольких сотен тысяч адресов, лучше использовать несколько выделенных IP, чтобы рассылки уходили равномерно и не вызывали подозрений у почтовых сервисов. Регулярно проверяйте свой IP на наличие в спам-базах, чтобы ваши письма своевременно доходили до получаетелей.
pr-cy.ru
как проверить на спам листы
Мы увеличиваем посещаемость и позиции в выдаче. Вы получаете продажи и платите только за реальный результат, только за целевые переходы из поисковых систем
Мы выпустили новую книгу «Контент-маркетинг в социальных сетях: Как засесть в голову подписчиков и влюбить их в свой бренд».
Подпишись на рассылку и получи книгу в подарок!
E-mail рассылки — маркетинговый инструмент для взаимодействия с пользователями. Но что делать, если ваши письма до них даже не доходят, и почему так происходит? Возможно, домен попал в крупный черный список и на ваши сообщения срабатывают спам-фильтры. Разбираемся, что происходит и как обезопасить свои рассылки.
Что такое спам и спам листы
Спам — это контент любого характера, рассылаемый пользователям без их согласия. Метод используется мошенниками для заражения устройств и получения конфиденциальной информации, начиная от фотографий и заканчивая банковскими счетами. Спамные рассылки применяют и компании для увеличения охвата аудитории. Но такая затея рискованная и может привести к негативным последствиям: теряется доверие пользователя, домен теряет репутацию, и фильтры его блокируют.
Спам листы (спам-базы или еще блэклисты от английского black list — черный список) — это списки IP-адресов и доменов, с которых приходят нежелательные материалы. Они находятся в открытом доступе и могут быть как бесплатными, так и платными. Базы создаются с целью собрать все проблемные IP и обезопасить пользователей. Почтовые ресурсы проверяют эти листы и принимают решение об отправке сообщений.
Какие бывают спам базы
Черные списки разделяются на два типа: частные и публичные.
- Частные создаются отдельным пользователем или конкретной компанией для блокировки некоторых доменов, чтобы не получать от них никаких писем. Пример, знакомый всем: допустим, к вам на почту приходят постоянно сообщения на тему заработка в казино. Вы добавляете отправителя в личный блэклист и больше не видите сообщений от него. Отправителю обойти этот список проще, чем публичный: нужно связаться с владельцем ящика или администратором компании и обсудить вопрос, возможно, блокировка писем произошла случайно. Но это не всегда приводит к положительному исходу.
- Публичные базы создаются специально для всех пользователей, и ими пользуются уже спам-фильтры и провайдеры почты. Если отправитель попадает в крупные и известные листы, большая часть его писем будет с пометкой спам и не дойдет до адресатов.
Зачем проверять домен в спам базах
Проверка домена нужна для определения текущего состояния, особенно если раньше им кто-то пользовался, и репутация неизвестна. При покупке нового адреса такой проблемы не возникает: его точно нет в спам листах.
Когда нужно проверять домен:
- вы регулярно проводите активную рассылку писем;
- кто-то взломал сайт, и возможно, распространял спам;
- были допущены ошибки в администрировании.
Если ваши письма плохо рассылаются, небольшое тестирование может показать источник проблемы.
Примеры крупных спам баз
К крупным открытым базам относят:
- Sender Score.
- SpamCop
- The Spamhaus Project.
- URIBL.
- SURBL.
Часть из них проверяет и по IP, и по названию домена.
Gmail не публикует открытые списки, в которых ссылается на определенные базы для блокировки писем. Однако согласно исследованиям, он полагается на Spamhaus, блокируя почти две трети сообщений от отправителей из этого листа.
Кроме того, почтовые провайдеры создают свои базы, не раскрывая о них никакой информации.
Как проверить домен в спам базах
- Найдите на любой сайт, ищущий информацию по блэклистам и введите IP или домен. Например:
- SiteDozor.
- Mxtoolbox.Вы также можете проверить домен и на сайтах популярных черных списков.
- Владелец сервиса получает на e-mail сообщение о блокировке.
- Ознакомьтесь с логом сервера. Там будет указано, если IP заблокирован.
- В почтовой аналитике Гугл есть разделы с репутацией домена и IP. Вы можете отслеживать их и вовремя применять меры.
Почему отправитель попадает в спам лист
Почтовые провайдеры ориентируются на репутацию домена и на уловки, созданные для поимки спамеров.
- Ловушки. У каждого почтового клиента есть список адресов, владельцы которых давно уже забыли про них. Обычно они ждут полгода-год, как пользователь не заходит в свой ящик, а потом используют его. Алгоритм прост: считается, что сообщение, приходящее на такой ящик, является спамом, а отправитель, соответственно, спамером. И его заносят в черные списки доменов или IP, репутация падает, остальные письма до других адресатов не доходят. Поэтому нужно фильтровать базу клиентов, удалять известные ловушки и недействующие адреса.
- Отсутствие Double Opt-In, только Single Opt-In. Более подробно про них мы поговорим в следующем разделе. Single Opt-In дает возможность конкурентам черными способами испортить собранную базу, добавив туда ловушки, роботов и много еще «приятного».
- Жалобы пользователей. Они могут поступать по разным причинам: спамная тема, рассылка без их уведомления, вирусные файлы и многое другое.
Для решения некоторых задач помогут инструменты. Например, для поиска ловушек бесполезно фильтровать лист вручную, потому на глаз нельзя определить, как давно владелец проверял письма. Один из способов: проверить с помощью Bounceless или Mailvalidator. Периодически отправляйте сообщения с просьбой подтвердить рассылку, но не всем, а именно тем пользователям, которые не просматривают ее в течение нескольких месяцев.
Как удалить IP или домен из черного списка
Начните с улучшения рассылки. Ознакомьтесь с правилами почтовых сервисов и рекомендациями специалистов. Администраторы лояльнее относятся к людям, которые попали в список первый раз. А когда ситуация повторяется регулярно, доверие падает и укрепляется репутация нарушителя. Некоторые сервисы предоставляют небольшую инструкцию, что делать, чтобы не попадать в черный список.
Далее зайдите на сайт базы, в которую вас занесли. Напишите письмо в формате, который предлагает ресурс (форма или на почту), опишите ситуацию и изложите свою просьбу. Укажите, какие шаги вы сделали для того, чтобы избежать черный список в следующий раз. В течение определенного времени вам придет ответ. И возможно, вас удалят из черного списка.
Повышаем репутацию домена, чтобы не попасть в спам лист
Перед рассылкой рекомендуется подготавливать домен, чтобы фильтры сразу не занесли его в черные списки. Для этого собирается и обрабатывается база для исключения ловушек, мертвых адресов, настраиваются технические параметры и регулярно отслеживается статистика для планирования дальнейших действий. Поговорим подробнее о каждом из пунктов.
Сбор базы подписчиков
- Не собирайте базу ссылок с чужих источников, используйте формы на сайте, анкеты на мероприятиях. Так вы меньше рискуете потерять репутацию и нарваться на спам-фильтры.
- Используйте на сайтах для сбора двойную проверку (Double Opt-In): сначала пользователь вводит свой адрес, а потом заходит на почту и переходит по ссылки для подтверждения согласия. Во-первых, вы сразу удалите несуществующие e-mail, потому что на них письмо просто не дойдет. Во-вторых, вы отправляете только тем подписчикам, которые действительно хотят получить ваши сообщения. Mail.RU пишет в общих положениях об обязательном использовании именно Double Opt-In, двойной проверке, то есть когда человек однозначно выразил согласие на получение. Некоторые сервисы считают рассылку без Double Opt-In спамной.
- Single Opt-In — пользователи один раз вводят свой адрес и не подтверждают согласие никакими ссылками в письмах. Такой способ наиболее удобен и в разы увеличивает базу. Однако не факт, что она будет заинтересована в контенте, и вы рискуете оказаться в папке спам, а потом и в глобальных блэклистах. Этим способом могут воспользоваться ваши конкуренты. Им ничего не будет стоить добавить в вашу базу несуществующие адреса, роботов и прочего мусора. Рассылка по таким пользователям сразу выведет вас из строя, а очищение базы займет много сил и времени. Если в ней есть подписчики, адреса которых ввели без их согласия, они будут жаловаться. В итоге, Single Opt-In — это быстрый набор базы, а также хороший способ показать конкурентам слабое место в системе. С Double Opt-In часть этих проблем уходит.
- Используйте капчу. Она предоставращает подписку роботов, которых могут отправить конкуренты.
Фильтрация базы
- Фильтруйте базу, чтобы не рассылать контент на несуществующие адреса или давно оставленные пользователями. Отсеивайте дубликаты. Вспомогательные инструменты не очистят мусор полностью, но уберут ошибочных адресатов и ловушки. Статистика с преимущественно живой аудиторией более правдива и эффективна для будущих маркетинговых стратегий.
Начало рассылки
- Если вы долго ничего не писали подписчикам, то они могли уже забыть о своей подписки. Начинайте рассылку с тех, кто отправил заявку в числе последних. Обязательно указывайте в первом сообщении кто вы и о чем пишите, максимально информируйте людей, чтобы развеять ложные ожидания. Отправляйте контент только тем людям, которые сами попросили об этом.
- Собранные адреса разделите на группы: mail.ru (list.ru, inbox.ru, bk.ru), gmail.com и yandex.ru.
- Рассылку начинайте медленно, но верно. Для Яндекса массовой рассылкой считается отправка от 100 писем, Gmail — 50. Отправляйте сначала по минимуму, увеличивая каждый день количество писем на 30%.
Статистика
- Регулярно проверяйте аналитику по рассылкам. Будьте готовы уменьшать количество, например, если растет число жалоб. Иначе почтовый сервис будет доставлять письма в папке спама или не показывать их вообще.
- Если в статистике есть графа «Репутация», следите за ее повышением.
- Аналитика Яндекса на postoffice.yandex.ru подробна и дает понять, что нужно поменять. По ней можно узнать, сколько людей установило личный фильтр или пожаловались до открытия сообщения. Отдельно показывается сколько писем удалено до и после прочтения. Чем меньше непрочитанных — тем интереснее аудитории. Чем больше прочитанных остались в ящике — тем лучше.
- У Google аналитика есть разделы по рейтингу спама, IP и домен репутации. В первом случае, вы получите отчет, как много людей отметили вашу рассылку спамом. Обычно это сигнал, что письма приходят без согласия пользователя или вы их утомили, а найти кнопку «Отписаться» — сложно.
- В IP Reputation отслеживается репутация адреса. Нужно, чтобы все колонки были зелеными. Если они становятся желтыми, а все условия выполняются, необходимо обратится к провайдеру с просьбой поменять IP. Domain Reputation показывает репутацию домена.
Готовим рассылку
Помимо подготовки домена, нужно позаботиться о качестве писем, которые будут читать пользователи и не блокировать почтовые сервисы.
- Забудьте приемы написания из прошлого десятилетия: «Полу4ите 6есплатно ТоЛьКо СегОдня!!!!». Подобные письма сразу отправляются в спам. Поэтому пишите грамотно, без ошибок, заботьтесь о качестве прикрепляемых материалов.
- Пишите с отключенным CapsLock. Сообщения из серии «ТОЛЬКО СЕГОДНЯ ГЛОБАЛЬНАЯ РАСПРОДАЖА В НАШИХ МАГАЗИНАХ» могут не дойти до подписчиков.
- Не используйте спам-слова. Фильтры давно стали лучше, но тем не менее, на некоторые слова они продолжают обращать внимание. Не употребляйте без надобности:
- коммерческие фразы: «пока вы спите», «без вложений», «купите», «закажите»;
- медицинские термины: «лишний вес», «потенция»;
- 18+: «девушки онлайн», «анкета знакомств»;
- Розыгрыши: «вы выиграли», «лотерея», «вас выбрали победителем» и т.д.
- Яркие шрифты, режущие глаз, — верный признак спама. Привлекая внимание на каждой строчки, как не парадоксально, вы отталкиваете пользователя читать текст. Допустимо использовать цвета в заголовках, контактах, но не хаотично, а по делу.
- Избегайте спамные темы. Типичные примеры всем известны: «Заработать 100500 долларов за 5 минут», «Получила айфон бесплатно», «80 кг уйдут, если…». Не нужно затрагивать темы 18+, финансовые пирамиды, секретные методики похудения, если вы не специалист в этой области, и ваши читатели не соглашались на такую рассылку.
- Письмо должно отображаться всеми почтовыми сервисами, даже теми, которые не поддерживают HTML-технологии. Используйте Plain Text, письмо-текст, чтобы избежать блокировки фильтрами. Вы можете совмещать HTML и Plain Text, а что показать пользователю, уже решит сама программа.
- Самая банальная рекомендация: делиться полезной информацией. Это значит, писать по той теме, на которую подписался пользователь. И делать контент интересным, чтобы его ждали и читали по почте.
- Отключите Flash, JavaScript или ActiveX. Почтовые сервисы относятся к ним с подозрением, потому что в них можно скрыть вирус.
- Желательно, чтобы новые ссылки открывались в новой вкладке браузера.
- Используйте доменную почту, например, [email protected] или [email protected]. Рассылка с личных ящиков расцениваются как нежелательная почта. Покупайте хостинг VPS/VDS, предоставляющий индивидуальный IP, а не обычный, на котором могут зарегистрироваться до 500 других доменов. Тогда вам не потребуется делить свою репутацию.
- Не верстайте посыл одной большой картинкой, на которой размещается вся информация. Фильтры быстро блокируют такие рассылки. Напишите хотя бы пару строк обычным текстом. Помните, что некоторые клиенты могут отображать только текстовые сообщения, и до пользователя не дойдет информация на изображении.
- Фильтры блокируют рассылки с файлами больших размеров. Тут все просто: спамеры любят этот прием для передачи вирусов. Если вы предлагаете пользователю что-то скачать, воспользуйтесь ссылками на файлообменник.
- Не забывайте оставлять ссылки на отписку. Даже если они будут сверху и снизу, это не будет призывом отписаться от вас. Другое дело, когда пользователь ищет ее, но не находит. Тогда он просто нажимает кнопку «Спам», а это хуже для репутации, чем просто отписка.
- Приветствуется небольшой размер письма — до 100 Кб. Более тяжелое пропустят не все спам-фильтры.
- Письма верстаются в стандартной кодировке UTF-8.
- Прописывайте все цвета в шестнадцатеричном формате, с 6 цифрами после решетки #. Тогда программа для чтения писем не перепутает оттенки, а пользователь увидит задуманную гамму.
- Большое количество подчеркиваний, жирных шрифтов, пустых строк, пробелов, переспам — фильтры принимают эти сообщения за спам и не доставляют их адресату.
- Проверьте текст на укороченные ссылки (например, короткие адреса от известного bitly.com). Спамеры используют их для передачи зараженных сайтов или программ. Почты не одобряют эти приемы и требуют вставлять полные адреса, чтобы читатель видел, куда переходит. Рассылка заблокируется, если конечная целевая страница не совпадает с указанной в письме.
- Ширина влияет на отображение. Если тело будет более 600 пикселей, то на экране пользователя оно может расползтись и неправильно отображаться.
- Добавляйте картинкам alt-теги. Пользователь, у которого не отобразятся изображения, все равно уловит смысл письма, если они были соответственно подписаны. Фильтры не доверяют сообщения без alt-тегов. Их нужно добавлять ко всем изображениям без исключения.
Что почитать дополнительно
- Требования Яндекса.
- О рассылках от Mail.Ru.
- Что нужно знать о рассылках в Google:.
Подводим итоги
Черные списки — это базы IP и доменов, с которых рассылается спам. Каждый пользователь может создать личный список нежелательных отправителей, а крупные организации занимаются их определением и сбором с помощью уловок и секретных технологий. Почтовые сервисы также создают свои блэклисты и проверяют через них домены. Для того, чтобы не попасть туда, нужно следить за своей репутацией, делать интересные письма для людей и соблюдать технические требования почты.
semantica.in
Ваши письма попадают в спам? Проверьте IP на бан / ХостТрекер corporate blog / Habr
ХострТрекер предлагает проверить, не попал ли Ваш домен в DNS блеклист. Это может случится по целому ряду причин: например, подозрение в рассылке спама, размещении запрещенного контента (или даже просто ссылок на сайты, где таковой имеется) и т.п. Как это выявить и как с этим бороться? Читайте под катом.Почему так происходит?
Критерии, по которым составляются блеклисты доменов, довольно сильно разнятся, а также изменяются с эволюцией алгоритмов. Поэтому нет никакой гарантии, что даже кристально чистый с точки зрения закона, морали и негласных правил Интернета домен случайно не попадет туда со временем. Причин, по которым это может произойти, множество — перечислять их все особого смысла нет.
Недавно мы столкнулись с этой проблемой. Как сервис мониторинга, мы постоянно рассылаем оповещения о состоянии сайтов, ежедневные и другие периодические отчеты. И в какой-то момент оказалось, что у некоторых клиентов эти письма попадают в спам.
Что делать?
Во-первых, необходимо вовремя обнаружить проблему. Для этого мы специально разработали новую бесплатную функцию — проверку наличия домена в DNSBL:
Стоит отметить, что эта функция не является уникальной — есть и другие подобные сервисы, например Mxtoolbox, с помощью которого мы обнаружили, что наш домен попал в пару «черных списков». Но мы решили, что среди прочих инструментов, которые предлагает ХостТрекер, этот также будет уместным и полезным.
Типичный результат нашей проверки DNSBL представлен на первом изображении к этой статье. Если обнаружены какие-либо проблемы, указывается причина попадания сайта в блеклист.
Как правило, сначала домен включается в список «для выяснения обстоятельств». С Вашей стороны можно эти обстоятельства выяснить — для начала, просто доказать, что Вы человек, а не робот. Для этого зайдите на сайт соответствующего блеклиста и следуйте инструкциям. Все довольно просто — вводите название домена, нажимаете кнопку «разблокировать». В некоторых случаях может понадобиться написать письмо с просьбой удалить из списка. Но перед этим, конечно же, следует устранить причину попадания.
Например, в случае с подозрением в спам-рассылке, необходимо удостовериться, что Ваш почтовый сервер никто не использует в зловредных целях. Крайне рекомендуется настроить обратное определение DNS для почтового сервера. Также можно настроить SPF. Для большинства спам-списков этого будет достаточно, чтобы более Вас туда не вносить.
Конечно, могут быть и другие причины, по которым домен может угодить в подобный список. Но почти всегда гордое имя Вашего сайта возможно отбелить, если, конечно, оно попало в этот список действительно случайно. Немаловажна в этом деле быстрота Вашей реакции — чем быстрее Вы заметите проблему и начнете на нее реагировать — тем больше вероятность, что домен не успеет «расползтись» по всем блеклистам и прочно там укорениться. И вот именно для этого мы и предлагаем Вам наш новый инструмент.
habr.com
Проверить ip на черные списки. Блэк листы проверка айпи на спам
Наша жизнь, работа и общение тесно связаны с интернетом. У каждого пользователя есть электронная почта, по которой возникает необходимость передавать важную информацию. Бывает так, что письма до адресата не доходят и нам нужно разобраться, в чем причина.
Часто есть необходимость в проверке подозрительного ай пи, который рассылает спам и за которыми, возможно, скрываются фальшивые боты и хакеры. В статье подробно разберем, для чего проверка ай пи, критерии доставки писем, причины попадания их в блеклисты и принцип работы сервиса проверки.
Зачем нужна проверка IP на наличие его в спам-базах
Если ваш ай пи попал в спам базу, почта будет открещиваться от вас спам-фильтрами, даже если вы порядочный пользователь и спам отродясь не рассылали. Причины этому просты:
- есть вероятность, что вам достался IP, засвеченный в спаме,
- читатель решил, что ваша рассылка ему не нужна.
Можем с уверенностью сказать, что рано или поздно любой ай пи попадет в блеклист. И чтобы проверить, не засветились ли конкретно вы в одном из 220 крупнейших мировых спам-листов, или вам самому нужно проверить какой-либо подозрительный протокол, воспользуйтесь сервисом прокси чекер.
Критерии доставки писем адресату
Итак, когда мы начинаем рассылку информации, мы используем IP своего интернет-провайдера. Если мы делаем рассылку с помощью специального сервиса – используется их протокол. И именно ай пи может пустить под откос даже самую крутую рекламную компанию, на разработку которой ушли месяцы работы. Давайте разберемся почему.
После отправления, письмо проходит через спам-фильтры, которые решают, дойдет ли письмо адресату. При этом спам-фильтры ориентируются на рейтинг отправителя и содержание сообщения. Именно поэтому, запомните, чем чище ай пи, тем выше рейтинг и тем больше вероятность что отправленное письмо попадет во входящие сообщения, а не блеклисты. Если рейтинг высокий, спам-фильтр вообще не заморачивается и не «вычитывает» письма, а просто дает добро на отправку.
Что влияет на репутацию IP
Итак, основными причинами попадание IP в блеклисты являются:
- — Количество рассылок с одного сервера,
- — Много жалоб и банов на рассылки отправителя,
- — Целенаправленная рассылка спама,
- — Нарушение негласных правил поведения в сети интернет,
- — Если в письме присутствуют ссылки на те домены, которые уже занесены в черные списки,
- — Неправильно оформленный текст с точки зрения спам-фильтра.
Бывает так, что вы чисты и придраться не к чему, а ваши письма все равно оказываются в спам-базе. В этом случае есть вероятность, что вам достался «плохой» IP или сервер получил IP из черного списка. Часто такое бывает, если вы пользуетесь виртуальными сервисами рассылок, а не профессиональными, где используется выделенный ай пи. Советуем использовать только профессиональные рассыльщики.
Принцип работы прокси чекера
Итак, мы уже знаем, что сервис проверки ай пи адресов создан для того, чтобы быстро получить информацию о протоколе. Принцип работы заключается в следующем:
- нужно ввести IP для проверки,
- затем необходимо нажать кнопку «проверить».
Через пару секунд вы получаете результат в виде списка сетей DNSBL из нескольких баз либо ответ «да» или «нет». Вот и все. Просто, быстро, информативно.
proxy-checker.net
Мониторинг IP в блэклистах с помощью Zabbix / Habr
Немного теории
Публичные спам-базы или «черные списки» IP адресов содержат информацию об IP, которые по каким-либо причинам были признаны недружественными по отношению к пользователям. Не будем углубляться в технологические тонкости; важно, что почтовые программы и сервисы используют информацию из этих и собственных баз для того, чтобы защищать электронные ящики получателей от нежелательной рассылки, от спама.
Суть проблемы
Если ваш IP адрес попал в черный список – адресаты не будут получать ваши электронные письма.
Попадание IP в публичные спам-базы грозит наступлением корпоративного почтового коллапса. Это неприятно, даже если e-mail адресов на домене всего 5 и всех пользователей можно временно «пересадить» на «обычную» почту на Яндексе или Mail.ru. Но, когда к внутреннему почтовому серверу «приколочены» более 50 ящиков, интегрированных с CRM-системой, проблема приобретает катастрофический характер.
Решение
«Знать, чтобы предвидеть; предвидеть, чтобы управлять». О. Конт
Вычислить надвигающуюся угрозу можно и нужно до того, как клиент ощутит на себе карательные меры почтовых серверов, а отдел продаж в панике совершит коллективное линчевание местного админа. Для этого мы создали скрипт автоматического мониторинга IP, оповещающий пользователя о возможных проблемах. В качестве платформы мониторинга выбрали Powershell, а для оповещения использовали zabbix 2.4.
Немного о создании скрипта
Наиболее очевидным вариантом казался парсинг веб страниц известных поисковых систем IP в базах mxtoolbox и 2ip.ru. Для решения этой задачи – использовались технологии .NET и XPATH – наиболее эффективное средство для парсинга XML и WEB, особенно для ненавистников регулярных выражений. Первый блин, в некотором роде, получился комом и после долгого и изнурительного тестирования мы решили отказаться от этого решения. Причиной послужила, прежде всего, зависимость от стороннего сервиса: если создатели площадки поменяют структуру кода, то в лучшем случае нужно будет заново тестировать ПО, в худшем – переписывать код.
После тщательного анализа существующих в данной области технологий и наработок мы пришли к более интересному и практичному решению. Разработка ПО на базе powershell 3.0, которое будет самостоятельно проверять наличие IP в публичных спам-базах.
Как работает?
Проверка IP адреса на факт наличия в черном списке (DNSBL) проводится следующим образом: указывается проверяемый IP в нотации DNS PTR (то есть наоборот «спереди назад») и добавляется имя домена DNSBL сервера. Если ответ от сервера получен, то проверяемый адрес заблокирован: то есть IP замечен в одном или нескольких черных списках. Вне зависимости от специфики ответа (он может быть любым), сам его факт говорит о том, что IP находится в спам-базе.Немного кодаКод скрипта:
<#
Функция zabbix для отправки данных. Данная функция принимает на вход параметры:
Key - имя ключа, который создается в элементе данных zabbix
Также необходимо задать переменные
$Zabbix_send = указать где находится утилита zabbix_sender
$zabbix_port = порт zabbix сервера
$zabbix_server = адрес zabbix сервера
$zabbix_host = Имя созданого узла сети в zabbix (чувствителен к регистру)
#>
Function Send_Zabbix {
param (
[parameter(mandatory=$true)]
$key,
[parameter(mandatory=$true)]
[int64]$value
)
$Zabbix_send = "C:\zabbix_sender.exe"
$zabbix_port = "10051"
$zabbix_server = "10.0.33.31"
$zabbix_host = "Blacklistcheck"
echo "$key : $value"
$cmd = "$Zabbix_send -z $zabbix_server -p $zabbix_port -s $zabbix_host -k `"$key`" -o $value"
echo "$cmd"
Invoke-Expression $cmd
}
# Место хранения списка адресов для проверки, в формате name,ip
$FilePath = "D:\powershell\blacklist.csv"
# импортируем список в текстовый массив
$iparr = Import-Csv $FilePath
foreach ($ipaddr in $iparr)
{
[string]$IP = $ipaddr.adress
[string]$organization = $ipaddr.organization
$reversedIP = ($IP -split '\.')[3..0] -join '.'
# заготовленый список спамбаз, по которым будет проходить проверка
$blacklistServers = @(
"b.barracudacentral.org";
"bl.deadbeef.com";
"bl.emailbasura.org";
"bl.spamcannibal.org";
"bl.spamcop.net";
"blackholes.five-ten-sg.com";
"blacklist.woody.ch";
"bogons.cymru.com";
"cbl.abuseat.org";
"cdl.anti-spam.org.cn";
"combined.abuse.ch";
"combined.rbl.msrbl.net";
"db.wpbl.info";
"dnsbl-1.uceprotect.net";
"dnsbl-2.uceprotect.net";
"dnsbl-3.uceprotect.net";
"dnsbl.cyberlogic.net";
"dnsbl.inps.de";
"dnsbl.njabl.org";
"dnsbl.sorbs.net";
"drone.abuse.ch";
"drone.abuse.ch";
"duinv.aupads.org";
"dul.dnsbl.sorbs.net";
"dul.ru";
"dyna.spamrats.com";
"dynip.rothen.com";
"http.dnsbl.sorbs.net";
"images.rbl.msrbl.net";
"ips.backscatterer.org";
"ix.dnsbl.manitu.net";
"korea.services.net";
"misc.dnsbl.sorbs.net";
"noptr.spamrats.com";
"ohps.dnsbl.net.au";
"omrs.dnsbl.net.au";
"orvedb.aupads.org";
"osps.dnsbl.net.au";
"osrs.dnsbl.net.au";
"owfs.dnsbl.net.au";
"owps.dnsbl.net.au";
"pbl.spamhaus.org";
"phishing.rbl.msrbl.net";
"probes.dnsbl.net.au";
"proxy.bl.gweep.ca";
"proxy.block.transip.nl";
"psbl.surriel.com";
"rbl.interserver.net";
"rdts.dnsbl.net.au";
"relays.bl.gweep.ca";
"relays.bl.kundenserver.de";
"relays.nether.net";
"residential.block.transip.nl";
"ricn.dnsbl.net.au";
"rmst.dnsbl.net.au";
"sbl.spamhaus.org";
"short.rbl.jp";
"smtp.dnsbl.sorbs.net";
"socks.dnsbl.sorbs.net";
"spam.abuse.ch";
"spam.dnsbl.sorbs.net";
"spam.rbl.msrbl.net";
"spam.spamrats.com";
"spamlist.or.kr";
"spamrbl.imp.ch";
"t3direct.dnsbl.net.au";
"tor.dnsbl.sectoor.de";
"torserver.tor.dnsbl.sectoor.de";
"ubl.lashback.com";
"ubl.unsubscore.com";
"virbl.bit.nl";
"virus.rbl.jp";
"virus.rbl.msrbl.net";
"web.dnsbl.sorbs.net";
"wormrbl.imp.ch";
"xbl.spamhaus.org";
"zen.spamhaus.org";
"zombie.dnsbl.sorbs.net"
)
$blacklistedOn = @()
foreach ($server in $blacklistServers)
{
$fqdn = "$reversedIP.$server"
try
{
$null = [System.Net.Dns]::GetHostEntry($fqdn)
$blacklistedOn += $server
}
catch { }
}
if ($blacklistedOn.Count -gt 0)
{
Write-Host "$organization is blacklisted on the following servers: $($blacklistedOn -join ', ')"
send_zabbix -key $organization -value 1
}
else
{
Write-Host "$organization is not currently blacklisted on any server."
send_zabbix -key $organization -value 0
}
}
В zabbix данные передаются через траппер. Для использования элемента данных траппера мы должны:
— иметь в Zabbix настроенный элемент данных траппер
— отправлять данные в Zabbix.
Создадим хост blacklistcheck:
Теперь необходимо настроить траппер:
Создаем элемент данных.
Имя – может быть любым
Ключ – основной элемент при создании траппера, данный элемент имеет зависимость от регистра. Ключ KEY и key это два разных ключа.
Тип информации: есть 3 варианта, подходящие под нашу задачу: число, символ или текст. Но, поскольку мы исключили регулярные выражения, то текстовым массивам предпочли целочисленное значение.
Тип данных – логический; нам важно 2 значения IP: присутствует (1), либо не присутствует в спам-листах (0).
Отображение значений можно оставить как есть, а можно создать свое преобразование, примерно следующего содержания: 1= ip is listing, 0 = ip isn`t listing – на работу скрипта данные значения не влияют, зато визуализация информации в zabbix получается интересной.
После этого элемент данных готов принимать значения. Можно выполнить проверку через программу zabbix_sender.
В случае корректной работы будет получен подобный результат:
Результат zabbix senderC:\>zabbix_sender.exe -z 10.0.33.31 -p 10051 -s Blacklistcheck -k fn -o 1 -vv
zabbix_sender.exe [14276]: DEBUG: answer [{«response»:«success»,«info»:«processe
d: 1; failed: 0; total: 1; seconds spent: 0.000066»}]
info from server: «processed: 1; failed: 0; total: 1; seconds spent: 0.000066»
sent: 1; skipped: 0; total: 1
Для просмотра диагностических данных используется параметр –vv.
Скорость проверки одного IP составляет не более 3-х минут.
Далее необходимо настроить триггер для оповещения.
Имя можно задать любое. Выражение соответствует изменению состояния элемента данных с 0 на 1. В случае срабатывания триггера в основной панели zabbix появится оповещение.
Практика использования
Мы создали компактный, хорошо работающий скрипт, который автоматически оповещает клиента о возможных проблемах в работе почтовой системы. Согласитесь, что профилактика этого вопроса куда приятнее и спокойнее по сравнению с необходимостью решать задачу «отвалившейся» почты в условиях цейтнота.
Мы внедрили данное решение у наших клиентов, и оно хорошо себя показывает – особенно в компаниях, где отдел продаж работает через рассылку коммерческих. Данный скрипт позволяет быстро локализовать проблему, вызвавшую попадание IP в спам-базу, и без ущерба продолжить работу.
Желаем, чтобы количество взлётов электронных писем совпадало с количеством приземлений!
habr.com
Как проверять IP на блеклисты: подборка инструментов с инструкциями | Блог о email маркетинге
В емейл рассылках не только контент играет роль. Тяжелые муки подбора слов, анализа целевой аудитории и мучительной сегментации разбиваются об острую как скала, и такую же черную, репутацию IP отправителя. Переход IP-шки на темную сторону кроется в многих причинах: от нечаянного ( и,порой, жесткого) нарушения кодекса поведения в сети до бана со стороны читателей.
Рано или поздно любой айпи окажется в блеклисте. Это неизбежно. И работая по принципу «Не можешь предотвратить – возглавь», мы предлагаем вам не только проверить свой адрес на присутствие в спам базах, но научится его оттуда вытягивать.
Зачем проверять IP на блеклист
Начнем с того, что речь будем вести об интернет протоколе сервера, не компьютера. Кстати, IP на компьютеры не назначаются, а присваиваются исключительно сетевым интерфейсам на них. Об этом в другой раз. Итак, упоминая рассылку со своего сервера – подразумеваем IP интернет-провайдера, а при использовании сервиса почтовых рассылок – соответственно их протокол.
Так вот, именно IP может пустить под откос даже самую крутую и оттестированную рекламную кампанию. Одно непродуманное действие – и вы в блеклисте. Там же, где и возможность осуществлять какие-либо рассылки вообще. Страшилки прочь – разбираемся, почему так происходит.
Интернет-протокол сервера напрямую влияет на уровень доставки писем. Чем «чище» IP, тем больше сообщений окажутся в папке «Входящие». Больше точек касания (месседжей) = выше уровень Open Rate и конверсии.
Чистота интернет-протокола – дело наживное. Но чтобы ее приобрести, нужно таки постараться. Дело в том, что каждое письмо при отправке проходит нелегкий путь, преодолевая всевозможные преграды. Бог этих препятствий – спам-фильтр, который и решает, будет ли письмо доставлено адресату. При вынесении приговора он ориентируется на два параметра – рейтинг отправителя и содержание самого емейла. И если о правилах создания антиспам письма мы уже рассказывали, то о рейтинге давайте поговорим сейчас.
Это довольно точное, но большинству непонятное определение. Рейтинг формируется исходя из репутации каждого сервиса отправителя. Без технических подробностей: чем чище репутация, тем выше рейтинг. При высокой оценке IP сервера спам фильтр не заморачивается с «вычиткой» содержания, а просто разрешает отправку. То есть в тексте можно себе позволить немного больше, но все в пределах приличия 🙂
На репутацию IP влияют вполне измеряемые параметры. Есть одно «но» — их много. Настолько, что при возникновении нового способа «обойти» фильтр, почтовые сервера модифицируют свои алгоритмы, чем «убивают» злодея. Но, все-таки, главные причины попадания IP в блеклист мы, все-таки, выделили:
- Количество рассылок с одного сервера. Чем их больше в единицу времени – тем больше снижается рейтинг;
- Большое количество банов и жалоб на рассылки с сервера;
- С сервера ранее отправлялся заведомый спам;
- Нарушение негласных правил поведения в сети;
- В теле сообщения упоминаются ссылки на домены, которые есть в черном списке;
- Оформление текста письма нарушает требования спам-фильтра.
Нередки случаи, когда пользователь сервиса вел себя в лучших традициях емейл-этикета, но его рассылки все равно оказываются в папке «СПАМ». Объяснение тому – рандом, то есть сервер получил IP из черного списка. Часто такое встречается при использовании виртуального сервера. Все профессиональные сервисы почтовых рассылок, в том числе и мы, используют выделенный IP, что и вам рекомендуем.
3+1 инструмент проверить IP сервера: пошаговая инструкция
Дело сделано, письма попадают в СПАМ (или не доставляются вообще) – что делать? Не расслабляться и проверить наличие адреса сервера в базах DNSBL .
Коротко говоря, DNSBL – это и есть черные списки. Проверку можно делать как по самому IP адресу (если он известен), так и по доменному имени.
Один из самых популярных бесплатных сервисов проверки. Он ищет IP сразу по нескольким главным базам спаммерных серверов:
- SBL – хранилище информации о спамерах и их сервисах;
- PBL – список динамических адресов, которым не разрешено отправлять письма;
- XBL – база нечистих анонимных прокси-серверов, которые часто встречаются в спам-рассылках.
Данные спамхауса пополняются ежедневно, т.к. он блокирует от 60 до 80 миллиардов писем в сутки по всему миру! В общем, в достоверности результат сомневаться не приходится. Как в юзабилити сайта. Достаточно на стартовой странице ввести имя домена или IP:
И тут же получаем ответ, который подтверждает отсутствие заданного домена в базах DBL – черном списке доменов, заблокированных SPAMHOUSE.
Или в SBL, PBL и XBL базах:
Авторитетность Spamhouse.org растет, т.к. сервис расширяет свои полномочия. Ресурс постоянно работает с хостинг и интернет-провайдерами, чтобы те блокировали недобросовестные сервера. Тем самым, воспитывает культуру емейл рассылок. Приятно 🙂
Завоевал наше сердце за элементарность в использовании:
Зашел на сайт: Antispamsniper и ввел IP:
Проверил данные:
И ушел 🙂 Все просто и понятно.
Первоначально AntispamSniper был мощным защитным плагином к The Bat!, но со временем перерос в крупный сервис, который дополняет многих почтовых клиентов.
Недостатки «IP ищейки» видны уже на рисунке – проверка по малому количеству баз, и в основном –отечественным.
В отличие от предыдущего сервиса, DNSBL сканит все базы – как наши, так и зарубежные. Организаторы заявляют, что каждый IP проходит проверку по 100 черным спискам. Остается только верить.
Принцип работы аналогичен – вводим IP:
Получаем результат:
И один из проверяемых IP (не наш!) все-таки нашелся в одном из блеклистов. Но тут же DBSL сообщает, что «красный кружочек» не всегда означает темное настоящее IP. Некоторые критерии отбора базируются на локации сервера или типе связи. Узнать причину блокировки идем на сервис проверки домена в DNSBL
После 3-5 секудного ожидания, получаем комбо: подтверждение нечестности IP и причины этого:
Кликнули по ссылке и узнали, что IP адрес находится базе RBL – списке нарушителей, проверяемых в реальном времени. Значит, некогда этот сервер промышлял спамом 🙂
Эти 3+1 сервиса – лишь капля в море доступных инструментов для проверки чистоты IP. Есть еще и другие достойные и простые в юзабилити ресурсы:
Важно: для спам-фильтра нет никакой разницы, с какого емейла совершается отправка. Важен только сервер. Поэтому механика действий при попадании в блеклист одинакова как для рассылки с собственного сервера, так и при использовании специального почтового сервиса. Разница заключается в том, что в первом случае, «вытягивать» IP из черной базы придется собственноручно. И сделать это очень не просто.
Спасти рядового IP
Единственный способ осуществить эту операцию – узнать и понять (!) причины попадання в блеклист. Как справиться с первым этапом мы уже показали, а вот второй…требует профсноровки и несколько лет обучения. Поэтому этим занимается сервис емейл рассылок. Во-первых, это экономит вам время. Во-вторых, нервы. В-третьих, при обелении IP будут соблюдены все нормы, о существовании которых вы и не знали.
Как правило, все базы блеклистов работают по принципу автоматического удаления из списка. Но для этого владельцу IP нужно подтвердить свою пушистость – т.е. написать КАЖДОМУ владельцу базы письмо с прикрепленными фактами. А баз может быть 100, 200, 1000… Представьте временые затраты. Но сейчас не о том.
И это еще не гарантирует результат! Вам должны поверить и проверить. Если все OK – то в течение 30 дней IP снова станет кристально чистым. А если нет.. то об этом мы поговорим в наших следующих материалах.
Следите за чистотой IP и работайте с проверенными сервисами!
www.estismail.com
Как проверить IP на наличие в спам базе
Как проверить IP на наличие в спам базе
Всем привет! Часто бывает много весьма неприятных вещей в интернерте. Например, вы отправили одному блоггеру предложение обменяться с вашим уютным сео бложиком постовыми, а ответ получили лишь через месяц и то по счастливой случайности что тот проверил СПАМ папку на почте. Иногда возможны осложнения с посещением некоторых сайтов – которые скажем прекрасно грузятся у друзей, но у вас не в какую. Плюс к этому могут быть траблы с входом в популярные общалки – мейл агент, QIP, ICQ и тд.
Грешить можно на многие вещи, но как правило все сводится к 2 вещам – вирусы или наличие IP в спам базе. Давайте немного теории.
Спам база – как правило это сайт, взаимодействующий с большим количеством ресурсов в сети интернет. И как только этот ресурс спамят ( причем не всегда спам является именно тем спамом к которому мы все привыкли) – это может быть множественная регистрация на сайте, оставление ссылки в посте /подписи и тд. Так вот с ресурса идет жалоба в спам базу и та вносит IP в черный список. Теперь при попытке посетить ресурсы с данного IP, которые взаимодействуют со спам базой – вы получите отказ, грубо говоря вас на них не пустят. Скажу сразу, что это больше применимо к статичным адресам, но иногда банят и всю подсеть, так что изза спамера Машки из соседнего дома у вас могут быть некоторые проблемы. Но не должно быть проблем с приумножением ваших честно заработанных средств при инвестировании в памм счета. Это отличное вложение средств.
Отслеживания спама по сайтам – это лишь вершина айсберга, основное предназначение – это ведение черного списка спамером электронной почты. Причем в черный список можно попасть лишь потому, что вы занимаетесь массовой регистрацией аккаунтов.
Большинство спам баз работают по принципу сайтов – ловушек. Осталяют различные почтовые ящики в сети и отслеживают IP с которых на них валится спам. Также создаются сайты-приманки. Человек не может зарегистрироваться на них и они для него не несут практической ценности, а скажем хрумер с радостью зарегистрируется там и отправит сообщение, тем самым IP попадает в спам базу.
Самая известная спам бза – это конечно же спамхаус (spamhaus.org ).
Вообще нахождению вашего IP в спам базах пугаться не стоит, как правило у всех активных пользователей интернета в 2-3 спам базах айпи подсвечивается красным или черным. Но необходимо во избежание проблем как я уже сказал с банальной отправкой почты – как можно скорее убрать IP из спам базы.
Самый простой вариант – не пользоваться компьютером 31 день. Как правило за это время если нет никакой активности вам IP удаляют из базы. Конечно же простой, не значит лучший. Можно сделать ручной запрос на удаление. Причем для каждой базы он делается по особенному. Ну есть и третий вариант – просто забить на это все и продолжать работать дальше или использовать прокси.
Ну а теперь о том, как проверить IP на наличие в спам базе. Существует великое множество анализаторов, вот некоторые из них —
_2ip.ru/spam
_smart-ip.net/tools/check-spam-dbs
и тд. Но и в самом спамхаусе не помешает провериться. В случае обнаружения – почитайте в интернете про то, как убрать свой IP из базы и сделайте это незамедлительно. Кому не лень, может написать в комментах, в каких базах он засветился и за что.
Всем хорошего дня!
seoonly.ru