Сканируем большие сайты через Screaming Frog SEO Spider — SEO на vc.ru

Привет! Последнее время всё чаще начал сталкиваться со сканирование больших сайтов (от 1 млн страниц), а также встретился со множеством заблуждений от людей, которые этим никогда не занимались. Этот пост не про то, зачем вам парсить сайт, вы наверняка знаете, а про то, как не бояться этого делать и правильно всё настроить.

5997 просмотров

Главные заблуждения:

— Лягушка регулярно падает;

— Сканировать можно до 500 тысяч;

— Это крайне долго;

Более того, полезной и практической информации о сканировании больших сайтов именно этим софтом в интернете просто нет, есть инструкция от разработчиков, где демонстрируется работа с 8 млн страницами и на этом всё.

Своим опытом я делюсь у себя на канале, но поскольку в рамках сообщения в телеге сложно раскрыть отдельные нюансы, не перегружая его, решил оформить в виде поста-мануала здесь, поехали.

Задача — просканировать сайт с Х миллионами страниц и не попасть на передачу

«Сдохни или умри». Конечно, можно оплатить тариф у JetOctopus, но проводя аналитику не только своих сайтов, но и конкурентов, разорение неминуемо.

Конфигурация сервера

Чтобы парсинг не мешал основной работе я использую сервер, собранный из китайских запчастей. Моя конфигурация не самая удачная (много жрёт электричества, сильно греется), но с задачей краулинга справляется отлично — два 8 ядерных процессора E5-2689, 1080 (другой не было), 48 GB RAM (REG ECC), ну и Windows Server на борту, поскольку бесплатная на полгода и не перегружена всякой шелухой от майкрософта. Нужен ли такой монстр? Разумеется нет, для объективности, установил в BIOS 2 ядра по 3.5 ггц и запустил те же самые настройки. Скорость парсинга не упала, но загрузка процессоров была 80-90%. Краулить реально без выполнения других задач.

Сканирование в 10 потоков двумя ядрами

Сканирование в 10 потоков 16 ядрами

Настройки программы

Теперь к основному, настройки программы. Первое и самое главное:

Configuration — Systeam — Storage Mode — Устанавливаем DataBase.

Теперь парсинг идёт не в оперативную память, а на диск. Диск крайне желательно должен быть SSD. Основной плюс в том, что все результаты просто дозаписываются в базу и если произойдет краш, ничего не потеряется (забегая наперёд, после переключения в этот режим падений ни разу не было).

DataBase режим

Вторым шагом зададим размер оперативной памяти (Configuration — Systeam — Memory Allocation). Разработчики рекомендуют от 4 гб для парсинга 2 млн страниц и 8 гб для 5 и более. У меня стоит 24, потому что могу. На самом деле, выставлять 16-32-48 гб памяти здесь нет необходимости, она нужна только для работы каждого из потоков.

Сканирование большого числа страниц = большой размер проекта. Отключаем лишнее. Залетаем в Configuration — Spider. Здесь оставляем парсинг только внутренних ссылок (если планируете искать битые внешние ссылки и прочее, разумеется включаем):

Оставляем только внутренние ссылки

Отключаем лишнее

Т. к. часто на сайтах изображения являются ссылками, софтина их продолжает собирать, несмотря на запрет, лезем в Configuration — Exclude и вставляем следующие исключения, они универсальный для любого парсинга:

http.*\.jpg
http.*\.JPG
http.*\.jpeg
http.*\.JPEG
http.*\.png
http.*\.PNG
http.*\.gif

http.*\.pdf
http.*\.PDF

Отлично, теперь изображения точно не будут собираться.

Напоследок, Configuration — Speed. Здесь всё крайне индивидуально и зависит от:

— Возможностей сервера с которого идёт парсинг;

— Возможностей сервера который парсим;

— От интернет канал;

Я ставлю от 7 до 10 потоков (10-30 урлов в секунду), этого хватает для комфортной работы всех сторон.

Подводные

Куда без них. Опытным путем выяснил, что от уровня вложенности страниц сайта, при прочих равных, зависит скорость парсинга и размер базы данных, причем зависит серьезно, об этом ниже.

К цифрам

Всё это было бы бессмысленными теориями, если бы не было обкатано в бою.

Парсинг любого проекта я выполняю в два этапа:

— Первичный, понять очевидно проблемные разделы с мусорными страницами. Собирается 5-10% от будущего объема сайта и на основе данных структуры (Site Structure в сайдбаре) оцениваем что за разделы и для чего они нужны по количеству страниц в них;

— Вторичный, с отключенными проблемными разделами (через Exclude), чтобы найти более мелкие ошибки в рамках всего сайта.

Итак, на последнем проекте изначально было несколько проблемных разделов с 17-ю(!) уровнями вложенности. Размер проекта раздувался в космос, каждый следующий миллион страниц весил дополнительные 100 гб места на диске. Скорость через 1.5 млн страниц упала с 20-30 урлов в секунду до 2-3. Всего урлов в ожидании к тому моменту было 5 млн и это явно не предел.

Вторым этапом, исключив мусорные разделы, запустил парсинг повторно. В итоге, на сайте осталось 2 млн страниц и в 10 потоков (20-30 урлов в секунду, да там хороший сервер) он парсился ровно сутки. Удивился сам, но совпало с теоретическими расчётами: 2 000 000 / 20 (урлов в сек) / 3600 (часов) = 28 часов. При этом размер базы для всего проекта составил порядка 50 гб, что в 4 раза меньше прошлого парсинга для того же количества страниц.

Выводы

Краулинг значительного объёма страниц реален и не так страшен, как о нём думают. Достаточно 4-х ядерной машины с 8-16 гб оперативной памяти и не сильно большого SSD. Сама лягушка такие объемы тянет и не падает.

При любом сканировании после первых 10-15%, оцените структуру сайта и посмотрите, какие разделы могут генерировать много лишних страниц. Исключите их из парсинга и перезапускайте сканирование уже до финала. Успехов!

Подробная инструкция по использованию Screaming Frog SEO Spider

Автор Никита Чижиченко На чтение 12 мин. Просмотров 21.8k. Опубликовано

Правильный аудит сайта – это половина успешной оптимизации. Но для его проведения требуется ряд инструментов и их понимание.

Одним из наиболее полезных сервисов является Screaming Frog (SF), который дает возможность с помощью парсинга (сбора информации) получить необходимые данные, например, массово выгрузить пустые страницы или найти все дубликаты по метатегу Title.

В процессе оптимизации мы часто используем данный сервис, поэтому решили составить цикл обзорных статей, чтобы упростить специалистам навигацию по инструментарию и поиску решений нетривиальных задач. В этой статье-переводе расскажем о настройке парсинга и опишем, как без лишних проблем сканировать большие сайты.

Ознакомиться с сервисом более подробно можно в разделе первоисточника User Guide, на этом же сайте можно скачать бесплатную версию (предел парсинга – до 500 страниц, есть ограничение в настройках, поэтому рекомендуем использовать полную версию).

Содержание

  1. Configuration Options (опции для парсинга)
  2. Spider Configuration
  3. Basic
  4. Limits
  5. Rendering
  6. Advanced
  7. Robots. txt (настройки влияния robots.txt)
  8. Settings
  9. Ignore robots.txt
  10. Respect robots.txt
  11. Custom
  12. URL Rewriting
  13. Remove Parameters
  14. Regex Replace
  15. Options
  16. Test
  17. CDNs
  18. Include/Exclude (включение и исключение папок при парсинге)
  19. Speed (скорость парсинга)
  20. User-Agent (с помощью какого “бота” парсим)
  21. HTTP Header (учет определенных http-заголовков)
  22. Custom (настройки для парсинга дополнительных данных)
  23. Custom Search
  24. Custom Extraction
  25. User Interface (сброс сортировки столбцов)
  26. API Access (интеграция с сервисами)
  27. System (настройки парсера)
  28. Memory
  29. Storage
  30. Proxy
  31. Embedded Browser
  32. Mode (режимы сканирования)

Configuration Options (опции для парсинга)

Spider Configuration

Здесь задаются основные настройки парсера, которые разбиты по следующим вкладкам:

  • Basic;
  • Limits;
  • Rendering;
  • Advanced;
  • Preferences.
Basic

Если здесь и далее чекбокс отмечен, выполняется указанный вид операции с созданием (при возможности) соответствующего отчета:

  • Check Images – анализ картинок.
  • Check CSS – анализ CSS-файлов.
  • Check JavaScript – анализ JS-файлов.
  • Check SWF —  анализ Flash-анимаций.
  • Check External Link – анализ ссылок с сайта на другие ресурсы.
  • Check Links Outside of Start Folder – возможность проанализировать ссылки вне сканирования стартовой папки.
  • Follow internal “nofollow” – сканирование внутренних ссылок, закрытые в тег “nofollow”.
  • Follow external “nofollow” – сканирование ссылок на другие сайты, закрытые в тег “nofollow”.
  • Crawl All Subdomains – парсинг всех поддоменов сайта, если ссылки на них встречаются на сканируемом домене.
  • Crawl Outside of Start Folder – сканируется весь сайт, однако проверка начинается с указанной папки.
  • Crawl Canonicals – выведение в отчете атрибута rel=”canonical” при сканировании страниц с использованием данного атрибута.
  • Crawl Next/Prev – выведение в отчете атрибутов rel=”next”/”prev” при сканировании страниц пагинации.
  • Extract hreflang/Crawl hreflang – при сканировании учитывается атрибут hreflang, отображаются коды языка и региона страницы.
  • Extract AMP Links/Crawl AMP Links – извлечение в отчет ссылок с атрибутом AMP (определение версии контента на странице).
  • Crawl Linked XML Sitemap – сканирование карты сайта.

Если включена данная опция, можно выбрать «Auto Discover XML Sitemaps via robots.txt» (SF сам найдет sitemap.xml с помощью robots.txt) или предоставить список файлов, отметив «Crawl These Sitemap» и вставив их в поле, которое появится.

Limits
  • Limit Crawl Total – задаем лимиты страниц для сканирования (сколько страниц сканируем для одного проекта).
  • Limit Crawl Depth – задаем глубину парсинга: до какого уровня может дойти краулер при сканировании проекта. Если укажете уровень вложенности 1, Screaming Frog выдаст все URL уровня вложенности от введенного документа. Например, если указать главную страницу и в Limit Crawl Depth добавить значение 1, то краулер перейдет по всем ссылкам с главной страницы и остановится. При параметре со значением 0 будет проверен только указанный документ.
  • Limit Max Folder Depth – задаем глубину парсинга вплоть до уровня вложенности папки. Указанное значение отвечает за то, как глубоко можно сканировать сайт по адресу URL site.ru/papka-1/papka-2/papka-3/, где значение – параметр в Limit Max Folder Depth.
  • Limit Number of Query Strings – задаем глубину парсинга для страниц с параметрами.
  • Max Redirects to Follow – задаем максимальное количество редиректов, по которым краулер может переходить с одного адреса.
  • Max URL Length to Crawl – максимальная длина URL, допустимого для сканирования.
  • Max Links per URL to Crawl – максимальное количество ссылок в сканируемом URL для обхода.
  • Max Page Size (KB) to Crawl – максимальный размер страницы для обхода (указываем в килобайтах).
Rendering

На выбор три опции:

  1. Text Only – краулер анализирует только текст страницы.
  2.  Old AJAX Crawling Scheme – проверяет по устаревшей схеме сканирования AJAX.
  3.  JavaScript – учитывает скрипты при рендеринге.

Детальные настройки есть только в опции JavaScript.

  • Enable Rendered Page Screen Shots – если чекбокс активен, SF делает скриншоты анализируемых страниц и сохраняет их в папке на ПК.
  • AJAX Timeout (secs) – лимиты таймаута. Означает, как долго SF должен разрешать выполнение JavaScript, прежде чем проверять загруженную страницу.
  • Window Size – выбор размера окна.
  • Sample – пример окна.
  • Чекбокс Rotate – повернуть окно (было 768х1280, стало 1280х768).
Advanced
  • Allow Cookies – учитывает Cookies, как это делает поисковый бот (можно принимать во внимание при выборе бота для парсинга).
  • Pause on High Memory Used – останавливает сканирование сайта, если процесс забирает слишком много оперативной памяти. После остановки можно отключить опцию и продолжить парсинг.
  • Always Follows Redirect – разрешает краулеру анализировать все редиректы, вплоть до финальной страницы.
  • Always Follows Canonicals – разрешает краулеру анализировать все атрибуты “canonical”, вплоть до финальной страницы.
  • Respect Noindex – страницы с “noindex” не отображаются в отчете.
  • Respect Canonical – страницы с “canonical” не отображаются в отчете.
  • Respect Next/Prev – страницы с rel=”next”/”prev” не отображаются в отчете, кроме первой (основной).
  • Extract Images from img srscet Attribute – изображения извлекаются из атрибута srscet тега <img>. SRSCET – атрибут, который позволяет указывать разные типы изображений для разных размеров экрана/ориентации/типов отображения.
  • Respect HSTS Policy – если чекбокс активен, SF выполнит все будущие запросы через HTTPS, даже если перейдет по ссылке на URL-адрес HTTP (в этом случае код ответа будет 307). Если же чекбокс неактивен, краулер покажет «истинный» код (например, в случае постоянного редиректа – 301).
  • Respect Self Referencing Meta Refresh – учитывает принудительную переадресацию на себя же по метатегу Refresh.
  • Response Timeout – время ожидания ответа страницы, перед тем как краулер перейдет к анализу следующего URL. Можно сделать больше (для медленных сайтов) или меньше.
  • 5хх Response Retries – количество попыток “достучаться” до страниц с 5хх ответом сервера.
  • Store HTML – можно сохранить статический HTML-код каждого просканированного URL-адреса на диск и просмотреть до обработки JavaScript.
  • Store Rendered HTML – позволяет сохранить отображенный HTML-код каждого просканированного URL-адреса на диск и просмотреть DOM после обработки JavaScript.
  • Extract JSON-LD – извлекает микроразметку сайта JSON-LD. 
  • Extract Microdata – извлекает микроразметку сайта Microdata.
  • Extract RDFa – извлекает микроразметку сайта RDFa.  

При выборе последних трех пунктов в каждом случае доступны дополнительные чекбоксы с типами валидации микроразметки (Schema.org, Google Validation, Case-Sensitive).

Здесь задаем желаемые параметры для ряда сканируемых элементов (Title, Description, URL, h2, h3, ALT и размер картинок).

  • Page Title Width – оптимальная ширина заголовка страницы. Указываем желаемые размеры от и до в пикселях и в символах.
  • Meta Description Width – оптимальная ширина описания страницы. Размеры – как в случае с Title.
  • Other – сюда входит максимальная желаемая длина: 
  1. URL-адреса в символах (Max URL Length Chars).
  2. h2 в символах (Max h2 Length Chars). 
  3. h3 в символах (Max h3 Length Chars). 
  4. ALT картинок в символах (Max Image Length Chars).
  5. Максимальный вес картинок в КБ (Max Image Size Kilobytes).

Robots.txt (настройки влияния robots.txt)

Здесь мы указываем парсеру, как именно учитывать файл robots.txt. Блок разделен на две вкладки – Settings и Custom.

Settings
Ignore robots.txt

По умолчанию SF будет подчиняться протоколу robots.txt: например, если сайт запрещен для сканирования в robots. txt, краулер не сможет его спарсить. Однако данная опция позволяет игнорировать этот протокол, таким образом разрешая попадание в отчет всех папок и файлов.

Respect robots.txt

При выборе опции мы можем получить отчет по внутренним и внешним ссылкам, закрытым от индексации в robots.txt. Для этого необходимо выбрать соответствующие чекбоксы: для отчета по внешним ссылкам – Show external URLs blocked by robots.txt, по внутренним – Show internal URLs blocked by robots.txt.

Custom

Пользовательский файл robots.txt использует выбранный User Agent в конфигурации, таким образом данная опция позволит просканировать или протестировать robots.txt без необходимости внесения правок для актуальных директив или использования панелей вебмастеров.

Сначала укажите в основной строке название, нажмите кнопку Add, в итоге вы получите robots.txt домена:

В правом нижнем углу есть кнопка Test. Если слева вписать нужный URL домена и нажать на нее, программа покажет доступность URL для индекса с учетом указанных в robots. txt настроек.

URL Rewriting

Данный блок дает возможность перезаписать сканируемые URL в процессе парсинга. Функция удобна, если во время сканирования надо изменить регулярные выражения, которые не нужны в конечном отчете.

Remove Parameters

Здесь вводят параметры, которые можно удалить из URL при анализе сайта либо исключить все возможные параметры (чекбокс Remove all):

Regex Replace

Изменяет все сканируемые URL с использованием регулярных выражений. Например, можно изменить все ссылки с HTTP на HTTPS:

Options

Здесь определяем перезапись прописных URL в строчные.

Test

Тут можно тестировать видоизменения URL перед началом парсинга, пример с учетом версии для Regex Replace:

CDNs

Данная функция позволяет включать в парсинг дополнительные домены и папки, считая их внутренними ссылками. При этом можно указать для сканирования только конкретные папки:

Во вкладке Test можно посмотреть, как будут определяться URL с учетом параметров Internal и External, где Internal означает, что ссылка считается внутренней, а External – внешней.

Include/Exclude (включение и исключение папок при парсинге)

Во вкладке Include мы вписываем выражения для парсинга только указанных папок, во вкладке Exclude – исключения, для парсинга всех, кроме указанных.

Разберем логику на примере вкладки Exclude:

Чтобы проверить выражение, можно использовать вкладку Test. Например, нужно запретить парсинг домена.

Если правило указано верно, то в Test при вводе нужного URL будет следующее:

Примеры других выражений:

  • Чтобы исключить конкретный URL или страницу: http://www.example.com/do-not-crawl-this-page.html
  • Чтобы исключить подкаталог или папку: http://www.example.com/do-not-crawl-this-folder/.*
  • Чтобы исключить все после бренда, где иногда могут быть другие папки: http://www.example.com/.*/brand.*
  • Если нужно исключить URL с определенным параметром, таким как price, содержащимся во множестве различных каталогов, можно использовать следующее выражение:
    . *\?price.*

Важно: “?” является специальным символом в регулярном выражении и должен быть экранирован обратной косой чертой.

  • Если нужно исключить все файлы, заканчивающиеся на .jpg, регулярное выражение будет выглядеть так:
    .*jpg$
  • Если нужно исключить все URL-адреса, заканчивающиеся случайным 6-значным числом после дефиса, например «-402001», регулярное выражение имеет такой вид:
    .*-[0-9]{6}$
  • Если нужно исключить любой URL, в котором есть produce, регулярное выражение будет:
    .*produce.*
  • Исключение страниц с HTTPS:
    .*HTTPS.*
  • Исключение всех страниц на http://www.domain.com: http://www.domain.com/.*
  • Если не получается исключить URL-адрес, причиной может служить наличие специальных символов регулярного выражения, например “?”.
    Вместо того, чтобы пытаться найти и экранировать их по отдельности (с помощью “\”), можно экранировать всю строку, начиная с \Q и заканчивая \E, например:
    \Qhttp://www. example.com/test.php?product=special\E

Speed (скорость парсинга)

Можно выставить как количество потоков (по умолчанию 5), так и число одновременно сканируемых адресов. Влияет как на скорость парсинга, так и на вероятность бана бота, поэтому лучше быть осторожными.

User-Agent (с помощью какого “бота” парсим)

Опция Preset User-Agents позволяет выбрать, от лица какого бота будет происходить парсинг. Полезно, если в настройках сайта есть директивы, блокирующие конкретного бота. Дополнительно удобно при поиске ошибок, если парсинг производить от “лица” Googlebot Smartphone.

Данная опция позволяет указать конкретный вид контента для сканирования. Настроек много – от Accept-Language, Cookie, Referer или просто указания уникального имени заголовка.

Custom (настройки для парсинга дополнительных данных)

Данная вкладка является одной из наиболее ценных, если есть необходимость в поиске конкретной информации по всему сайту.

Custom Search

Функция дает возможность получить отчет с учетом любого регулярного выражения, которое будет указано в соответствующем фильтре. Например, можно получить отчет по страницам, содержащим кодировку utf-8 в HTML-коде:

Используем соответствующий фильтр:

С помощью данной функции можно получить информацию при помощи CSS, XPath или Regex, например:

За счет функции Extract text можно получить данные о количестве статей в разных странах в отчете Custom:

User Interface (сброс сортировки столбцов)

Функция для сброса пользовательской сортировки столбцов. Это все 🙂

API Access (интеграция с сервисами)

Чтобы получить больше данных по сайту, можно настроить интеграцию с разными сервисами статистики, например, с Google Analytics или Ahrefs, при условии, что у вас есть необходимые данные для интеграции.

System (настройки парсера)

Memory

Здесь указываем предел оперативной памяти для парсинга.

Можно указать больше заданного, но делать это нужно осторожно.

Storage

Здесь указывается, куда будут сохраняться отчеты – в папку программы либо по указанному пути.

Proxy

Указываете прокси, с помощью которых будет происходить парсинг (используется, если выбран чекбокс).

Embedded Browser

Если чекбокс активен, парсер использует встроенный в программу браузер для сканирования.

Mode (режимы сканирования)

Выбираем режимы сканирования сайта.

Spider – классический парсинг сайта по внутренним ссылкам, вводим домен в адресную строку.

List – парсим только предварительно собранный список URL-адресов. Указать их можно несколькими способами:

  1. From a File – выгружаем URL-адреса из файла.
  2. Paste – выгружаем URL-адреса из буфера обмена.
  3. Enter Manually – вводим вручную в соответствующее поле.
  4. Download Sitemap – выгружаем их из карты сайта.

SERP Mode – режим не для сканирования: в нем можно загружать метаданные сайта, редактировать и тестировать для понимания дальнейшего отображения в браузере.

После парсинга информацию можно посмотреть в соответствующих отчетах вверху:

Или сбоку:

С помощью данных настроек можно решить ряд как простых, так и сложных задач в рамках аудита сайта. В других статьях мы будем их рассматривать.

Подпишись на рассылку дайджеста новостей от Webline Promotion

Email*

 Предоставлено SendPulse

Учебники SEO Spider — Кричащая лягушка

Руководство по началу работы

Наше руководство для начинающих по началу работы с SEO Spider. Включая первоначальную настройку, сканирование и просмотр отчетов и обнаруженных проблем.

Как найти битые ссылки с помощью SEO Spider

Узнайте, как сканировать свой веб-сайт и находить неработающие ссылки (ошибки 404), просматривать, какие страницы ссылаются на них, текст ссылки и экспортировать в пакетном режиме.

Руководство по архитектуре сайта и визуализации сканирования

Визуализируйте архитектуру сайта и внутренние ссылки, чтобы обмениваться идеями и выявлять базовые закономерности, которые сложнее выявить в данных и электронных таблицах.

Как сравнить сканирование

Сравните обходы, чтобы увидеть, как данные, проблемы и возможности изменились с течением времени, чтобы отслеживать прогресс и отслеживать работоспособность сайта.

Как сканировать веб-сайты JavaScript

Рендеринг веб-страниц с помощью встроенного Chromium WRS для сканирования динамических веб-сайтов и фреймворков с большим количеством JavaScript, таких как Angular, React и Vue. js.

Как сканировать большие веб-сайты

Сканируйте большие веб-сайты, переключаясь в режим хранения базы данных, увеличивая объем памяти и настроив сканирование для извлечения необходимых данных.

Как сканировать промежуточный веб-сайт

Узнайте, как сканировать промежуточный или разрабатываемый веб-сайт с учетом robots.txt, аутентификации и конфигурации SEO Spider.

Как автоматизировать отчеты о сканировании в Looker Studio

Узнайте, как настроить полностью автоматизированные отчеты о сканировании Google Looker Studio, чтобы отслеживать работоспособность сайта, выявлять проблемы и отслеживать производительность.

Как провести аудит Core Web Vitals

Проанализируйте, какие страницы проходят или не проходят оценку Google Core Web Vitals, используя полевые данные из CrUX, чтобы повысить скорость страницы.

Как запустить Screaming Frog SEO Spider в облаке

Узнайте, как запустить Screaming Frog SEO Spider в облаке с помощью Google Compute Engine.

Как проверить дублирующийся контент

Минимизируйте повторяющийся контент, определяя точные дубликаты страниц и почти дублирующийся контент, в котором некоторый текст совпадает между страницами на веб-сайте.

Как работать в команде с помощью SEO Spider

Узнайте о лучших способах совместной работы при использовании SEO Spider.

Страница 1 из 41234»

Вернуться к началу

Агентство SEO — Кричащая лягушка

Покупатель входит в магазин. Это не шутка, не волнуйтесь. Им нужен пылесос, поэтому они берут демонстрационную модель. Светло. Они цепляются за ручку. Это удобно. Они проверяют размер и вместимость бункера и тестируют его в цеху….

Продолжить чтение

PlayStation или Xbox? Эппл или Андроид? Эти дебаты разделили миллионы друзей по всему миру, но в мире цифрового маркетинга именно SEO и PPC иногда становятся причиной разногласий. Однако в мире, который, казалось бы, полон разногласий, я подумал, как мы можем помочь. ..

Продолжить чтение

Мы рады представить Screaming Frog SEO Spider версии 17.0 под внутренним кодовым названием «Львицы». С момента выпуска интеграции URL Inspection API в SEO Spider и запуска версии 5 Log File Analyzer мы были заняты работой над следующим этапом приоритетных функций и улучшений. Вот…

Продолжить чтение

Если вы собираетесь в отпуск этим летом, вы, вероятно, выполнили все необходимые шаги, чтобы убедиться, что он останется в памяти, например, изучили и забронировали лучшее место для проживания, лучшие виды транспорта и развлечения. пока ты там. Но пока у вас может быть…

Продолжить чтение

В четверг Screaming Frog совместно с BrightonSEO организовали благотворительный футбольный турнир в Power League Shoreditch. В течение дня 16 команд сражались в палящих условиях, чтобы выиграть для выбранных ими благотворительных организаций (и гордости!). Турнир подошел к кульминационному завершению с отчетливой победой…

Продолжить чтение

Мы рады объявить о выпуске анализатора лог-файлов Screaming Frog версии 5.0 под кодовым названием «by the Sea». Если вы еще не знакомы с инструментом Log File Analyzer, он позволяет загружать файлы журналов вашего сервера, проверять роботов поисковых систем и получать ценную информацию о поведении поисковых роботов…

Продолжить чтение

Помните автомобильные путешествия 90-х, когда ваш папа доставал старую мятую карту, чтобы добраться из пункта А в пункт Б? Сегодня у нас есть карты на наших телефонах, поэтому у нас всегда есть чувство направления. Точно так же, как дорожные карты помогают нам ориентироваться, куда мы хотим…

Продолжить чтение

Прошлой ночью члены команды Screaming Frog по цифровому PR и контент-маркетингу посетили первую церемонию вручения награды UK Digital PR Awards в лондонском Мраморном своде, где наши кампании были номинированы в восьми категориях.

No related posts.