Содержание

Операции с данными для аналитики — извлечение ценной информации

Автоматизация управления данными

Современные среды обработки данных становятся все более распределенными и сложными. Объемы данных растут, а их типы становятся разнообразнее. Мы предлагаем более автоматизированный, основанный на политиках подход к управлению данными, чтобы вы могли получать больше аналитической информации и лучше удовлетворять потребности бизнеса.

Извлечение ценной информации

Легко объединяйте традиционные структурированные бизнес-данные с неструктурированными, чтобы получать совершенно новые результаты.

Маневренность бизнеса

Мы поможем вам обеспечить быстрый и надежный самостоятельный доступ к разнообразным данным, подготовленным для аналитики, в нужное время и в нужном месте.

Ускорение интеграции данных в 15 раз

Получайте новые разнообразные данные в 15 раз быстрее, чем при программировании конвейеров данных вручную.


Запись онлайн-курса Андрея Дорожного по работе с данными для начинающих: конспект, видео и дополнительные материалы

Команда Теплицы социальных технологий подготовила конспект онлайн-курса по работе с данными для НКО. На курсе дата-журналист Андрей Дорожный рассказал об особенностях работы с данными для сотрудников некоммерческих проектов, поделился инструментами и показал на примере, как можно работать с внутренними данными, понятно и красиво их визуализировать.

Мы собрали все видео и материалы курса, чтобы вы научились работать с данными без навыков программирования и начали извлекать из этого пользу в своей работе.

Вебинар № 1: Что такое данные?

Данные – это зарегистрированная информация, которая представлена в любой доступной для человека форме, это необработанные факты и цифры, их можно обрабатывать вручную и автоматическими способами. Данные можно использовать как новый способ рассказывать истории. Они могут помочь по-новому осветить проблему, которой занимается некоммерческий проект.

С помощью данных вы сможете проанализировать свою аудиторию, это даст вам понимание, как привлечь новую и оставить активной уже существующую. С помощью данных в некоммерческой организации можно оптимизировать внутренние процессы, например, лучше работать с финансами и документооборотом.

Дата-грамотность – важный навык современного пользователя, потому что сейчас публикуется огромное количество данных и умение пользоваться ими может дать вам суперсилу. Данные – это новая нефть, но машины не ездят на нефти. Наша задача – научиться обрабатывать данные: собирать, анализировать и визуализировать.

Андрей Дорожный,

дата-журналист и эксперт по визуализации данных

Дополнительные материалы вебинара

Вебинар № 2: Сбор данных. Открытые данные 

Источниками данных может стать государство, коммерческие и некоммерческие компании, также есть альтернативные источники, которые можно сформировать с помощью веб-скрейпинга и краудсорсинга данных.

Веб-скрейпинг – это технология, которая позволяет получать данные из веб-ресурсов.

Краудсорсинг данных – это привлечение большого количества людей для сбора и формирования данных на конкретную тему и для дальнейшей обработки.

Отдельно следует вынести такой вид данных, как «открытые данные» – те, что доступны для машиночитаемого использования и дальнейшей републикации без ограничений авторского права, патентов и других механизмов контроля. Открытые данные позволяют повысить качество предоставления электронных государственных услуг, сделать их более полезными для пользователя и увеличить гражданский контроль, они позволяют делать больше аналитики и создавать на основе этих данных полезные сервисы.

Если посмотреть на характеристики основных видов данных, то все они обладают некоторыми свойствами. Государственные и общественные данные самые доступные, а коммерческие доступны, как правило, только по специальным соглашениям. Что касается качества, то общественные и государственные данные имеют чаще всего невысокое качество, а коммерческие данные, напротив, обладают высоким качеством.

Андрей Дорожный,

дата-журналист и эксперт по визуализации данных

Дополнительные материалы вебинара

  • Презентация вебинара
  • Источники государственных данных: ЕМИСС, Росстат
  • Общественные данные: Википедия и Викидата 
  • Шпаргалка: как запросить открытые данные у государства
  • Телеграм-чат открытых данных России
  • Международные базы данных: Всемирная Организация Здравоохранения, Организации Объединенных Наций, Population Reference Bureau, Данные UNICEF, Каталог общедоступных данных Google, Хаб данных, Данные DBPedia, Factual, Бесплатные ГИС-данные, Список открытых ресурсов с данными, Репозитории данных по темам, World Research Institute, Quora тема: «Где я могу найти большие массивы данных в открытом доступе?», Директория APIs, Infochimps, Оффшорные Утечки, Investigative Dashboard, Open Corporates, Natural Earth Data, Программа ООН по окружающей среде, Индекс восприятия коррупции, База данных по сделкам с землей, Gapminder, Глобальная Лаборатория Данных
  • Dataset Search 
  • На все случаи данных
  • Сборник источников данных в Trello
  • Карты данных от Инфокультуры 
  • Сервисы для веб-скрейпинга: Table capture, Instant data scraper, Data Toolbar (Windows), Web Scraper (All OS)

Вебинар № 3: Очистка данных

Четвертый вебинар посвящен практике, вы научитесь анализу данных с помощью табличного редактора. Андрей Дорожный использует Google Таблицы, но все действия подходят и для Microsoft Excel, если на вашем личном или рабочем компьютере установлена лицензионная версия.

С помощью данного вебинара вы научитесь сортировке и суммированию, расчету среднего значения и процентов, а также узнаете, как объединять датасеты и анализировать изменения показателей в них. 

С помощью табличного редактора мы можем фильтровать и сортировать данные, упорядочить по показателям, применять к ним определенные расчеты, использовать макросы. Мы будем делать связку – задавать вопросы к данным и искать с их помощью ответы.

Андрей Дорожный,

дата-журналист и эксперт по визуализации данных

Материал для проработки вебинара

Вебинар № 5: Сводные таблицы. Визуализация данных в google spreadsheet

Пятый вебинар посвящен практике, вы научитесь создавать сводные таблицы с помощью Google Таблицы, задавая правильные вопросы датасету, а также вместе с экспертом создадите визуализацию «в один клик» в табличном редакторе.  

Есть такое мнение, что с помощью табличных редакторов невозможно сделать красивую визуализацию. Люди ошибочно полагают, что это очень плохой инструмент, но на самом деле это не так. Табличные редакторы имеют много шаблонов, которые возможно применять для визуализации и которые будут выглядеть отлично.

Андрей Дорожный,

дата-журналист и эксперт по визуализации данных

Материал для проработки вебинара

Вебинар № 6: Визуализация данных

Визуализация позволяет нам сформулировать сообщение, которое мы хотим представить читателю, переводя язык цифр на визуальный язык. Это упрощает коммуникацию и делает проект более понятным и привлекательным.  

Процесс работы над визуализацией выглядит так: определить проблему реального мира → выразить проблему в формате данных → выбрать визуальную форму → создание визуализации с помощью инструментов.

Вид графика Bar chart – самый лучший способ визуализировать разницу в показателях, а Pie chart поможет изобразить соотношение между показателями. Если вам нужно представить количественные показатели за определенный период, то для этого лучше всего использовать график Line chart.

Наличие графика не гарантирует, что ваша информация станет релевантной для адресата и натолкнет его на какие-то действия. Для того чтобы успешно донести свое сообщение, нам необходимо правильно его сформулировать – это одна из самых важных и сложных задач в визуализации.

Андрей Дорожный,

дата-журналист и эксперт по визуализации данных

Дополнительные материалы вебинара 

Что почитать

Вебинар № 7: Основы картографии