В чем суть?
Необходимо из массива опросных данных создать инструмент для исследования рынка и потребительских предпочтений.
Необходимо из массива опросных данных создать инструмент для исследования рынка и потребительских предпочтений.
Команда проекта
Бизнес-аналитик
Senior BI developer
Senior Data Engineer
BI designer
BI developer
Senior BI developer
Senior Data Engineer
BI designer
BI developer
Mediascope — исследовательская компания, лидер российского рынка медиаисследований, мониторинга рекламы и СМИ.
В 2020 году компания запустила проект BrandPulse — исследование потребительских предпочтений жителей России. Собранные данные предстояло "упаковать" в удобную форму.
В 2020 году компания запустила проект BrandPulse — исследование потребительских предпочтений жителей России. Собранные данные предстояло "упаковать" в удобную форму.
С помощью данных BrandPulse маркетологи на стороне брендов, сотрудники рекламных агентств и медиа планируют и управляют стратегическими маркетинговыми коммуникациями.
Пример Tableau-визуализации проекта BrandPulse
Пользователи BrandPulse решают три высокоуровневые задачи:
- изучить покупательские и медийные предпочтения респондентов по их демографическим признакам;
- изучить ключевые показатели (KPI) бренда;
- изучить особенности потребления покупателей определенной товарной категории.
Задачи Vizuators
Разработать витрины данных для отчетов в тестовом окружении и скрипты для загрузки данных из основного хранилица.
Рассчитать статистические показатели — Affinity Index, Col%, Universe, Universe % и другие.
Разработать дашборды с информацией о 3000 брендах и 300 категориях товаров.
Спланировать и применить Row Level Security для управления доступом к данным.
Команда Vizuators присоединилась к проекту BrandPulse на самом его старте — мы начали планировать архитектуру баз данных, прописывать расчеты статистических показателей и делать макеты дашбордов до того, как "потрогали" нетестовые данные. Это было значительным вызовом для команды — обычно разработка таких проектов ведется на реальных данных.
Мы предложили разработать 3 типа отчетов, каждый из которых соответствует большой задаче пользователей. Для каждого из них разработаны свои витрины данных. Чтобы решить задачи фильтрации, мы использовали сочетание колоночной и строчной баз данных. При помощи функционала Row Level Security заказчик гибко управляет доступом к отчетам. Например, пользователь, купивший доступ только к одной товарной категории, не может видеть остальное содержимое отчета.
Мы предложили разработать 3 типа отчетов, каждый из которых соответствует большой задаче пользователей. Для каждого из них разработаны свои витрины данных. Чтобы решить задачи фильтрации, мы использовали сочетание колоночной и строчной баз данных. При помощи функционала Row Level Security заказчик гибко управляет доступом к отчетам. Например, пользователь, купивший доступ только к одной товарной категории, не может видеть остальное содержимое отчета.
Важную роль в работе с данными играют фильтры. С их помощью можно, например, получить ответ на вопрос: какие бренды из категории молочных продуктов предпочитают замужние женщины 35 лет, которые ездят на работу на метро и смотрят <телеканал, который планирует, кому предложить рекламу у себя в прайм-тайме>. Пользователь выбирает нужные характеристики через фильтры и может сохранить настройки дашборда, если планирует пользоваться выбранным "набором" регулярно. Будет полезно, чтобы отслеживать, как изменяются предпочтения конкретной целевой аудитории в течение года, или социологический профиль конкретного бренда.
Главный вызов проекта
Изначальный план был в том, чтобы дать пользователю полную свободу для формирования выборки. Но на этапе сборки отчетов стало понятно, что перемноженные друг на друга сотни вопросов, в том числе с множественными вариантами ответов, рождают декартово произведение множеств. Объем данных вырастает в разы, "убивая" всякое быстродействие и требуя неоправданно больших серверных мощностей.
Поэтому было принято решение создать набор предзаданных фильтров и ограничить возможность пользователя по формированию выборок.
Поэтому было принято решение создать набор предзаданных фильтров и ограничить возможность пользователя по формированию выборок.
50-55 сек. → 20-25 сек.
Но даже после этого задача увеличить быстродействие дашбордов осталась актуальной. Множество фильтров и расчетов делали дашборды "тяжелыми" и медленными.
Чтобы исправить ситуацию мы проанализировали, на какие задачи система тратит больше всего времени (Tableau позволяет это сделать "из коробки"). Оптимизировали калькуляции и визуализации, на которые уходило больше всего времени. Часть расчетов, которые производились непосредственно в дашборде, перенесли на базу данных. Изменили тип некоторых данных, чтобы они обсчитывались быстрее. Изменили конфигурацию сервера и добавили оперативную память.
И так вдвое уменьшили время с момента, когда фильтры заданы, до момента, когда пользователь видит результат расчетов.
Чтобы исправить ситуацию мы проанализировали, на какие задачи система тратит больше всего времени (Tableau позволяет это сделать "из коробки"). Оптимизировали калькуляции и визуализации, на которые уходило больше всего времени. Часть расчетов, которые производились непосредственно в дашборде, перенесли на базу данных. Изменили тип некоторых данных, чтобы они обсчитывались быстрее. Изменили конфигурацию сервера и добавили оперативную память.
И так вдвое уменьшили время с момента, когда фильтры заданы, до момента, когда пользователь видит результат расчетов.
При разработке визуального стиля дашбордов мы основывались на бренд-буке компании Mediascope и адаптировали его под нужны визуализации. Например, подобрали дополнительные цвета для воронки показателей брендов. Это частая задача в дизайне дашбордов, так как редко бренд-буки содержат в себе стандарты для визуализации данных.
Отзыв компании Mediascope
Для нас это был первый опыт работы с Tableau, поэтому мы довольно смутно представляли себе и процесс, и результат. Команда Vizuators, напротив, никогда раньше не сталкивалась с данными маркетинговых опросов и не знала их специфику.
Поскольку мы запускали новое исследование, да еще и в нетрадиционной для этого рынка технологической парадигме, то обучаться можно было только на боевых данных.
В этой сложной ситуации коллеги продемонстрировали не только хорошее чувство юмора, но и высокую клиентоориентированность и настоящий профессионализм.
Они терпеливо вникали в тонкости социологических процессов, шли навстречу, когда из-за непредвиденных методологических просчетов или полевых ошибок менялись форматы данных, придумывали нестандартные решения, чтобы обойти ограничения инструмента.
Думаю, что теперь, когда обе стороны получили ценный опыт, следующий совместный проект будет еще интереснее.
Поскольку мы запускали новое исследование, да еще и в нетрадиционной для этого рынка технологической парадигме, то обучаться можно было только на боевых данных.
В этой сложной ситуации коллеги продемонстрировали не только хорошее чувство юмора, но и высокую клиентоориентированность и настоящий профессионализм.
Они терпеливо вникали в тонкости социологических процессов, шли навстречу, когда из-за непредвиденных методологических просчетов или полевых ошибок менялись форматы данных, придумывали нестандартные решения, чтобы обойти ограничения инструмента.
Думаю, что теперь, когда обе стороны получили ценный опыт, следующий совместный проект будет еще интереснее.
Марина Пикулева
Директор по специальным исследованиям Mediascope
Закажите разработку дата-продукта в Tableau
Сделайте данные видимыми и привлекательными для ваших клиентов
Нажимая кнопку, вы соглашаетесь на обработку персональных данных. Мы используем их, чтобы оставаться на связи. Подробнее здесь.