Знакомство с Yandex DataLens

Yandex DataLens (Яндекс ДатаЛенс) – продукт компании Яндекс, относящийся к классу BI-систем. С его помощью можно легко и быстро создавать интерактивные дашборды для разных отделов и задач в компании, подключаться к своим облачным и локальным базам данных, сервисам и обычным файлам, а также назначать каждому сотруднику собственные права доступа с целью совместного принятия управленческих решений на основе данных организации.

BI-системы

В последние несколько лет в российских и зарубежных компаниях набирает обороты тренд на цифровизацию и автоматизацию. В связи с этим предприятиям приходится уделять новым процессам дополнительное время, а также выделять вспомогательные ресурсы (как финансовые, так и человеческие) для построения бизнес-аналитики. Такое направление получило название Business Intelligence (сокращенно BI).

Основная задача бизнес-аналитики – перевод всей накопленной информации организации за все ее время существования в форму, пригодную для анализа и которая будет понятна человеку. Таким образом, разработчик BI-решения должен погрузиться во все структуры, подразделения компании, собрать необходимые данные со всех отделов, проанализировать, обработать их и сохранить в едином, централизованном месте, чтобы впоследствии перевести большой объем разрозненной и не связанной между собой информации из табличных представлений в отчеты с графиками и диаграммы, взаимосвязанных между собой.

Причем данные в организации могут быть совершенно разными и храниться в разных местах, или отсутствовать вовсе. Например:

• рекламная статистика по продвижению ваших товаров/услуг в Facebook *, VK Рекламе, Яндекс.Директе, Google Ads и других сервисах (по расходам, показам, кликам, достигнутым целям);
• информация по сделкам из CRM-системы (количество, доход, прибыль, период сделки, средний чек, купленные товары и т.д.);
• данные счетчиков аналитики Яндекс.Метрики и Google Analytics (источники трафика, откуда пришли пользователи, мониторинг страниц, поведение пользователей, конверсии, цели, события, количество визитов до совершения покупки и т.д.);
• данные из ERP-системы (финансы, управление персоналом, производство, цепочка поставок, услуги, закупки);
• данные из офлайн-магазинов (точек продаж);
• статистика по мобильному приложению (количество скачиваний приложения, регистраций, событий внутри приложения, покупок пользователей и т.д.);
• и многие другое.

* Деятельность американской компании Meta (бывшая Facebook) запрещена в России, организация признана экстремистской.

Все это нужно как-то соединить между собой, чтобы в результате получить готовое решение, на основе которого вы и руководство компании смогли бы принимать решения. Это не так просто. Но, как вы понимаете, в этом и заключается главное преимущество внедрения бизнес-аналитики – все данные о вашем бизнесе находятся всегда под рукой, на одной интерактивной панели (или на нескольких листах отчетности), дашборды обновляются автоматически, что позволяет минимизировать ручной труд ваших сотрудников и сосредоточиться больше на анализе данных, а не на сборе статистики и ее компоновке. Плюс ко всему этому – возможность управлять бизнесом на основе данных! Это и есть будущее.

После всей собранной информации внутри компании у вас может получиться такая схема организации данных:

И для реализации такой схемы нужны соответствующие BI-инструменты. Если раньше предприятия для построения бизнес-аналитики чаще использовали зарубежные BI-системы (Tableau, Looker Studio / Google Data Studio, Microsoft Power BI, QlikView и другие), то сейчас они переходят на отечественное ПО. Яндекс не остался в стороне и разработал для таких задач свой сервис Yandex DataLens.

BI-системы

Yandex Datalens – бесплатный инструмент визуализации и анализа данных, являющийся частью Yandex Cloud (Яндекс.Облако). Впервые он был представлен на конференции MateMarketing в 2018 году, а широкой публике стал доступен весной 2019 года. Сервис соответствует требованиям ФЗ-152 и индустриальным стандартам, включен в реестр отечественного программного обеспечения и является хорошей альтернативой международным BI-системам.

DataLens позволяет подключать разные источники данных, создавать визуализации (графики, диаграммы, таблицы, индикаторы и другие чарты) для мониторинга ключевых показателей эффективности вашей организации, отделов и даже отдельных сотрудников, а также совместно работать над дашбордом.

DataLens имеет большое количество возможностей для работы с текстом и поддерживает язык разметки Markdown. Вы можете добавить на дашборд заголовки, описание, ссылки, таблицу, изображение (логотип), фрагменты кода или выделить значимые моменты с помощью форматирования – жирный текст, курсивный текст, эмодзи ✔️ и т.д. Отчет можно сделать интерактивным – добавить вкладки, фильтры, элементы управления датами, установить связи между отдельными наборами данных и многое другое.

Помимо этого в Yandex DataLens можно использовать геокодинг на базе API Яндекс.Карт, нанося на карты целые области и регионы, города, магазины, пункты выдачи заказов или адреса ваших клиентов с помощью точек. Можно также использовать лини для отображения связей между объектами на местности (например, рейсов авиалиний или маршрутов перевозки грузов) или отображать плотность точек с помощью теплокарты. Все это задается с помощью специальных типов данных – геоточек и геополигонов:

В DataLens есть Marketplace, в котором размещены готовые решения и дополнения к DataLens. Они расширяют функциональность использования сервиса визуализации и позволяют добавлять дополнительные наборы данных.

В маркетплейсе размещены продукты следующих типов:

• геослои – датасеты с привязкой к геоданным (регионы, города, районы и более детальные локации города). На их основе вы можете создавать различные карты и добавлять их на дашборды;
• датасеты – наборы данных с преднастроенными дашбордами от команды DataLens, которые вы можете взять за основу при создании собственных отчетов;
• коннекторы – дополнительные типы подключений к внешним системам от сторонних разработчиков, которые недоступны в DataLens по умолчанию);
• темплейты – шаблоны дашбордов.

Для продуктов из Marketplace существует два типа ценовой политики:

• бесплатные решения (FREE) – подключить продукт может любой пользователь DataLens; данные будут доступны даже после отказа от подписки;
• по подписке (Monthly) – ежемесячная тарификация. Списание средств за продукт происходит в день подключения, а при отказе от подписки данные перестают быть доступны после завершения оплаченного периода.

Подробнее о тарификации продуктов Marketplace читайте в официальной документации Yandex Cloud.

Преимущества и недостатки

Основные преимущества использования Yandex DataLens:

• бесплатное использование без ограничений на количество пользователей и запросов;
• постоянные обновления;
• быстрая интеграция с продуктами Яндекса (Яндекс.Метрика, AppMetrica, база данных ClickHouse);
• использование SQL-запросов;
• использование геоаналитики на базе API Яндекс.Карт;
• возможность создавать собственные параметры и показатели на основе различных формул;
• совмещение данных из различных источников (например, объединить данные из вашей CRM-системы с данными из рекламы или счетчика аналитики) благодаря оператору JOIN – INNER, LEFT, RIGHT и FULL;
• доступ к шаблонам с уже готовыми настройками;
• дополнительные продукты в Marketplace;
• поддержка версионирования – возможность хранить историю изменений конфигурации дашборда и чартов с помощью версий, и при желании посмотреть то, что было сделано ранее (доступна история за последние три месяца);
• разграничение прав доступа в DataLens реализовано на уровне объектов и папок. На каждый объект и папку можно назначать пользователю права доступа, которые определяют допустимые операции. То есть вы можете выдать доступ пользователю на какие-то отдельные листы отчета или даже визуализации, а на другие – скрыть показ.

Однако недостатки у сервиса тоже есть:

• DataLens по сравнению с другими BI-инструментами еще молодой, поэтому многого того, что есть в других сервисах, у Яндекса пока нет;
• нет возможности получить отчет без интернета, поскольку все данные обновляются в режиме реального времени онлайн;
• нет встроенного подключения для Яндекс.Директа, поэтому для выгрузки данных нужно использовать собственные разработки;
• нет мобильного приложения, а верстка адаптирована таким образом, что на смартфонах все визуализации располагаются в столбик, один под другим;
• несмотря на то, что вы можете всего за несколько кликов подключиться к собственным данным, используя встроенный коннектор Яндекс.Метрики, большинство функционала для готового подключения DataLens недоступно, поэтому вам придется использовать базы данных типа ClickHouse, чтобы иметь возможность выполнять различные SQL-запросы, использовать в формулах функции и т.д.

Коннекторы

DataLens поддерживает работу напрямую с различными источниками:

• базы данных – ClickHouse, PostgreSQL, MySQL, MS SQL Server, Oracle Database, Greenplum, YDB, Google BigQuery;
• продукты Яндекса – YDB, Metrica, AppMetrica, Подкасты Аналитика, Yandex Cloud Billing, Yandex Query, Мониторинг;
• загрузка файлов из CSV и Google Таблиц (Google Sheets);
• сторонние решения – Битрикс24, МойСклад;
• еще – Prometheus.

Такие источники подключения к вашим данным называются коннекторами (connectors).

Примечание: весной 2019 года в Yandex DataLens были только ClickHouse, PostgreSQL, MySQL, MS SQL Server, Metrica, Metrica Logs API и загрузка файлов CSV.

Сервисы-аналоги

Если рассуждать о том, где можно в принципе визуализировать собственные данные, то, безусловно, в этот список можно добавить следующие инструменты:

• Microsoft Excel;
• Google Таблицы;
• Microsoft Power BI;
• Tableau (распространен в Европе и мире);
• QlikView и Qlik Sense;
• Looker Studio (Google Data Studio).

Все эти инструменты до текущих событий в мире были очень популярны в России. Но жизнь меняется и вносит свои коррективы. Также есть рекомендации от Минцифры России и других ведомств, которые касаются государственных банков, страховых компаний, сферы недвижимости, автомобилестроения и многих других важных для страны отраслей. Они заключаются в переходе на российские браузеры и SSL-протоколы, использование отечественного ПО, отказ от зарубежных продуктов и лицензий. Именно поэтому с конца февраля 2022 года многие компании стали переходить на сервисы Яндекса и инфраструктуру Yandex Cloud, а сам Яндекс семимильными шагами двинулся вперед.

Применение Yandex DataLens

Где можно применять Яндекс ДатаЛенс? При решении каких задач? Какую отчетность можно создавать в нем? На мой взгляд, это три самых важных вопроса, которые вы будете задавать себе перед началом использования данного инструмента.

Отчеты, которые вы можете создавать, различны. Их условно можно разделить на несколько типов:

• операционные – отображают быстро меняющиеся со временем данные (мониторинг показателей);
• аналитические – используются для нахождения трендов, оценки ситуации и принятия дальнейших решений;
• стратегические – используются для определения направления деятельсти компании, выявления проблем в структурных единицах и постановки задач по их исправлению.

Можно разделить отчеты и по тематикам:

• рекламные отчеты (Facebook *, VK Реклама, Яндекс.Директ, Google Ads и другие);
• отчеты по SEO-трафику (органический поиск);
• аналитические отчеты (источники трафика, мониторинг страниц, поведение пользователей, конверсии, цели, события и т.д.);
• отчеты по e-commerce (транзакции, популярные товары, средний чек, количество покупок и т.д.)
• отчеты из CRM-системы (данные о продажах, товарная номенклатура, план/факт);
• сквозная аналитика (совмещение рекламной статистики, аналитической информации и данных из CRM/ERP-системы);
• отчеты отдела продаж (менеджеры, количество сделок, звонков, доход от сделок и т.д.)
• комбинация отчетов из разных тематик.

Или по сотрудникам вашей компании:

• для маркетолога (данные по его трафику);
• для аналитика (данные по всем типам трафика);
• для отдела продаж (статистика по продажам);
• для разработчика (доступность сайта, нагрузка на сайт, скорость открытия страниц, 404 ошибки, роботы и т.д.)
• для руководителя (данные по ключевым показателям эффективности, панель KPI).

Как видите, применение Yandex DataLens самое разнообразное. В других материалах нашего блога мы подробно разберем функционал сервиса визуализации и анализа данных от Яндекс.Облака.