Важно, что эти лимиты именно про отображение на чарте (например, отобразить 75001 столбец на одном чарте уже не получится, но оно обычно и не имеет смысла). Сырых данных под чартом может быть сколько угодно - в этом ограничений нет (например, вывести сумму продаж по 100 продуктам за всю историю 2млн фактов продаж - не проблема).
О причинах ограничений писали в посте. Вывод cloud-native сервиса в опенсорс — большой проект. Не все компоненты Yandex Cloud возможно вынести в опенсорс. Где-то нам удалось избавиться от зависимостей, а что-то еще предстоит. Вы про какую платную версию?
1) Есть вычисляемые поля. В документации есть описание функций и туториалы по их использованию.
2) Если речь про новые типы чартов, то готового API/SDK для этого пока нет. Но весь исходный код открыт, поэтому при большом желании можно разобраться в том, как все устроено и сделать pull-request с новым функционалом.
Да, создаете обычный чарт Сводная таблица. В нее можете накидывать измерения и показатели, добавлять итоги / подытоги, включать условный формат и индикаторы, а также многое другое.
Коннектор к MS SQL уже есть в облачном DataLens. В open source список подключений также планируем расширять. Для некоторых подключений есть лицензионные нюансы используемых библиотек, поэтому не можем выложить все сразу.
Действительно, DRILL_TO_DETAIL появился в Superset недавно, но пока еще в статусе Testing, а по умолчанию в опенсорсе даже выключен. А parent-child иерархий с частичным раскрытием по клику на "+". так и нет(
В DataLens при описании модели данных можно использовать свой синтаксис для конструктора формул: оконные функции, time-series, LOD'ы, функции по работе с массивами - все это в зависимости от самого чарта, набора измерений и группировок - может транслироваться в разные SQL подзапросы с учетом специфики/синтаксиса конкретного источника. А в Superset, для агрегации сложнее обычной SUM/COUNT - уже нужно писать Custom SQL.
Вообще, детальное сравнение инструментов - тема отдельной статьи)
Коннектор к Oracle есть в облачном DataLens. С точки зрения публикации его в open source есть лицензионные нюансы. Сейчас юристами прорабатываем варианты, как их обойти.
2) Они часто зависят от конкретных требований ИБ внутри компании. В целом - при большом желании можно прикрутить собственную систему аутентификации/авторизации уже сегодня. В будущем, конечно, мы предложим и готовые решения и API/SDK для удобной интеграции с корпоративными системами.
3) Ничто не мешает развернуть DataLens Open Source в закрытом контуре без подключения к интернету уже сейчас.
Встроенных инструментов ETL в Visiology нет. Данные лучше подготовить заранее на уровне СУБД или других ETL-инструментах.
и дальше:
а обработку данных необходимо проводить на Python, либо выносить на сторону СУБД"
А в сводной таблице - указано что встроенный ETL есть и стоит галочка.
Отсутствуют возможности по настройке всплывающих окон
А в сводной таблице по этому пункту стоит галочка.
Встроенный движок позволяет агрегировать данные (sum, count и т.п.), а также выполнять несложные расчеты…для более сложных вычислений необходимо использовать Python.
А в сводной таблице в разделе “Контекстные вычисления” стоит галочка.
Спасибо за обзор! Круто, что для изучения DataLens вам не пришлось обращаться к вендору:)
Пара комментариев:
Необходимо принимать во внимание, что Яндекс DataLens поставляется только в комплекте с Яндекс Облаком
Yandex DataLens можно использовать совершенно бесплатно, без каких либо ограничений (на число пользователей, объем данных в источнике итп.) даже в отрыве от Yandex Cloud. Можно подключаться и работать со своими БД (на своих серверах или других облаках).
Нужно принимать во внимание отсутствие функционала по настройке условного форматирования
А почему mobile версия отдельно? В настройках дашборда DataLens можно указать порядок отображения ленты при мобильной верстке:
А в какие лимиты уперлись и в каком кейсе? Про лимиты и производительность писал чуть выше
Скоро будет инструкция для этого
Примеры с кластеризацией точек на карте можно посмотреть на демодашборде в облачном DataLens. В open source карты будут доступны чуть позже.
Да, эти же лимиты описаны в документации open source проекта: https://datalens.tech/docs/ru/concepts/limits.html
Важно, что эти лимиты именно про отображение на чарте (например, отобразить 75001 столбец на одном чарте уже не получится, но оно обычно и не имеет смысла). Сырых данных под чартом может быть сколько угодно - в этом ограничений нет (например, вывести сумму продаж по 100 продуктам за всю историю 2млн фактов продаж - не проблема).
В этой статье рассматривали кейс и производительность дашборда на таблице с 150млн строк https://habr.com/ru/companies/yandex_cloud_and_infra/articles/746022/
О причинах ограничений писали в посте. Вывод cloud-native сервиса в опенсорс — большой проект. Не все компоненты Yandex Cloud возможно вынести в опенсорс. Где-то нам удалось избавиться от зависимостей, а что-то еще предстоит. Вы про какую платную версию?
1) Есть вычисляемые поля. В документации есть описание функций и туториалы по их использованию.
2) Если речь про новые типы чартов, то готового API/SDK для этого пока нет. Но весь исходный код открыт, поэтому при большом желании можно разобраться в том, как все устроено и сделать pull-request с новым функционалом.
Да, создаете обычный чарт Сводная таблица. В нее можете накидывать измерения и показатели, добавлять итоги / подытоги, включать условный формат и индикаторы, а также многое другое.
Коннектор к MS SQL уже есть в облачном DataLens. В open source список подключений также планируем расширять. Для некоторых подключений есть лицензионные нюансы используемых библиотек, поэтому не можем выложить все сразу.
Исправляюсь:
Серия роликов про концептуальное сравнение DataLens с PowerBI / Tableau / Superset
Действительно, DRILL_TO_DETAIL появился в Superset недавно, но пока еще в статусе Testing, а по умолчанию в опенсорсе даже выключен. А parent-child иерархий с частичным раскрытием по клику на "+". так и нет(
В DataLens при описании модели данных можно использовать свой синтаксис для конструктора формул: оконные функции, time-series, LOD'ы, функции по работе с массивами - все это в зависимости от самого чарта, набора измерений и группировок - может транслироваться в разные SQL подзапросы с учетом специфики/синтаксиса конкретного источника. А в Superset, для агрегации сложнее обычной SUM/COUNT - уже нужно писать Custom SQL.
Вообще, детальное сравнение инструментов - тема отдельной статьи)
В вашем примере для повышения плотности можно:
убрать подписи осей (sales и Order month)
убрать легенду
убрать подписи значений по оси Y (и добавить подписи на сам график, например)
убрать лишние заголовки
не использовать иерархию и drill-down, в этом случае не будет и хлебных крошек навигации по ней
Все это делается кликами в настройках чарта, см. пример на основе того же дашборда:
Коннектор к Oracle есть в облачном DataLens. С точки зрения публикации его в open source есть лицензионные нюансы. Сейчас юристами прорабатываем варианты, как их обойти.
В этой серии роликов Рома Бунин делал концептуальное сравнение DataLens с PowerBI / Tableau / Superset.
Из того что можно отметить сходу у DataLens можно выделить:
Нативную работа с Clickhouse (для нас основной источник)
Lod'ы, оконные другие аналитические функции
Иерархии и дрилл-даун из измерений
Потенциально возможны коммерческие проекты внедрения и платная поддержка
Список коннекторов в опенсорсе будет расширяться. Коннектор к CSV требует дополнительного механизма кэширования, поэтому добавим его чуть позже.
1) Открытая лицензия Apache 2.0, про это написано в первом предложении статьи и на Github: https://github.com/datalens-tech/datalens/blob/main/LICENSE
2) Они часто зависят от конкретных требований ИБ внутри компании. В целом - при большом желании можно прикрутить собственную систему аутентификации/авторизации уже сегодня. В будущем, конечно, мы предложим и готовые решения и API/SDK для удобной интеграции с корпоративными системами.
3) Ничто не мешает развернуть DataLens Open Source в закрытом контуре без подключения к интернету уже сейчас.
Интересно по Visiology получается:
и дальше:
А в сводной таблице - указано что встроенный ETL есть и стоит галочка.
А в сводной таблице по этому пункту стоит галочка.
А в сводной таблице в разделе “Контекстные вычисления” стоит галочка.
Спасибо за обзор! Круто, что для изучения DataLens вам не пришлось обращаться к вендору:)
Пара комментариев:
Yandex DataLens можно использовать совершенно бесплатно, без каких либо ограничений (на число пользователей, объем данных в источнике итп.) даже в отрыве от Yandex Cloud. Можно подключаться и работать со своими БД (на своих серверах или других облаках).
Условный формат уже есть: https://t.me/YandexDataLens/25715
A DataLens смотрели? Недавно про него как раз был пост: https://habr.com/ru/post/674038/