Comments 10
Отличный путь развития! Приятно видеть, как личная потребность переросла в востребованный продукт. Особенно радует, что вы не остановились на маркетплейсах, а пошли дальше — в кастомные решения и интеграции. Если ищете надёжную платформу для работы с данными и построения аналитики, могу порекомендовать SQL-UP — она отлично подходит для масштабирования и автоматизации подобных задач. Успехов в дальнейшем росте! 🚀
Вб там тарифы ввел на апи токены, и лимиты + просят прислать о себе инфо, как SaaS платформе, что бы идентифицировать трафик. Предусмотрено грузить руками в BI выгрузку с ЛК селлера?
Да, с 30 марта они ввели новые правила работы с токенами. Гайки закручивают основательно. На практике пока что и базовые токены работают без ограничений, но скорей всего это временно. Они сами в новости писали что можно создать Сервисный токен под другой похожий по функционалу сервис аналитики. Как это будет работать на практике пока неясно.
Насчет ручной выгрузки, мы такой функционал уже сделали для Воронки продаж. Скачивается архив за нужный период. В Google таблице есть ссылка на форму в которой этот файл подгружается. Но протоколов много, и чтобы подобным образом загрузить все данные нужно штук 5 - 10 разных отчетов скачивать. Сходу не могу сказать все ли они вобще есть. Надеюсь до такого варианта обновления данных никогда не дойдет.
И второе. Не думали объединить статистику с разных платформ и выводить в один какой-то общий дашборд?
Сам работаю в этом направлении и уже очень давно:
DataLens - плохое решение, мало возможностей, ограничение от самого яндекса. Вы бы хоть сами развернули на сервере, это опен-сорс. В начале пути рассматривал их, но быстро понял, что для нормальной аналитики, они слишком бедные
PostgreSQL - ну если у вас клиенты с 10-30 карточками - ладно, может быть. Но лучше рассмотрите clickhouse. Он для этого специально и разработан. Вы удивитесь когда увидите, что один и тот же запрос, буквально в сотни раз быстрее выполняется. Я изначально тоже на MySQL делал базу. Был главный, самый большой процесс обновления. Он занимал около 4-х часов. На clickhouse он занимает секунд 15
Запуск по башу? Синхронный код? У вас 3 клиента, которым не нужно воронку грузить? Или у вас впска за 500 рублей?
У меня первая реализация тоже на кроне была. Вторая итерация уже на ассинхронном планировщике, в контейнере докера.
Как-то прям очень не серьезная у вас реализация. Я такое полтора года назад, "зеленым" делал
Claude code
А на что в итоге перешли, вместо datalens?
Соглашусь, open source datalens существенно слабее функционалом в сравнении с версией saas.
Изначально на Looker Studio от Google. Но нет нативного коннектора к Clickhouse, приходилось использовать коннектор MySQL, так как в clickhouse встроена поддержка коннекторов самых популярных БД. В целом, и без него работал очень быстро. У меня был клиент на двух маркетплейса по 9 кабинетов, на каждом от 10 тысяч артикулов. Отчеты прогружались быстрее чем у браузера получалось обработать объемы. Но наступила проблема с тем, что открывается только через vpn, да и все равно тесно было в ограничениях, так как постоянно возникали желания реализовать какую-то метрику хитрую, а все упиралось в то, возможно ли это сделать в BI
Рассматривал Power BI. Страшный комбайн, способный вообще что угодно перемолоть, но ограничения по учеткам и по тому, что придумали сами разработчики. Плюс выглядит страшновастенько
Особая проблема, что тебе еще нужно и новое направление изучать. Что там за формулы придумали разработчики BI. Как они решили вот это сделать. Как то работает, как тут зависимости и т.д. хоть синтаксис чаще всего близкий к sql + формулы таблиц, но все равно, но не тоже самое и ты вынужден тратить еще кучу времени на то, чтобы разобраться в новой теме.
В итоге, пришел к тому, что проще и быстрее развернуть приложение на streamlit или reflex. Нет ограничений по возможностям, так как это практически самописный сайт на питоне. Все просчеты на стороне clickhouse, а ему вообще плевать на объемы. Хоть визуальная сторона не на столько важна, но в самой библиотеке steamlit достаточно приятный визуал. Плюс возможности в беке, ограничиваются только фантазией. Ты самостоятельно прописываешь все зависимости, какой дашборд от чего фильтруется, как выглядят и ведут себя те или иные визуализации. А если перейти на reflex, то ты и в визуале не особо ограничен. Адаптив под мобилки и т.д.
В общем неограниченные возможности, с полной изоляцией данных. Ты можешь вообще ни одного порта наружу не открывать
Но я отошел сейчас от разработки BI инструментов и больше работаю в сторону инструментов для селлеров, автоматизации, прикладные инструменты, точечные визуализации и т.д.. Сейчас активно копаю в сторону RAG систем и в целом работой с интеграцией с ИИ. Крайне интересная тема
Для такой истории, вроде идеально подходит связка
Airflow/dagster - clickhouse - Apache superset
И скорость быстрая и ETL/ELT процессы в UI
От Google таблиц к DataLens + PostgreSQL: как мы делали BI-систему для WB и Ozon