Привет, Хабр!
Datalore Enterprise — это data science платформа для совместной работы с Jupyter-ноутбуками. Ее можно установить в частное облако или на приватный сервер компании.
Новая версия 2021.3 позволяет специалистам по анализу и обработке данных работать с базами данных и SQL-кодом внутри Jupyter-ноутбуков, а также легко делиться результатами работы с коллегами. Также мы интегрировали поддержку ноутбуков R и Scala, добавили новый реактивный режим, реализовали конструкторы графиков и множество других функций.
Читайте дальше, чтобы узнать о новых возможностях Datalore Enterprise 2021.3!
Если вы не знакомы с продуктом Datalore Enterprise, рекомендуем посмотреть короткий видеообзор платформы.
Подключение к БД из редактора и запуск нативного SQL-кода
Подключение к БД из ноутбуков
Новая версия Datalore Enterprise позволяет напрямую подключать Jupyter-ноутбуки к базам данных всего за нескольких кликов. Создав подключение, вы сможете просматривать схему таблиц и получать данные с помощью SQL-ячеек, при этом пароль подключения не будет передан в среду.
Datalore Enterprise поддерживает аутентификацию через user/password для баз данных Amazon Redshift, Azure SQL Database, MariaDB, MySQL, Oracle, PostgreSQL, Snowflake и др. Если у вас появятся вопросы по подключению к базам данных, вы всегда можете задать их нам.
SQL-ячейки
Для выгрузки данных из базы данных можно использовать нативные SQL-ячейки. В них поддерживается подсветка синтаксиса и автодополнение кода на основе интроспекции таблиц базы данных. Результат запроса автоматически передается в pandas DataFrame, после чего вы сможете продолжить анализ данных с помощью Python.
Запросить 30-дневную пробную версию Datalore Enterprise для своей команды можно на нашем сайте.
Превращение Jupyter-ноутбуков в интерактивные отчеты
Чтобы наглядно представить результаты своей работы с данными, порой приходится сильно постараться. Просто делиться Jupyter-ноутбуком не всегда удобно, так как в нем бывает слишком много кода, в том числе для промежуточных этапов анализа. Сборка дашборда в Tableau занимает слишком много времени, а слайды Powerpoint требуют ручного обновления при любых изменениях результатов анализа.
Datalore Enterprise предлагает выход — публиковать интерактивные отчеты!
Публикация интерактивных отчетов
Теперь вы можете быстро превратить ноутбук в интерактивный отчет. Делиться интерактивными отчетами можно по ссылке. При этом вы можете скрыть ячейки кода, которые не нужны для презентации.
Каждый, кто получит ссылку на отчет, сможет также работать с ним — изменять элементы управления и запускать соответствующий ноутбук.
Хотите узнать больше о возможностях Datalore? Запланируйте демо с нашей командой.
Конструкторы графиков, раскрывающиеся списки и другие интерактивные элементы
Чтобы сделать ваши ноутбуки и отчеты более интерактивными, мы добавили новые типы ячеек:
Вы можете добавлять в ноутбуки раскрывающиеся списки, слайдеры и текстовые поля, а также присваивать входные значения переменным.
Раскрывающиеся списки в Datalore Вы можете легко создавать визуализации при помощи конструкторов графиков в ячейках диаграмм. При этом состояние ячеек обновится и у других пользователей, редактирующих ваш ноутбук, а значит, вы сможете работать над визуализацией вместе.
Ячейки диаграмм
Настройка параметров видимости ячеек
Предоставляя доступ к ноутбукам или отчетам, вы можете скрыть определенные данные, чтобы не перегружать пользователя информацией. В новой версии Datalore можно скрыть любую ячейку, а также выборочные входные и выходные данные.
Создание R и Scala ноутбуков
Мы добавили поддержку языков R и Scala. Теперь для них можно пользоваться умным автодополнением. Для R также доступен менеджер пакетов conda.
Реактивный режим для воспроизводимых вычислений
В течение последних трех лет мы экспериментировали с решением проблемы воспроизводимости ноутбуков. Сегодня мы рады представить новый реактивный режим!
При включении реактивного режима Datalore вычисляет ячейки кода сверху вниз, а при изменении ячейки автоматически пересчитывает все ячейки ниже. Подробнее о проблеме воспроизводимости кода и о новом реактивном режиме читайте здесь.
Другие улучшения
Скрипты инициализации
Помимо возможности настройки базовых сред и установки библиотек через менеджер пакетов, теперь вы можете добавлять специальные настройки в скрипт, который запускается перед стартом ноутбука. Внутри init.sh вы можете указать все инструменты сборки и зависимости, необходимые для вашего ноутбука.
Поддержка версий Python 3.6+
В Datalore Enterprise 2021.3 вы можете выбрать из множества версий Python (3.6 и более поздние) и пользоваться умными возможностями анализа-кода Datalore для любой из них. Достаточно предварительно настроить несколько базовых сред, и ваша команда сможет переключаться между различными версиями Python буквально в несколько кликов.
Новые графики на вкладке Visualize
Если результатом выполнения кода является pandas DataFrame, Datalore автоматически покажет полученные графики на вкладке Visualize. Мы добавили поддержку:
Point plots
Bar plots
Area plots
Correlation plots
Кроме того, теперь вы можете настроить цвет графика на основе определенных значений столбца.
Монтирование бакетов GCS
Помимо бакетов AWS S3, теперь вы также можете монтировать в ноутбук бакеты Google Cloud Storage. Для этого просто укажите имя бакета и содержимое файла аутентификации .json — смонтированный бакет отобразится в виде отдельной папки.
Информация о последнем запуске ячейки
Наведя указатель мыши на время выполнения ячейки, вы увидите полную дату последнего выполнения.
Сворачивание ячеек
Чтобы сосредоточиться на написании кода, теперь вы можете сворачивать любые входные и выходные данные.
Попробуйте бесплатно!
Вы можете попробовать Datalore Enterprise бесплатно в течение 30 дней. Чтобы запросить пробную версию или задать какие-либо вопросы, свяжитесь с нами или назначьте встречу с нашей командой. Все компании, которые пробуют Datalore Enterprise, могут общаться с нами через специальный канал в Slack или тред Zendesk.
Запросить пробную версию или забронировать демо можно на нашем сайте.
Чтобы оставаться в курсе новостей от Datalore, подпишитесь на наш блог и Twitter!
Ваша команда Datalore
