Как стать автором
Обновить

Импортозамещённый дистрибутив Hadoop

Big Data *Hadoop *
Recovery mode
Недавно посматривая реестр отечественного ПО, нашёл российскую сборку Hadoop, чему был изрядно удивлён.
Причём, регистрация прошла аж в 2017 году. (ссылка для интересующихся) и с тех пор на хабре ни строчки об этом.
Итак, встречайте — Arenadata Hadoop (ADH)!

Первые впечатления:
Перешёл на сайт и… Последний раз такую комбинацию озадаченности и недоумения испытал в 2014, когда встретил в магазине белорусских устриц.

Судите сами:
вот сайт Arenadata

Читать дальше →
Всего голосов 23: ↑14 и ↓9 +5
Просмотры 15K
Комментарии 27

Greenplum 6: обзор новых фич

PostgreSQL *Администрирование баз данных *Big Data *Хранение данных *
image Вот уже 16 лет как открытая массивно-параллельная СУБД Greenplum помогает самым разным предприятиям принимать решения на основе анализа данных.

За это время Greenplum проник в различные сферы бизнеса, в числе которых: ритейл, финтех, телеком, промышленность, e-commerce. Горизонтальное масштабирование до сотен узлов, отказоустойчивость, открытый исходный код, полная совместимость с PostgreSQL, транзакционность и ANSI SQL — трудно представить более удачное сочетание свойств для аналитической СУБД. Начиная от громадных кластеров в мировых компаниях-гигантах, как, например, Morgan Stanley (200 узлов, 25 Пб данных) или Tinkoff (>70 узлов), и заканчивая маленькими двух-нодовыми инсталляциями в уютных стартапах — всё больше компаний выбирают Greenplum. Особенно приятно наблюдать этот тренд в России — за последние два года количество крупных отечественных компаний, использующих Greenplum, выросло втрое.

Осенью 2019 года вышел очередной мажорный релиз СУБД. В этой статье я коротко расскажу об основных новых возможностях GP 6.
Читать дальше →
Всего голосов 12: ↑11 и ↓1 +10
Просмотры 7.9K
Комментарии 6

Российский SaaS 2019 — итоги

SaaS / S+S *Облачные вычисления *Исследования и прогнозы в IT *История IT

Традиционные итоги рынка SaaS за 2019 год — государство, маркетплейсы, цифры по рынку и инвестиции в сегмент.
Читать дальше →
Всего голосов 6: ↑2 и ↓4 -2
Просмотры 3.2K
Комментарии 1

Ещё один шаг в сторону open source: как и почему мы внедрили Arenadata DB

Блог компании ВТБ Информационная безопасность *Open source *Администрирование баз данных *Big Data *

Привет, Хабр! Меня зовут Станислав Маскайкин, я архитектор аналитических систем ВТБ. Сегодня я расскажу о том, почему мы перевели нашу систему подготовки отчётности с Oracle SuperCluster на российскую Arenadata DB. Как мы выбирали решение, почему не взяли чистый опенсорс, а также о некоторых результатах такой миграции — под катом.

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 8.8K
Комментарии 7

Мониторинг запросов в Greenplum

Блог компании Arenadata PostgreSQL *Администрирование баз данных *Хранилища данных *Распределённые системы *

Часто при работе с разными базами данных необходимо отслеживать выполнение текущих запросов. В основном это связано с задачами администрирования или аналитики. Средства мониторинга, позволяющие управлять и наблюдать за выполнением запросов, сильно помогают в этом. Я расскажу о том, с какими задачами мы столкнулись при проектировании и реализации системы мониторинга запросов для Arenadata DB.

Читать далее
Всего голосов 21: ↑21 и ↓0 +21
Просмотры 3.4K
Комментарии 2

Как и зачем мы сделали Spark-коннектор к Greenplum

Блог компании Arenadata Big Data *Хранилища данных *Распределённые системы *Data Engineering *

Всем привет! Меня зовут Андрей, я работаю системным архитектором в Arenadata. В этой статье расскажу, как и зачем мы сделали свой инструмент для обмена данными между Arenadata DB (аналитическая MPP-СУБД на базе Greenplum) и фреймворком для распределенной обработки данных Apache Spark (входит в экосистему Arenadata Hadoop).

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Просмотры 2.8K
Комментарии 2

Зачем тебе Open Source?

Блог компании Samsung Open source *
Привет! Меня зовут Дмитрий, я тренер по продуктам компании Arenadata и один из преподавателей в онлайн-школе для разработчиков в Open Source COMMoN, в которую сейчас идёт набор. Пока мы готовились к этому буткемпу (а я веду трек по Arenadata DB), я задумался: а что сегодня движет молодыми, которые выбирают для себя работу с открытым ПО? Я отлично помню, что двигало нами 20 лет назад… И отлично вижу, что сегодня всё не так. Тогда что? Попробовал разобраться — и вот что получилось (под катом).

image
Фото Александра Копилова, SpBLUG, 2019г.
Читать дальше →
Всего голосов 11: ↑7 и ↓4 +3
Просмотры 7.8K
Комментарии 24

Файловые дескрипторы в Greenplum

Блог компании Arenadata PostgreSQL *Администрирование баз данных *Распределённые системы *

Привет, меня зовут Денис, в Arenadata я занимаюсь Greenplum — распределённой СУБД с открытым исходным кодом, разработанной на основе PostgreSQL и заточенной под аналитический профиль нагрузки. Моя работа (помимо разработки) заключается в разборе инцидентов, когда в кластерах клиентов происходит что-то непонятное для нашей технической поддержки. Такие истории обычно заканчиваются детальным внутренним разбором произошедшего, рекомендациями для клиентов и внесением правок в код Greenplum (как в наш fork, так и в upstream). Я расскажу вам про один из инцидентов, которым я занимался в последнее время. Хотя этот случай не привел к технически сложным доработкам, он является показательным примером того, как мы исследуем проблемы с Greenplum. Заодно я расскажу о подробностях внутреннего устройства Greenplum и PostgreSQL, которые не описаны в документации.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Просмотры 3.2K
Комментарии 3

Обзор конференции Samsung Open Source Conference Russia 2021: такой разный российский Open Source

Блог компании Samsung Open source *Конференции

На конференции Samsung Open Source Conference Russia 2021 выступили многие значимые игроки российского рынка, и мы с гордостью делимся с вами результатами. За один день мы увидели различные успешные примеры развития открытых проектов из самых разных областей – контейнеризация, диалоговые системы, машинное зрение, робототехника, большие данные, безопасность, мобильная разработка, и многое другое. Темой софта разговор не ограничился, было и про хардвер с RISC-V. На круглом столе вспоминали Ричарда Столлмана и его знаменитое «free as in free speech, not free beer» (сколько лет прошло, а до сих пор актуально). И здесь мы легко переходим к юридической стороне вопроса, к теме лицензий и прав (copyright и copyleft). Итак, читайте обзор докладов ниже.

Читать далее
Всего голосов 11: ↑10 и ↓1 +9
Просмотры 1.6K
Комментарии 0

Школа Open Source-разработчика COMMoN: видео, итоги

Блог компании Samsung Open source *Хранилища данных *Конференции Робототехника

Многие программисты хотели бы поучаствовать в открытой разработке. Но зачастую они сталкиваются с проблемой – непонятно, как сделать первый вклад в Open Source, какие для этого нужны навыки и какие практические шаги, чтобы созданный код был правильно оценен, принят в проект, и предложенное решение было полезно сообществу.

Чтобы помочь новичкам сделать первые шаги к личному коммиту, я и мои коллеги в Samsung R&D Institute Russia (SRR) провели онлайн-школу «Community of Open Source Newcomers» (COMMoN), совместно с партнерами – компаниями Arenadata и DeepPavlov.ai. Под катом – ссылки на видеозаписи всех занятий школы.

Читать далее
Всего голосов 7: ↑6 и ↓1 +5
Просмотры 2.3K
Комментарии 0

Три способа отследить запросы Greenplum, которые «отъедают» слишком много ресурсов

Блог компании Arenadata Big Data *Хранилища данных *Распределённые системы *Data Engineering *
Tutorial

Привет, Хабр! Меня зовут Роман, я работаю разработчиком в компании Arenadata, где мы решаем много задач, связанных с Greenplum. Как-то мне представился случай разобраться с одним непростым, но вполне типичным для этой СУБД кейсом. Необходимо было выяснить, на обработку каких запросов уходит неадекватно много системных ресурсов. В этой статье мне бы хотелось поделиться своими наработками и рассказать о трёх проверенных мной способах мониторинга утилизации системных ресурсов, потребляемых запросами в Greenplum.

Читать далее
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 2.8K
Комментарии 0

Mail.ru Cloud Solutions открывает доступ к Arenadata DB Cloud версии Enterprise

Блог компании VK PostgreSQL *Администрирование баз данных *Big Data *DevOps *


Облачная платформа Mail.ru Cloud Solutions (MCS) расширяет сотрудничество с компанией Arenadata, российским разработчиком платформы сбора и хранения данных. На платформе MCS стала доступной облачная аналитическая база данных Arenadata DB на базе Greenplum в версии Enterprise. Пользователи платформы смогут бесплатно протестировать новое решение в течение трех месяцев.
Читать дальше →
Всего голосов 8: ↑8 и ↓0 +8
Просмотры 726
Комментарии 0

Hadoop 3 как сервис от Mail.ru Cloud Solutions

Блог компании VK Облачные вычисления *Big Data *Hadoop *Облачные сервисы *


На платформе Mail.ru Cloud Solutions (MCS) появился первый в России облачный дистрибутив Hadoop 3 на основе продукта с открытым исходным кодом Arenadata Hadoop. Hadoop — это открытое решение для хранения и анализа больших данных. На его основе MCS предлагает готовые сборки, которые позволят быстро создавать корпоративные хранилища данных и Data Lake объемом до нескольких Пбайт, а также работать с данными из разных источников. Заказчики получат готовое решение для извлечения и анализа любых данных, которые можно будет применять для прогнозных моделей и быстрого обучения ML-моделей, в том числе с помощью высокопроизводительных вычислений (HPC). Провайдер несет финансовые гарантии за доступность сервиса, администрирует его и обновляет на новые версии.
Читать дальше →
Всего голосов 11: ↑11 и ↓0 +11
Просмотры 1.2K
Комментарии 0

Arenadata выпустила новый продукт для обмена данными между Greenplum и Spark

Блог компании Arenadata Big Data *Хранилища данных *Распределённые системы *Data Engineering *
image

Компания Arenadata выпустила инструмент для обмена данными между Arenadata DB (аналитической MPP-СУБД на базе Greenplum) и Apache Spark (фреймворком для распределенной обработки данных, входящим в экосистему Hadoop) — ADB-Spark Connector. Продукт предназначен для высокоскоростной и параллельной передачи информации между Spark и Arenadata DB.
Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Просмотры 789
Комментарии 2

Приглашаем в онлайн-школу Open Source-разработчика: вас ждут ROS, ArenadataDB и DeepPavlov

Блог компании Samsung Open source *Машинное обучение *Конференции Робототехника

Открытое программное обеспечение (Open Source SW) является значительной и неотъемлемой частью мировой ИТ индустрии. Такие известные проекты как операционные системы Linux и Android, вебсервер NGINX, фреймворк машинного обучения TensorFlow, база данных PostgresDB, развивались благодаря энтузиазму и упорному труду множества добровольцев (контрибьюторов), которые вносили и вносят свой вклад в их развитие. О масштабах распространения Open Source можно судить по этим цифрам:~ 95% коммерческих глобальных программных продуктов включают компоненты программного обеспечения с открытым исходным кодом. Сейчас на GitHub > 56 млн. разработчиков, к 2025 г. ожидается 100 млн.

При этом подавляющее большинство разработчиков, постоянно пользуясь открытыми решениями, не имеют коммитов в какие-либо Open Source проекты. У этого есть причины, лежащие в плоскости не только мотивации и психологии, но и реально существующих барьеров. И сейчас мы предлагаем возможность начать свой путь самурая контрибьютора. В августе запускаем онлайн-школу Community of Open Source Newcomers (COMMoN) в рамках конференции Samsung Open Source Conference Russia 2021. Что это и как поступить в школу, читайте под катом.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 3K
Комментарии 2

Arenadata выпустила новую версию системы мониторинга запросов в Greenplum (ADB)

Блог компании Arenadata PostgreSQL *Администрирование баз данных *Хранилища данных *Распределённые системы *

Компания Arenadata выпустила новую версию системы мониторинга запросов в Arenadata DB (аналитическая MPP-СУБД на базе Greenplum) — Arenadata Command Center (ADCC) 3.0.

ADCC позволяет отслеживать процесс выполнения запросов в Arenadata DB, оценивать загруженность кластера, производить анализ планов запросов и выполнять некоторые другие административные задачи, возникающие в процессе эксплуатации базы данных. 

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 756
Комментарии 0

Приглашаем на трек Arenadata в онлайн-школу для разработчиков в Open Source

Блог компании Arenadata Open source *

До 13 августа 2021 года идет набор в бесплатную онлайн-школу для желающих начать работу в Open Source — «Community of Open Source Newcomers» (COMMoN), организованную в рамках конференции Samsung Open Source Conference Russia 2021.

Проект направлен на то, чтобы помочь молодым разработчикам начать свой путь контрибьютора. Школа даёт уникальный опыт взаимодействия с сообществом разработчиков открытого ПО и шанс сделать свой первый коммит в серьёзный Open Source-проект. 

Формат онлайн-школы включает лекции для общего потока и работу в рамках конкретного направления (трека).  В каждый трек набирают группу до 20 человек.

Вместе с преподавателем участники пройдут путь с нуля до вклада в реальный проект. В финале студенты защищают выпускную работу, направленную на решение практически значимой задачи конкретного проекта с открытым кодом.  Авторы лучших работ получат награды от компаний-партнеров треков.

Читать далее
Всего голосов 4: ↑4 и ↓0 +4
Просмотры 722
Комментарии 0

Приглашаем на клиентскую конференцию Arenadata (26 мая)

Блог компании Arenadata IT-инфраструктура *Конференции

26 мая наша компания планирует провести клиентскую конференцию, посвящённую обзору новых продуктов Arenadata и обсуждению миграции с западного ПО.

Расскажем о наших новинках и планах, организуем круглый стол с обсуждением рисков миграции: обсудим, с чем столкнулись заказчики, что нужно предусмотреть для успешной реализации таких проектов и другие вопросы. Под конец вечера обещаем фуршет, нетворкинг и общение под приятную музыку.

Приглашаем представителей компаний-заказчиков, для которых миграция с западных СУБД сейчас — «острый» вопрос.

Подробнее о конференции
Всего голосов 2: ↑2 и ↓0 +2
Просмотры 154
Комментарии 0

Arenadata выпустила продукт на базе PostgreSQL

Блог компании Arenadata Open source *PostgreSQL *

Компания Arenadata вывела на рынок продукт на базе открытой объектно-реляционной СУБД PostgreSQL — Arenadata Postgres (ADPG). Коммерческий дистрибутив Arenadata оснащён расширенным функционалом, оригинальной документацией и технической поддержкой. В начале июня Arenadata Postgres прошёл экспертную проверку Минцифры и был включён в единый реестр российского ПО.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Просмотры 934
Комментарии 2