Pull to refresh

Вебинар «Современные базы данных для аналитики: почему DWH лучше строить в облаке?» 18 июня от Mail.ru Group

VK corporate blog PostgreSQL *Cloud computing *Database Administration *Big Data *


Привет, друзья.

Хайп вокруг Big Data давно прошёл. Но потребность компаний в отказоустойчивой инфраструктуре для хранения и обработки больших данных стала даже острее. 18 июня мы приглашаем вас принять участие в вебинаре, на котором расскажем про аналитическую СУБД Arenadata DB на основе Greenplum.

Вы узнаете:

  • Как устроен Greenplum и для каких задач лучше использовать эту современную массивно-параллельную, изначально кластерную СУБД
  • Преимущества Greenplum в облаке по сравнению с BareMetal
  • Какие бизнес-задачи можно решать с помощью DWH, в основе которого лежит Greenplum
  • Как настроить и запустить Arenadata DB Cloud на базе Greenplum в облаке Mail.ru Group за пару минут

На вебинаре мы ответим на эти вопросы и расскажем про возможности Arenadata DB, которая теперь доступна в облаке Mail.ru Cloud Solutions

Вебинар пройдет 18 июня (четверг) в 17:00.

Регистрация обязательна, ссылка для подключения будет отправлена сразу после ее прохождения.
Подробнее о вебинаре
Total votes 11: ↑10 and ↓1 +9
Views 1.7K
Comments 1

Как наука о данных помогает развитию медицины. Лекция в Яндексе

Яндекс corporate blog Research and forecasts in IT *
Постепенная информатизация медицины связана со сбором очень разных данных. Они добываются совершенно непохожими способами и почти всегда имеют уникальную структуру. Откуда, как и зачем их стоит собирать? В своём докладе руководитель разработки сервиса Яндекс.Здоровье Михаил Tomcat Пайсон рассказывает об основных путях развития современной медицины и о технологических проблемах, которые перед ней стоят.


Под катом — расшифровка доклада и слайды.

Total votes 42: ↑41 and ↓1 +40
Views 11K
Comments 8

Кто владеет данными, генерируемыми устройствами из интернета вещей?

Parallels corporate blog Research and forecasts in IT *Reading room


Сегодня многие организации начинают передавать свои IoT-данные сторонним компаниям. Зачастую это делается ради монетизации, иногда — для соблюдения требований регуляторов. И все эти инициативы выдвигают на передний план проблемы владения данными и их лицензирования.

Любопытно, что не существует установленной схемы определения, как присваивается право собственности, и ещё хуже обстоят дела с правильным лицензированием IoT-данных. Давайте рассмотрим ситуацию чуть подробнее.
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Views 7.4K
Comments 11

Как мозг бьет дерево, или как мы сделали рекомендательную систему с помощью нейронной сети

QIWI corporate blog Big Data *Machine learning *

Как бы вы сделали рекомендательную систему? У многих в голове сразу появилась картина как они импортят и стакают XGBoost CatBoost. Изначально у нас в голове появилась та же картина, но мы решили на волне хайпа сделать это на нейронных сетях, благо времени было много. Опыт их создания, тестирование, результаты и наши мысли описаны далее.


Читать дальше →
Total votes 15: ↑12 and ↓3 +9
Views 13K
Comments 4

Роботы вместо лучших сотрудников: машинное обучение по ответам экспертов

Devim corporate blog Big Data *Machine learning *
Recovery mode

Один из текущих проектов Devim — разработка сервиса скоринга для микрофинансовой организации (МФО). Проект был выполнен нашей Data Science командой Андреем Давыденко и Дмитрием Гореловым datasanta. Мы рассказываем о том, какие решались задачи, какие факторы принимались во внимание, а также о полученных результатах. В основе предложенного на данный момент решения — подход, при котором автоматическая обработка заявок выполняется с учётом вероятности отказа/одобрения похожих существующих заявок андеррайтерами (экспертами). Такой подход позволил выполнить проект в сжатые сроки и принять во внимание некоторые особенности бизнес-целей. В числе интересных результатов: как оказалось, решения андеррайтеров при выдаче займов могут быть с высокой точностью спрогнозированы статистической моделью (AUC>0.93).


Надеемся, что публикация будет интересна не только специалистам по скорингу, но и всем, кто интересуется машинным обучением и его применением на практике.


Материал подготовлен Data Science командой Devim

Читать дальше →
Total votes 24: ↑22 and ↓2 +20
Views 7.2K
Comments 7

«На курсы шли не только ради знаний, у многих были карьерные амбиции и профессиональные задачи развития»

New Professions Lab corporate blog Data Mining *Big Data *
Recovery mode
Хабр, привет! Знакомьтесь — Артём Москалец, СЕО компании Brightlab, с которым мы пообщались в рамках нашей серии интервью с выпускниками. В рамках интервью наши выпускники рассказывают о своей истории перехода в область работы с большими данными. Истории все разные и будут интересны тем, кто задумывается о смене карьерной траектории или о том, как новые знания могут помочь решать новые задачи.
Артём — кандидат психологических наук, бывший зам. директора ГУУ. Волею судеб оказавшись в Ростове-на-Дону, познакомившись с местными талантливыми разработчиками, Артём открыл для себя мир новых технологий, начал активно изучать данную область, собрал команду профессионалов и теперь успешно развивает свою компанию.

image

— Артём, представься, пожалуйста, и расскажи о своем бэкграунде.

— Артём Москалец, CEO в компании Brightlab LLC. Компания наша не самая большая в мире разработки, но дружный коллектив из 24 молодых ребят позволяет решать, не побоюсь этого слова, задачи любого уровня в вeбе.

Мое профессиональное становление можно описывать по аналогии с диалектическим законом единства и борьбы противоположностей. К примеру, проявляя способности к точным наукам, алгебре и физике, в частности, высшее образование решил получать по направлению социологии и психологии управления. Мой репетитор по физике, зная, что его домашние задания решались в прямом смысле слова на коленке по дороге к нему, говорил: “В тебе умирает физик”. Путь наименьшего сопротивления, свойственный молодым ребятами 16-ти лет, и развитые коммуникативные навыки предопределили мой профессиональный путь развития. Хотя инициативность во мне не дремала уже тогда. К примеру, я все же поступил на факультет прикладной математики и информатики в МИСиС, но оригинал аттестата туда не отнес. Может быть, из-за страха. Наверное, это один из моментов, оглядываясь на которые, я испытываю сожаления.
Читать дальше →
Total votes 10: ↑5 and ↓5 0
Views 2.8K
Comments 0

Машинное обучение в микрофинансах: строим скоринговую модель для клиентов с пустой кредитной историей

Data Mining *Big Data *Open data *Machine learning *Finance in IT
Recovery mode

Нет кредитной истории — не дают кредиты, не дают кредиты — нет кредитной истории. Замкнутый круг какой-то. Что делать? Давайте разбираться.


Привет! Меня зовут Марк, я data scientist в компании Devim. Недавно мы запустили модель для скоринга заемщиков МФК “До Зарплаты”, у которых отсутствует кредитная история. Хочу поделиться опытом поиска данных, особенностями конструирования и интерпретации признаков.


Читать дальше →
Total votes 34: ↑23 and ↓11 +12
Views 13K
Comments 59

В поисках обеда: распознавание активности по данным фитнес-трекера

ГК ЛАНИТ corporate blog Data Mining *Big Data *Machine learning *Data Engineering *
Мне посчастливилось участвовать в проекте SOLUT, который стартовал в ЛАНИТ около года назад. Проект развивается благодаря активному участию Центра компетенции больших данных ЛАНИТ (ЦК Дата), и главное технологическое новшество проекта заключается в использовании машинного обучения для мониторинга человеческой активности. Основным источником данных для нас являются сенсоры фитнес-трекеров, закрепленные на руках работников. В первую очередь, результаты распознавания помогают поднять производительность труда и оптимизировать производственные процессы на стройке. Также анализ поведения рабочих позволяет отслеживать самочувствие человека, соблюдение техники безопасности и напоминает строителям про обед.

Источник
Читать дальше →
Total votes 47: ↑46 and ↓1 +45
Views 4.1K
Comments 7

Обзор Gartner MQ 2020: Платформы машинного обучения и искусственного интеллекта

Big Data *Machine learning *Statistics in IT Artificial Intelligence Data Engineering *
Невозможно объяснить причину, зачем я это прочел. Просто было время и было интересно, как устроен рынок. А это уже полноценный рынок по Gartner с 2018го года. С 2014-2016 называлось продвинутой аналитикой (корни в BI), в 2017 – Data Science (не знаю, как перевести это на русский). Кому интересны передвижения вендоров по квадрату – можно здесь посмотреть. А я буду говорить про квадрат 2020го года, тем более, что изменения там с 2019го минимальные: выехал SAP и Altair купил Datawatch.

Это не систематизированный разбор и не таблица. Индивидуальный взгляд, еще с точки зрения геофизика. Но мне всегда любопытно читать Gartner MQ, они прекрасно некоторые моменты формулируют. Так что тут вещи, на которые я обратил внимание и в техническом плане, и в рыночном, и в философском.

Это не для людей, которые глубоко в теме ML, но для людей, которые интересуются тем, что вообще происходит на рынке.

Сам DSML рынок логично гнездится между BI и Cloud AI developer services.


Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Views 3K
Comments 2

Hadoop мертв, да здравствует Hadoop! Или что новенького в Cloudera?

Cloudera corporate blog Apache *Big Data *Data storage *Hadoop *
Recovery mode

Привет, Хабр! Меня зовут Кирилл, я инженер по решениям в Cloudera, и сегодня мне выпала честь представлять всю команду, работающую с регионом СНГ. Мы очень рады, что наконец-то можем делиться полезными материалами и новинками мира больших данных с вами. В последнее время у нас появилось много нового, поэтому начиная писать эту статью волновались, как бы она не превратилась в неподъемный лонгрид. Постарались собрать ниже только самое основное и, к сожалению, в этой статье не будет много технической информации, но мы быстро это исправим.

Узнать о новинках
Total votes 7: ↑3 and ↓4 -1
Views 5K
Comments 24

Логистика и цепи поставок в жанре магического реализма

Big Data *Research and forecasts in IT *Start-up development Artificial Intelligence IOT

В предыдущей статье я описала применение технологий location intelligence для определения оптимального месторасположения дарксторов. В следующей – опишу вторую ключевую часть логистики последней мили - решений для планирования оптимальных маршрутов курьеров с учётом пробок и других данных.

При этом доставка последней мили – это хоть и важный, дорогой и любимый инвесторами и стартапами, но всё же почти финальный этап в процессе движения товаров по цепи поставок.

После неё следует разве что что возврат товара, если не подошло, а также иногда утилизация уже использованных товаров (в последние годы логистика утилизации стала очень востребованной в условиях захвативших прогрессивное сообщество ESG-настроений).

А до последней мили – сложный процесс управления движением потоками материалов и товаров, финансов и информации по сложным цепям поставок.

Поэтому в этой статье расскажу о том, почему меня в целом вдохновляет управление цепями поставок и логистика в части использования location intelligence и AI и цифровизации в целом, почему «цифровой дарвинизм» особенно беспощаден именно этой отрасли и зачем именно в логистике мы делаем пилот.

Читать далее
Rating 0
Views 2.4K
Comments 4

Как системы мониторинга и прогноза встраиваются в бизнес-процессы ТОиР: сценарии на примере F5 PMM и F5 EAM

Factory5 corporate blog Big Data *Industrial Programming *Machine learning *Development for IOT *
Recovery mode

Привет, Хабр! Мы – Factory5, российский разработчик ПО для промышленных предприятий. Создаём решения для управления производственными активами и интеллектуального анализа больших данных на базе технологий машинного обучения. Сегодня расскажем о том, как наши системы встраиваются в бизнес-процессы и помогают оптимизировать ресурсы.

Техническое обслуживание и ремонт могут занимать до 50% операционных затрат предприятия. Сегодня существует много умных решений для автоматизации, улучшения качества и снижения стоимости ТОиР. Одно из таких  — системы мониторинга и прогноза, которые собирают данные об оборудовании, анализируют их и прогнозируют время до возможного отказа.

Читать далее
Total votes 2: ↑2 and ↓0 +2
Views 614
Comments 0

Как IoT-технологии и эксперты по оборудованию помогают внедрять предиктивную аналитику: опыт Factory5

Factory5 corporate blog Big Data *Industrial Programming *Machine learning *Development for IOT *
Recovery mode

Всем привет, на связи Алексей Ершов и Максим Зотов, эксперты Factory5. Сейчас наша компания разрабатывает ПО для анализа промышленных данных, а начинали когда-то с предиктивной аналитики промышленного оборудования. В этой статье расскажем о том, как IoT-технологии и эксперты по оборудованию помогают внедрять её на предприятиях.

Читать далее
Total votes 2: ↑1 and ↓1 0
Views 622
Comments 0