Публикации Хабы Компании Пользователи Комментарии

RonikaM 20 января 2021 в 19:00

Вебинар «Разворачиваем приложение на Spark в Kubernetes» 4 февраля от Mail.ru Group

Блог компании VK Apache *Big Data *DevOps *Kubernetes *

Recovery mode

Для частого запуска приложений на Spark, особенно в промышленной эксплуатации, необходимо максимально упростить сам процесс регулярного запуска Spark-задач, а также уметь гибко настраивать их конфигурации. В этом поможет современный DevOps-подход к работе со Spark, связанный с использованием Kubernetes.

4 февраля (четверг) приглашаем вас принять участие в вебинаре «Разворачиваем приложение на Apache Spark в Kubernetes. Пошаговый рецепт», где даже начинающие научатся обрабатывать данные с помощью Spark в облаке. Присоединяйтесь!

Подробнее о вебинаре

1.2K

Arenadata 22 июля 2021 в 12:36

Arenadata выпустила новый продукт для обмена данными между Greenplum и Spark

Блог компании Arenadata Big Data *Хранилища данных *Распределённые системы *Data Engineering *

Компания Arenadata выпустила инструмент для обмена данными между Arenadata DB (аналитической MPP-СУБД на базе Greenplum) и Apache Spark (фреймворком для распределенной обработки данных, входящим в экосистему Hadoop) — ADB-Spark Connector. Продукт предназначен для высокоскоростной и параллельной передачи информации между Spark и Arenadata DB.

Читать дальше →

888

khavan 5 апреля 2022 в 14:06

14 апреля приглашаем на Ozon Tech ML Meetup

Блог компании Ozon Tech Big Data *Машинное обучение *Конференции Data Engineering *

Привет, Хабр! Меня зовут Ван, я возглавляю отдел машинного обучения и матчинга торговой площадки Ozon. В нашем IT работает более ста DS-специалистов, чьи алгоритмы ежедневно обрабатывают сотни терабайтов данных для решения важных бизнес-задач и не только. В процессе работы наших алгоритмов задействованы Python, Scala, Go, Hadoop, Spark, PostgreSQL, Kafka и ещё много разных хранилищ и фреймворков.

Чаще всего цели наших ML-алгоритмов в IT-индустрии пересекаются, но технологические траектории достижения результата могут значимо отличаться. На встрече мы поделимся опытом и с коллегами из Яндекс Маркета, AliExpress Россия и Циан выступим с докладами:

— Spark Streaming: в погоне за оптимальной утилизацией и прозрачностью на Hadoop

— Го обсудим: продакшен ML на Golang

— Платформенные решения. Решаем проблемы жизненного цикла ML-сервиса

— Как мы перестали бояться иероглифов и полюбили китайскую инфраструктуру

После докладов на круглом столе обсудим процессы и роли в ML-командах крупных IT-компаний.

14 апреля в 17:00 заглядывайте на наш ML Meetup (онлайн и оффлайн).

Узнать программу

1.7K

ezotrank 10 апреля 2009 в 13:12

ejabberd+AD+Shared Roster

Чулан

Доброго времени суток.

Для начала что мы имеем: небольшую сеть на ~150 машин, в основном с ОС Windows XP, домен, поднятый естественно на Windows 2k3 и нормальную машинку(или сервер) на которой установлен gentoo linux (опционально MySQL).

Задача: Установить jabber сервер, сделать общий ростер, с группами из AD, прикрепить к нему icq гейт и поставить jabber клиенты на рабочие машины.

+12

4.2K

XaocCPS 29 октября 2009 в 08:04

12 лучших практик ASP.NET MVC

.NET *

Перевод

От переводчика: здесь приведены 12 неплохих практик, которые автор рекомендует использовать при разработке приложений ASP.NET MVC. Я решил перевести этот короткий список для тех, кто только присматривается к ASP.NET MVC и делает в этом фреймворке первые шаги. Надеюсь, данные советы помогут получше понять архитектуру ASP.NET MVC и принять правильные решения при разработке проектов. Некоторые советы спорны, но не забывайте, что автор выражает свое мнение, которое может не совпадать с вашим.

Читать дальше →

+10

12K

butaji 11 мая 2010 в 13:58

13й Подкаст Петербургской Группы Alt.Net

Чулан

About MVCContrib

Участники

Виталий Баум (сайт, twitter)
Дмитрий Нестерук (блог, twitter)

Новости

Udi Dahan едет в Екб на 5 дней по инициативе http://www.skbkontur.ru/edu/guru/
ASP.NET MVC vs Rails3 http://anders.janmyr.com/2010/04/aspnet-mvc-vs-rails3.html

Основная тема

Что такое MVCContrib (http://mvccontrib.codeplex.com/) и с чем его едят?

Читать дальше →

655

alizar 23 июня 2011 в 15:22

Spark: дата-майнинг до 30x быстрее Hadoop

Data Mining *Hadoop *

В Калифорнийском университете в Беркли разработали фреймворк Spark для распределённых вычислений в кластерах. На некоторых задачах он превосходит Hadoop в 10-30 раз, сохраняя при этом масштабируемость и надёжность MapReduce.

Увеличение производительности до 30х возможно на специфических задачах, в которых идёт постоянное обращение к одному и тому же набору данных. Например, это интерактивный дата-майнинг и итерационные алгоритмы, которые активно используются, например, в системах машинного обучения. Собственно, для этих двух задач проект и создавался. Но Spark превосходит Hadoop не только в системах машинного обучения, но и в традиционных приложениях по обработке данных.

Читать дальше →

+23

10K

alizar 17 ноября 2011 в 00:49

Bash-скрипт для искрографиков

*nix *

Искрографик (англ. sparkline) — это термин, который придумал Эдвард Тафти для обозначения миниатюрных (word-sized), но информационно-плотных графиков. Они показывают общую картину там, где нет места для размещения нормальных графиков с осями координат. Особенно полезными могут быть в таких областях как финансы и трейдинг, спортивные события, научный и медицинский анализ, системное администрирование.

Зак Холман (Zach Holman) из Github написал shell-скрипт Spark, который строит инфографику простой командой spark прямо из шелла (достаточно добавить скрипт куда-нибудь в $PATH).

Читать дальше →

+74

3.1K

xenozauros 27 января 2012 в 14:24

Связываем Active Directory, Asterisk и OpenFire

Разработка систем связи *

Из песочницы

Дружим между собой Active Directory, сервер IP телефонии Asterisk и Jabber-сервер OpenFire.

Не буду касаться установки всего по отдельности – все неплохо описано и работает в индивидуальном порядке весьма замечательно. Напишу, как я объединял все это вместе, на что наткнулся и что у меня получилось.

Читать дальше →

+29

66K

khoroshev 9 апреля 2013 в 19:06

Обзор китайских планшетов Ainol Spark и Ainol Venus: Цена vs Качество

Блог компании Rozetked

Люди всегда гонятся за ценой (и это логично), но им нужно и качество.

Все прекрасно знают о китайской продукции, но все боятся покупать ее. В большинстве своем «made in China» это действительно товар не лучшего качества, но сейчас есть бренды, достойные как минимум уважения. А признания? А признание они уже получили. Это, например, ZTE, Meizu, Lenovo, Xiaomi.

Возможно, скоро к этому числу примкнет Ainol. На днях ко мне в руки попали два планшета этой компании, и, знаете, я удивился… и цене, и качеству.

Читать дальше →

47K

Alex_SmartGadget 16 мая 2013 в 15:27

Highscreen выпустил самые дешевые смартфоны с 2- и 4-ядерными процессорами

Блог компании SmartGadget

Получил сегодня пресс-релиз о двух новых смартфонах Highscreen – Spark и Omega Q. Первый стоит 4 тысячи рублей, второй – 9 тысяч. При этом первый, по заявлению указанного бренда, является «самым дешевым в России аппаратом с двухъядерным процессором», а второй – «самым дешевым с четырехъядерным»

Так ли это?

35K

ffriend 16 октября 2014 в 14:15

Hadoop: что, где и зачем

Big Data *Hadoop *

Развеиваем страхи, ликвидируем безграмотность и уничтожаем мифы про железнорождённого слона. Под катом обзор экосистемы Hadoop-а, тенденции развития и немного личного мнения.

Читать дальше →

+55

416K

PavelVelikhov 26 февраля 2015 в 03:46

Apache Spark: что там под капотом?

Data Mining *Big Data *Hadoop *

Вступление

В последнее время проект Apache Spark привлекает к себе огромное внимание, про него написано большое количество маленьких практических статей, он стал частью Hadoop 2.0. Плюс он быстро оброс дополнительными фреймворками, такими, как Spark Streaming, SparkML, Spark SQL, GraphX, а кроме этих «официальных» фреймворков появилось море проектов — различные коннекторы, алгоритмы, библиотеки и так далее. Достаточно быстро и уверенно разобраться в этом зоопарке при отсутсвие серьезной документации, особенно учитывая факт того, что Spark содержит всякие базовые кусочки других проектов Беркли (например BlinkDB) — дело непростое. Поэтому решил написать эту статью, чтобы немножко облегчить жизнь занятым людям.

Читать дальше →

+19

49K

max_m 15 апреля 2015 в 17:52

Обзор докладов конференции QCon London 2015

Блог компании Badoo Разработка веб-сайтов *

Привет, меня зовут Макс Матюхин, я PHP-программист в компании Badoo. В прошлом месяце в Лондоне прошла очередная Международная конференция разработчиков QCon 2015. Я побывал на ней и теперь хочу поделиться с вами своими впечатлениями о мероприятии и рассказать о самых интересных, на мой взгляд, выступлениях. Из этой статьи вы узнаете чуть больше про архитектуру Uber, Spotify, CloudFlare, а также о том, как Google управляет своей инфраструктурой и многом другом.

Впервые QCon состоялась в 2007 году в Лондоне и Сан-Франциско. С тех пор она стабильно набирает популярность и расширяет географию, и в этом году она пройдет в 8 городах. Лондонская QCon проходит в самом сердце британской столицы, в двух шагах от Вестминстерского Аббатства. В разное время на QCon выступали такие известные личности, как Martin Fowler, Kent Beck, Erik Meijer, Steve Vinoski, Joe Armstrong, Rich Hickey и многие другие.

Читать дальше →

+20

rzykov 26 мая 2015 в 11:22

Анализ данных на Scala. Считаем корреляцию 21-го века

Блог компании Retail Rocket Data Mining *Scala *Big Data *Hadoop *

Очень важно выбрать правильный инструмент для анализа данных. На форумах Kaggle.com, где проводятся международные соревнования по Data Science, часто спрашивают, какой инструмент лучше. Первые строчки популярноcти занимают R и Python. В статье мы расскажем про альтернативный стек технологий анализа данных, сделанный на основе языка программирования Scala и платформы распределенных вычислений Spark.

Как мы пришли к этому? В Retail Rocket мы много занимаемся машинным обучением на очень больших массивах данных. Раньше для разработки прототипов мы использовали связку IPython + Pyhs2 (hive драйвер для Python) + Pandas + Sklearn. В конце лета 2014 года приняли принципиальное решение перейти на Spark, так как эксперименты показали, что мы получим 3-4 кратное повышение производительности на том же парке серверов.

Подробности

+19

21K

itur 16 июля 2015 в 14:38

«Разрывая ETL барьеры с помощью Spark Streaming» от Concur. Отчет о встрече

Анализ и проектирование систем *Big Data *

Из песочницы

Посетил сегодня встечу на тему «Breaking ETL barrier with Spark Streaming and Real Time Txn Volume Forecasting» и решил записать путевые заметки. Заметки получились немного циничные, но, надеюсь, интересные.

Встреча была организована компанией Concur, которая в основном работает на корпоративных клиентов, предоставляя им набор финансово-«туристических» услуг. Материл был интересный, уровень — легкий, обзор будет короткий.

Вкратце, смысл в том, чтобы заменить ETL на такое же примерно количество процессов, которые читают транзакционные логи и посылают их через Kafka в Spark Streaming, где они могут быть «лучше обработаны и проанализированны», и дальше сложены в OLAP (как и раньше). То есть это, по сути ETL, но real time, а не пакетный, и более программируемый.

Подробности

+11

9.3K

ahriman 29 июля 2015 в 11:24

Открыт приём заявок на грант Microsoft Research на облачные ресурсы Azure для научных исследований из России

Блог компании Microsoft Microsoft Azure *

Открылся приём заявок на грант на облако Azure для научных исследований. Он продлится до 15 августа 2015 года, и внутри гранта — около 200.000 часов вычислений, 20 тб хранилища и доступ к таким сервисам, как ML, HDInsight (Hadoop & Spark) и др.

Например, Илья Серых из Института Океанологии РАН им. Ширшова, выигравший Skolkovo Science Focus, использует облако Azure, теорию хаоса и климатические модели, и планирует доказать, что предсказать климат реально. Это требует расчётов, который длится до нескольких месяцев; требуются надёжные и мощные ресурсы, которые и будут браться в облаке.

Регистрируйтесь и вы.

3.9K

DanilaPerepechin 19 августа 2015 в 08:53

DMP часть 1. Микросегментирование аудитории с помощью ключевых слов

Блог компании Targetix Высокая производительность *Разработка веб-сайтов *Big Data *

Авторы статьи: Данила Перепечин DanilaPerepechin, Дмитрий Чеклов dcheklov.

Здравствуйте.
Data management platform (DMP) — это наша любимая тема во всей истории про онлайн рекламу. RTB is all about the data.
В продолжение цикла рассказов о технологическом стеке Targetix (SSP, DSP), сегодня я опишу один из инструментов, входящих
в DMP — Keyword Builder.

Читать дальше →

16K

enchantner 19 августа 2015 в 19:26

Data Science Week — микроанонс для тех, кто еще не знает

Data Mining *Big Data *

Логично, что в последнее время количество разного рода конференций и прочих публичных мероприятий в сфере анализа данных резко выросло. Наверняка многие уже слышали про OpenData или PyData, а кто-то, наверняка, даже бывал на них. Но все мы прекрасно знаем, что выпросить у руководства возможность поехать на конференцию (даже при условии выступления на ней) — задача нетривиальная. Проблема в том, что большинство таких встреч происходит где-нибудь в Штатах (например, в Техасе) или в какой-нибудь Швеции, поэтому бюджет на поездку, особенно в рамках кризиса, не всякая контора позволит себе выделить.

В России, однако же, есть положительная тенденция — многие проявляют инициативу и проводят подобного рода мероприятия своими силами. Пусть даже это не всегда глобальные конференции, а больше камерные встречи, но все же MDS и MIDSM с каждым разом собирают все больше заинтересованных людей. И подобные встречи, кстати, бывают не только в Москве.

Читайте, Шура, читайте

+10

8.3K

AlexSerbul 1 сентября 2015 в 15:42

«Bigdata Conference» — крупнейшая конференция по большим данным уже очень скоро

Блог компании Битрикс24 Big Data *Машинное обучение *

Коллеги, оглянитесь вокруг!

«Большие данные» гораздо ближе к вам и их сильно больше, чем кажется. Несмотря на обилие мероприятий на данную тему, мало кто, «между нами девочками говоря», владеет темой. А чтобы выжать пользу и деньги из информации — нужно очень хорошо разбираться..., именно — в тонкостях.

Технология «отжима больших данных» грубо делится на два, очень очень разных пласта — инженерный и алгоритмический. В первом монолите программное обеспечение пока довольно сырое, бурно развивается, от чего у разработчиков, простыми словами, уже «едет крыша»: приходится разбираться в инструментах от «старого доброго» Hadoop с HDFS, активно используя Hive, Impala, Presto, Vertica и прочая и прочая… и, чтобы не отстать от конкурентов, ювелирно владеть секретами Apache Spark, сваянного на прекрасной лаконичной Scala.

Читать дальше →

5.3K

2 3 ...

9 10