Как стать автором
Обновить
41
0
Виктория Еремина @Veremina

Пользователь

Отправить сообщение

Как сделать Spark в Kubernetes простым в использовании: опыт команды VK Cloud

Время на прочтение 10 мин
Количество просмотров 3.1K


Сегодня Spark — отраслевой стандарт среди инструментов обработки данных. Его часто используют в связке с Hadoop, однако Hadoop не очень подходит для работы в облаке. Альтернативой может быть Kubernetes, однако самостоятельно его настраивать и конфигурировать очень сложно. Чтобы упростить ситуацию и помочь пользоваться всеми преимуществами технологий, не сталкиваясь с трудностями, мы сделали в VK Cloud Spark в Kubernetes. Для работы с ним не нужна глубокая экспертиза в K8s. 

Меня зовут Алексей Матюнин, я ведущий программист команды разработки ML Platform в компании VK Cloud. Расскажу, почему мы решили делать Spark в Kubernetes, с какими сложностями столкнулись и как их обходили, а также что получили в итоге.

Материал подготовлен по мотивам моего выступления на конференции VK Data Meetup.
Читать дальше →
Всего голосов 25: ↑25 и ↓0 +25
Комментарии 0

Exception Handling: сквозь мультивселенные интероперабельности

Время на прочтение 10 мин
Количество просмотров 2.3K


В любой программе периодически возникают исключительные ситуации, которые необходимо обрабатывать. В большинстве случаев обработка ошибок не вызывает вопросов, но ситуация становится сложнее, когда среда вашего исполнения представляет собой сэндвич из интерпретируемого и нативно исполняемого кода на разных языках.

Меня зовут Максим Кокряшкин, я занимаюсь поддержкой и расширением функциональности форка LuaJIT, интегрированного в Tarantool. В этой статье мы обсудим, как интероперабельность исключений помогает упростить обработку ошибок на стыках разных языковых рантаймов, а также посмотрим, как можно реализовать интероперабельность стандартными механизмами обработки исключений.
Читать дальше →
Всего голосов 38: ↑38 и ↓0 +38
Комментарии 0

Эмоциональный интеллект в UX-исследованиях

Уровень сложности Простой
Время на прочтение 12 мин
Количество просмотров 1.8K

Привет! Меня зовут Татьяна Лескова, я младший аналитик-исследователь в RuStore. Применяете ли вы эмоциональный интеллект в своих UX-исследованиях и зачем вообще вам, как специалисту, прокачивать свой эмоциональный интеллект? Расскажу о том, как бустануть качество ваших исследований и улучшить продукт через умение понимать респондента и считывать его эмоции.

Читать далее
Всего голосов 19: ↑18 и ↓1 +17
Комментарии 2

Hadoop в Облаке: история миграции сотен петабайт

Уровень сложности Средний
Время на прочтение 10 мин
Количество просмотров 3.6K

Миграция с «железа» в облако в большинстве случаев уже не кажется чем-то сложным или удивительным — тенденция на развертывание решений в облаке общая и устоявшаяся. Но если с переносом в облачную среду небольших ИТ-компонентов все просто, то в случае с глобальными системами на сотни петабайт данных все несколько иначе — такие кейсы встречаются редко. 

Меня зовут Михаил Марюфич. Я руководитель Data Platform в ОК, отвечаю за инфраструктуру для Big Data и машинного обучения. В этой статье я расскажу о нашем опыте переноса Hadoop с Bare Metal в облако: с чего стартовали, какие варианты рассматривали, как выстроили миграцию и с чем сталкивались в процессе.

Читать далее
Всего голосов 30: ↑30 и ↓0 +30
Комментарии 4

Лучшие практики RuStore: правила хорошего Code Review для Android

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 3.1K

Привет, я Михаил Емельянов, руководитель Android-направления в RuStore. Над стором трудится большая команда разработчиков, проект регулярно дорабатывается, а количество новых строк кода неизменно увеличивается. 

За год работы команда магазина приложений выпустила невероятное число версий и сборок Android, несколько раз пересмотрела, как верно должен работать процесс установки, и собрала огромное количество готовых SDK, кажется, под всё, что только можно представить. За это время мы сформировали правила, которые позволили сократить время на разработку и тестирование, и избежать ошибок в конечном продукте. 

В этой статье расскажем, как мы построили процесс Code Review в RuStore, какую проблему решали, поделимся нашими практиками и сделаем выводы.

Читать далее
Всего голосов 37: ↑33 и ↓4 +29
Комментарии 9

Запуск проекта в Kubernetes за 60 минут: инструменты, GitLab, Terraform

Время на прочтение 14 мин
Количество просмотров 12K


Привет, Хабр! Меня зовут Илья Нырков, я архитектор в VK Cloud. В своей работе встречаюсь с желанием партнеров (это и крупный энтерпрайз, и различные стартапы) использовать Kubernetes, но их останавливает сложность поднятия, конфигурирования кластера, деплоя в нём приложений и построения CI/CD-процессов вокруг него. Я постараюсь показать на практическом примере, который вы можете повторить сами, как развернуть за сравнительно небольшое время полноценный CI/CD с рабочим приложением, доступным для внешних пользователей.
Читать дальше →
Всего голосов 38: ↑37 и ↓1 +36
Комментарии 0

Проверка продуктовых гипотез и немодерируемые UX-исследования c применением внутренних инструментов: кейс команды OK

Уровень сложности Средний
Время на прочтение 7 мин
Количество просмотров 903

Проверка гипотез — неотъемлемая часть работы с продуктом. Но в условиях крупного «живого» проекта, такого как ОК, зачастую возникает не одна, а много гипотез одновременно, которые нужно проверить быстро, без негативного влияния на сервис и с минимальными затратами. 

Для решения таких задач используют разные подходы, в том числе качественные и количественные UX-исследования. При этом количественные исследования часто подразумевают работу с инструментами внешних вендоров, что не всегда оптимально — дорого, есть ограничения по количеству запусков, могут быть проблемы с набором релевантной аудитории. 

Поскольку в нашей продуктовой работе много гипотез, нам было важно уйти от таких ограничений. Мы решили задействовать собственный внутренний  инструмент.

Рассказываем, что получилось в итоге.

Читать далее
Всего голосов 27: ↑24 и ↓3 +21
Комментарии 0

Тестирование менеджера транзакций

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 2.8K


Привет, Хабр! Меня зовут Георгий Лебедев, я учусь на 4-м курсе ФРКТ МФТИ и работаю в команде разработки ядра Тарантула. В этой статье я хочу поделиться методикой тестирования менеджера транзакций, которая применяется в Тарантуле.
Читать дальше →
Всего голосов 26: ↑25 и ↓1 +24
Комментарии 1

Аналитика в игре на Godot: подключаем MyTracker

Время на прочтение 8 мин
Количество просмотров 1.8K

Привет! Я Артем Ковардин, руководитель команды Push Service в RuStore. В этой статье я расскажу про подключение MyTracker в мобильную игру на Godot. 

Godot — замечательный движок для игр, но под него очень мало готовых плагинов. Особенно, плагинов для российских сервисов. Поэтому разработчику нужно самостоятельно создавать все необходимые плагины: для аналитики, рекламы, подписок и т. д.

Аналитика помогает разработчику зарабатывать на своих играх. Она нужна любому приложению: без аналитики не получится закупить трафик, и непонятно, сколько времени пользователь проводит в приложении. 

В этой статье мы будем работать с сервисом аналитики MyTracker. Это позволит закупать рекламу на площадке VK. Разберемся, как подключить сервис, разработать плагин для аналитики и подключить его в игру.

Читать далее
Всего голосов 31: ↑31 и ↓0 +31
Комментарии 0

Автоматизация логистики: от первой и до последней мили

Время на прочтение 2 мин
Количество просмотров 2.3K

Почтатех проведет открытый митап по автоматизации логистики, разработке  информационных систем для повышения ее прозрачности, предикативности и контролируемости. Интересно будет тем, кто занимается проектированием систем, архитекторам, аналитикам и техлидам. А еще всем тем, кому любопытно, как уже сейчас строится логистика будущего.

Кто не хочет читать после ката — сразу регистрируйтесь тут →

Читать далее
Всего голосов 23: ↑21 и ↓2 +19
Комментарии 0

Сравниваем качество SaaS-систем в задаче распознавания интентов

Время на прочтение 6 мин
Количество просмотров 2.5K

Наши клиенты часто спрашивают, какие технологии машинного обучения лучше подходят для решения их задач.

Наиболее убедительный аргумент в пользу тех или иных решений — обыкновенные цифры. Конкретные метрики, которые отражают качество работы таких систем. Их бывает непросто подсчитать, но с КРОК сотрудничают специалисты, которые разбираются в вопросе. Это разработчики сервиса роботизации службы поддержки из нашего продуктового портфеля. 

Недавно команда AutoFAQ решила сравнить свою технологию с решениями от известных компаний на конкретной практической задаче.

Читать далее
Всего голосов 20: ↑20 и ↓0 +20
Комментарии 0

Что происходит в фарме и медицине

Время на прочтение 8 мин
Количество просмотров 6.1K

Мы провели довольно большое исследование о том, что сейчас нужно с точки зрения технологий производителям фармы, аптекам и врачам. Фокус — на доставке препаратов до потребителя, то есть в случае России — скорее на фармкомпаниях. 

Если коротко, то в фарме нас ждёт примерно то же самое, что когда-то случилось с банками и ритейлом. Возможно, потому что на рынок эти самые банки уже пришли (СберЗдоровье и Магнит Фарма, например), и конкурировать придётся с их экосистемами. Фарма хочет собирать о вас максимум данных на своих платформах данных, развивать прямые контакты с вами (например, мобильные приложения пациентов, маркетплейсы и пр.) и строить из всех своих решений экосистему, чтобы от первого чиха до самой смерти вы были на подписке или постоянно покупали. Точнее, чтобы обмен был двусторонний: ваше состояние отслеживалось и передавалось в экспертную систему, которая позволяла бы вам жить дольше, пользуясь правильными препаратами и БАДами. 

В общем, добро пожаловать в срез результатов нашего исследования российского рынка. 

Читать далее
Всего голосов 29: ↑28 и ↓1 +27
Комментарии 12

Мониторинг запросов в Greenplum

Время на прочтение 10 мин
Количество просмотров 5.3K

Часто при работе с разными базами данных необходимо отслеживать выполнение текущих запросов. В основном это связано с задачами администрирования или аналитики. Средства мониторинга, позволяющие управлять и наблюдать за выполнением запросов, сильно помогают в этом. Я расскажу о том, с какими задачами мы столкнулись при проектировании и реализации системы мониторинга запросов для Arenadata DB.

Читать далее
Всего голосов 21: ↑21 и ↓0 +21
Комментарии 2

Тесты «Эльбрус» для энтерпрайз-приложений: а они в порядке для догоняющих

Время на прочтение 9 мин
Количество просмотров 18K

«А там точно нет закладок?» — чтобы точно ответить на этот вопрос про любую железку иностранного происхождения, рано или поздно надо сделать её самому. Так появились процессоры «Эльбрус». Несмотря на то, что они далеко не такие современные, как могли бы быть, они всё чаще появляются не только в прессе, но и на практике. Мы взяли сервер на «Эльбрус-8С» у партнёров из «НОРСИ-ТРАНС» и протестировали его под нагрузкой для оценки использования в реальных задачах. Цель — понять, сможем ли мы в разрезе 15 лет использовать эти ядра для производств (это тех самых, где АСУ ТП оркестрирует Пентиум II MMX). 

Сразу скажу главное: в расчёте на процессорный такт они либо равны, либо немного превосходят процессоры Intel на целевых задачах — во многом из-за архитектуры VLIW (а не RISC). Но вот только частоты у них существенно меньше, конечно. Существенно — это не в два и не в четыре, а в разы. То есть рыночная перспектива у них основана на «ящиках» (то есть закрытых компаниях). Доступа к новейшим технологиям производства процессоров в стране нет, поэтому ситуация такова. Но прогресс возможен.

Закрытость самих разработок (потому что у них, в принципе, только одно назначение, связанное с государственной безопасностью) тоже не помогает развитию программной части, поэтому вокруг архитектуры «Эльбрусов» не так много ПО. Тем не менее целостную картину уже можно получить. 

Читать далее
Всего голосов 65: ↑62 и ↓3 +59
Комментарии 86

Архитектурные паттерны в iOS: привет от дядюшки Боба, или Clean Architecture

Время на прочтение 14 мин
Количество просмотров 19K

Продолжаю серию постов с разбором всех популярных архитектурных паттернов, использующихся в iOS разработке: устройство, плюсы и минусы, а также когда и где их лучше применять. Литературы по этому вопросу преступно мало, редкие обсуждения в интернете ограничиваются собственным опытом и какими-то поделками на гитхабе. 

Все, кто хочет не просто знать что стоит за названием той или иной архитектуры, но ещё и в каком случае какую использовать — наливайте чай и устраивайтесь поудобнее, будет лампово. Разбираем паттерны, реализующие концепцию Чистой Архитектуры — самые масштабируемые и надёжные.

Читать далее
Всего голосов 36: ↑35 и ↓1 +34
Комментарии 3

Как мы построили гибридное облако и сняли с ручника разработку

Время на прочтение 10 мин
Количество просмотров 5.1K

Любому бизнесу, особенно крупному, хочется максимально оптимизировать внутренние процессы. В частности, те, которые касаются ИТ. Довольно часто мы встречаем ситуации, когда сугубо цифровые задачи в силу устаревших регламентов или страха сломать работающую систему решаются по старинке, вручную.

«Ингосстрах» обратилась к нам со следующей задачей: из-за огромного количества «ручных» операций параметр time-to-market их цифровых продуктов в некоторых случаях был достаточно высоким. Это не устраивало никого: ни разработчиков, ни тестировщиков, ни бизнес. Требовалось как можно сильнее сократить time-to-market, не стесняясь в ресурсах и средствах.

Читать далее
Всего голосов 39: ↑38 и ↓1 +37
Комментарии 4

Развернуть дата-центр за время доставки пиццы

Время на прочтение 4 мин
Количество просмотров 22K


— Да этот ЦОД можно развернуть и настроить, пока ты пиццу заказываешь!

Я бросил эти слова на совещании, и расплата пришла немедленно. Коллега предложила заказать пиццу. Оплачивает проигравший: если я успеваю собрать ЦОД — то она, если не успеваю — то я.

Чёрт!

В общем, встречайте стресс-тест: гиперконвергентное решение от Cisco с простой настройкой против приготовления пиццы.
Читать дальше →
Всего голосов 49: ↑45 и ↓4 +41
Комментарии 22

Новогодних баек инженера пост

Время на прочтение 6 мин
Количество просмотров 80K
image

Самое сложное перед Новым Годом — это составить график, когда инженеру нельзя бухать. Дело вот в чём: у «икс-команды» выездных инженеров есть стандартная дежурная смена, там бойцы просто сидят в офисе. А ещё у нас есть обычные проекты, и по тем, где есть услуга поддержки, всегда должен оставаться кто-то на связи. Поэтому мы и носим с собой ноутбуки и телефоны-модемы даже на вечеринки. И — обязательно — не пьём, если сегодня нужно страховать.

Из примеров — мой коллега как-то пошёл на свидание, и вместо общения с девушкой удалённо поднимал сервер.

А ещё на Новый Год резко меняется адекватность заявок в техподдержку. Один раз, например, 31-го у нас вылетело критичное оборудование: оказывается, заказчик «затушил» стойку, чтобы вызвать инженера. Понимали, заразы, что так его с дежурства не выпустят. Сделали сервисный случай именно под него. Приехал, а там поляна с водкой, довольной заказчик и подарок на Новый год за хорошую работу.

В общем, берите чай, печеньку — и заходите, буду рассказывать.
Читать дальше →
Всего голосов 105: ↑99 и ↓6 +93
Комментарии 93

Школа 3D-решений для студентов: что внутри и как попасть на обучение бесплатно

Время на прочтение 7 мин
Количество просмотров 17K

На голове моего коллеги Влада активные 3D-очки (с активным затвором) метками для отслеживания поворота головы внутри виртуальной реальности 3D-куба — турбины двигателя «Боинга».


Другая моя коллега разбирает 3D-манипулятором нейрон.

В прошлом году мы объявляли первый набор, понимая, что в России ещё не было такого опыта. Сегодня же у каждого нашего выпускника есть чёткое применение полученных знаний: кто-то будет создавать 3D-модели для архитектуры, строительства, медицины и инженерии, а кто-то – уже создаёт интерактивные приложения для обучения, презентаций и развлечений.

Ниже я расскажу, что есть у нас в центре 3D-решений, покажу оборудование, с которым можно работать, расскажу про обучение и о том, как попасть в бесплатную группу нашей школы, если вы студент.
Читать дальше →
Всего голосов 34: ↑31 и ↓3 +28
Комментарии 6

Распознавание русской речи для колл-центров и параноиков

Время на прочтение 11 мин
Количество просмотров 74K
Когда вы звоните в колл-центр, вас внимательно слушает, а иногда и отвечает, не только оператор и товарищ майор, но и робот-аналитик. Этот хитрый робот умеет распознавать нужные ключевые слова в вашей речи, но и производить полнотекстовое распознавание речи, и на основании этого всего, делать далеко идущие выводы.



Анализировать записи можно как «на лету» (что делается редко), так и постфактум, например, разыскивая конкретные звонки для анализа живым человеком. Я работал с несколькими программно-аппаратными решениями для этого, и сейчас поделюсь опытом.


Автоматическое распознавание уже начинает справляться с русским языком, за исключением некоторых особо сложных случаев

Сразу отмечу — да, эти решения могут сочетаться с определением конкретного человека по «голосовому отпечатку пальца», но это немного другая история и подробно останавливаться на этом здесь я не буду.
Читать дальше →
Всего голосов 107: ↑104 и ↓3 +101
Комментарии 28
1

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Работает в
Зарегистрирована
Активность