Обновить
VK
Технологии, которые объединяют
Сначала показывать

Новый open source Java коннектор для Tarantool: практика с примерами кода

Время на прочтение28 мин
Охват и читатели4.2K

VK Tech открывает исходный код коннектора Tarantool Java EE и переименовывает его в Tarantool Java SDK. Дистрибутив станет доступен в Maven Central, что упростит интеграцию с Java-приложениями в корпоративных средах. 

Меня зовут Артём Дубинин, я старший программист в VK Tech. Я разрабатываю коннекторы к Tarantool, а также участвую в разработке различных продуктов в VK Tech. Однажды я понял, что материала про совместную работу Java и Tarantool очень мало и из-за этого может казаться, что совмещать их сложно. Но на самом деле это не так — и иногда альтернативы Tarantool могут быть даже сложнее во взаимодействии. Поэтому я и решил написать эту статью. 

Цель статьи — показать через код, что Tarantool реально совместить с Java без больших полотен кода, а итеративно с небольшими сниппетами (не считая java импортов и xml 😄). Мы будем использовать такие, чтобы каждый мог попробовать провести у себя на компьютере эти эксперименты и понять, что Tarantool легок в использовании.

Читать далее

Как поменять антивирусный движок и не дать ему съесть всю память

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели7.9K

Привет, Хабр! Меня зовут Максим Галаганов, я ведущий разработчик систем доставки почты в Mail. Занимаюсь в основном почтовым сервером, но сегодня расскажу о другой задаче — как мы меняли вендора антивирусного решения. API нового решения кардинально отличался от старого, и пришлось изрядно поизобретать, чтобы всё заработало.

Расскажу о миграции по порядку: с чего начинали, какие проблемы возникли в процессе, как их решали. Поделюсь опытом эксплуатации — на что смотрим в проде. И в конце — выводы и рекомендации для тех, кому предстоит подобная задача.

Читать далее

Из опыта команды VK Видео: как мы оцениваем эффект от видеоконтента и при чём здесь propensity score

Уровень сложностиСредний
Время на прочтение13 мин
Охват и читатели6.7K

Привет, Хабр! Меня зовут Ринат Валеев, я старший аналитик в R&D-команде VK Видео.

Команде любого видеосервиса важно оценивать, какой эффект видеоконтент оказывает на аудиторию. Это нужно, чтобы оптимизировать продукты, повышать вовлечённость пользователей, увеличивать конверсию и экономить ресурсы на производстве материалов. В рамках стратегии непрерывного развития сервиса такие задачи решаем и мы в VK Видео.

В этой статье покажу, как мы адаптировали метод propensity score под задачи видеосервиса, автоматизировали расчёты и собрали на их основе удобный self-service инструмент.

Читать далее

Shadow Data в облаке: найти и обезвредить

Время на прочтение4 мин
Охват и читатели5.3K

Shadow Data — данные, которые существуют вне поля зрения ИБ и compliance-команд. 

Хорошая новость в том, что такие теневые данные легко найти даже в очень крупной облачной инфраструктуре. В этой статье разберем, как сделать все без ручного перебора и буквально за час найти и геолоцировать данные.

Читать далее

Матрица UX-зрелости: как связать UX-культуру, OKR и реальную работу команд

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели6.2K

На фоне OKR (objective key results), метрик и релизов UX почти всегда живёт где-то сбоку. Формально все согласны, что «UX важен», но на практике он часто остаётся вне мейнстрима и воспринимается как что-то полезное, но расплывчатое: на уровне целей вклад UX-практик в интерфейсные решения редко отображается в результатах и не формализован, а эффект работы над UX-зрелостью сложно измерим. В таких условиях UX держится на отдельных энтузиастах, и без связи с целями продукта культура не масштабируется, она выгорает.

Для этого мы в RuStore за последние три года осознанно научились управлять UX-зрелостью: доказали ценность исследований и поставили их на поток, научились работать с UX-долгом, собрали Atomic Research, внедрили доступность и быстрые тестирования интерфейса. Но со временем возник новый вопрос: как понять, куда развиваться дальше и как соотнести всё это с OKR и целями продукта, а не с личным энтузиазмом нашей UX-команды?

В этой статье я, Екатерина Бессчётнова, руководитель отдела UX-исследований RuStore, отвечу на этот вопрос и расскажу про следующий шаг — как собрать всё это в осмысленную систему, чтобы: видеть, где UX действительно встроен в ежедневные процессы, а где всё ещё держится на личной инициативе; измерять развитие не кейсами, а наблюдаемым поведением команды; и наконец — связать UX-культуру с продуктовыми и бизнес-целями.

Что же такое UX-зрелость?

Когда исследования проводят не только исследователи — опыт Mail

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели8.9K

Привет, Хабр, как слышно?

Я Эльвира Слободян, аналитик-исследователь в Mail. В последний год я не только провожу исследования сама, но и помогаю с этим продуктовой редакции. За 2025-й мы проверили 23 гипотезы, связанные с текстами. Рассказываю, как пришли к такому результату — как вообще появилась эта инициатива, из чего состоит процесс, в чём плюсы для редакции и что от всего этого получаю я как исследовательница.

Поскольку этот текст был бы невозможен без второй стороны — редакторов, — в нём будет много комментариев от них. А ещё — реальные примеры из нашего опыта совместных исследований.    

Погрузимся в исследования

Как подружить аудиторию старшего поколения с ИИ: результаты исследования

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели8.5K

Привет, Хабр. Меня зовут Екатерина Гражданкина, я аналитик-исследователь в Одноклассниках.

Ежемесячная аудитория ОК достигает 34 млн пользователей в России. Основная аудитория старше 35 лет, и значительную часть из них составляют пользователи старшего поколения. В связи с этим, команде ОК крайне важно развивать соцсеть таким образом, чтобы она была одинаково комфортной для пользователей всех возрастов, особенно для людей старшего поколения, так как зачастую именно им сложнее разбираться в нововведениях в продукте.

Читать далее

Как системному аналитику перейти в дата-аналитику: советы из личного опыта

Время на прочтение13 мин
Охват и читатели9.3K

Рынок вакансий для системных аналитиков меняется. Растет спрос на работу с данными, облачные технологии и инструменты ETL/ELT. Бизнесу нужны специалисты, которые понимают архитектуру хранения данных, знают процессы их преобразования и принципы управления. Но требования в таких вакансиях часто пугают — со стороны это выглядит как другой мир, требующий совершенно новых знаний.

На своем примере перехода из финтеха в data-платформу VK Tech покажу, что все не так страшно. Расскажу, что в профессии системного аналитика остается неизменным, какие есть ключевые концепции и инструменты Data-направления и что на самом деле нужно знать для перехода.

Читать далее

Работаем быстро, храним экономно: в деталях о механизме охлаждения для Tarantool DB 3.0

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели9.3K

Компании ежедневно генерируют большие объемы данных, но далеко не вся информация одинаково важна: со временем многие данные становятся менее востребованными, продолжая занимать дорогие и высокопроизводительные накопители (SSD, RAM). В результате хранение таких «холодных» данных обходится неоправданно дорого, поскольку потребность в постоянном доступе к ним минимальна.

Решение проблемы — технология охлаждения данных, которая предполагает перемещение редко используемой информации на более дешевые и емкие носители, то есть файлы остаются доступными, но перестают нагружать дорогие и быстрые устройства. Именно такой механизм охлаждения данных мы добавили в Tarantool DB 3.0.

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase. В этой статье я расскажу, как именно мы реализовали механизм охлаждения и какие бизнес-выгоды могут получить компании при его использовании.

Читать далее

Миграция высоконагруженной инфраструктуры без даунтайма: технические детали переезда Дзена на видеоплатформу VK

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели6.5K

Привет, Хабр! Меня зовут Влад Почернин, я разработчик в команде видеоформатов Дзена. Сегодня я расскажу, как мы мигрировали контент Дзена на видеоплатформу VK — инфраструктуру, обслуживающую видеоконтент соцплатформ ВКонтакте и Одноклассники, а также видеосервисов VK Видео и VK Клипы.

Читать далее

Кто следит за сторожем? Безопасная архитектура Gatekeeper в Managed Kubernetes

Время на прочтение9 мин
Охват и читатели8.1K

Привет! Меня зовут Александр, я ведущий разработчик VK Tech в коман��е, которая занимается сервисом Kubernetes в нашем публичном облаке. Все чаще провайдеры отказываются от модели, где пользователь получает полный контроль над кластером и всеми управляющими компонентами, в пользу управляемых (managed) решений. В такой архитектуре вы остаетесь администратором внутри своего кластера — создаете неймспейсы, деплоите приложения, настраиваете RBAC, — но инфраструктура, control plane и системные компоненты полностью управляются провайдером и скрыты от глаз пользователя. 

В начале декабря наша команда выпустила новый сервис managed-k8s, в котором как раз реализован такой подход. Я расскажу вам про то, как выглядит наш Kubernetes с точки зрения архитектуры и каким образом Gatekeeper делает архитектуру безопасной.

Читать далее

Препарируем VK Private Cloud: подробнейшие детали из первых уст

Время на прочтение16 мин
Охват и читатели7.3K

Привет, Хабр! У платформы VK Cloud есть продукт, который позволяет компаниям частично или полностью перенести свою инфраструктуру не в публичное, а в частное облако. То есть хранить все в своем ЦОД и под личным контролем — но пользоваться при этом интерфейсом и инструментами, разработанными VK Tech.

В этой статье расскажем, как работает платформа VK Private Cloud и чем на самом деле она отличается от публичного облака. Будет много технических примеров, деталей и конфигураций и минимум общих описаний — только для уточнения нюансов. А также подробности о новой версии 4.3.

Читать далее

IPsec, GRE, BGP и немного автоматизации для высокой доступности вашей сети

Уровень сложностиСложный
Время на прочтение21 мин
Охват и читатели10K

Построение отказоустойчивой гибридной сети между локальной инфраструктурой и облаком — одна из ключевых задач при миграции. Стандартных решений здесь не существует: выбор архитектуры и технологий зависит от требований безопасности, производительности и желания избежать vendor lock-in.

Я хочу показать один из способов решения такой задачи на примере облака VK Cloud с учетом специфики его SDN-сети. Отдельно хочется добавить, что рассматриваемый в статье подход к построению сетевой связности может быть успешно применен не только в VK Cloud.

В основу статьи легли вопросы и задачи, с которыми клиенты часто обращаются к командам Presale архитекторов и Professional services VK Cloud, когда они хотят построить надежное гибридное решение для своего бизнеса.

Мне хотелось написать статью, которая будет не научно-популярным повествованием, а практическим руководством, систематизирующим имеющиеся знания по разным продуктам и сетевым технологиям.

Читать далее

Как свергнуть короля: формула для линейной альтернативы Трансформеру без побочных эффектов

Уровень сложностиСложный
Время на прочтение11 мин
Охват и читатели8.5K

Привет! На связи Андрей Аргаткин, руководитель научной группы исследований эффективных архитектур нейронных сетей ИМШ ВШЭ. Я хочу рассказать о нашем текущем исследовании в рамках совместного образовательного проекта с VK. В ходе исследования мы надеемся выделить волшебную формулу из недавней архитектуры DANet (1, 2) и экстраполировать её на широкий спектр других моделей, что позволит им стать такими же крутыми по качеству, но гораздо более быстрыми и эффективными, чем бессменный король мира нейронных сетей — Трансформер. Эта формула должна избавить от побочных эффектов предыдущих архитектур, пытавшихся стать ему заменой. Но сначала поговорим, зачем всё это вообще нужно.

Читать далее

Как мы улучшили качество сервиса VK Видео на SmartTV

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели7.4K

Видео стало неотъемлемой частью нашей жизни: мы смотрим его на смартфонах, ноутбуках и всё чаще — на телевизорах. Несмотря на то, что видеосервисы традиционно ориентировались на мобильные устройства, за длинным контентом пользователи идут именно на большие экраны, и это подтверждается ростом времени просмотра. Сегодня среднее дневное время смотрения VK Видео на Smart TV достигает 216 минут.

И тут начинается самое интересное: телевизоры — это особый мир со своими капризами и законами. Официальные спецификации обещают поддержку HLS, DASH, 4K, 60 FPS. На практике поддержка функций зависит не столько от новизны модели, сколько от того, как это реализовано у конкретного производителя. В одних устройствах всё работает корректно, в других — частично или вовсе не запускается. Новая модель при этом не всегда гарантирует лучшее воспроизведение видео.

Меня зовут Игорь Горяйнов, я программист в команде веб-технологий Единой видеоплатформы VK. Ниже расскажу, как команда прошла путь от нативных плееров к собственному веб-решению для ТВ, какие задачи пришлось решать и что это дало пользователям.

Читать далее

Датасет VK-LSVD помогает тестировать алгоритмы рекомендаций: сейчас на его базе проходит VK RecSys Challenge

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели6.5K

Сейчас в открытом доступе мало крупных датасетов сервисов коротких видео, но это уникальный формат для рекомендательных алгоритмов. В отличие от музыки или длинных видео они не могут потребляться в фоновом режиме, а каждый показанный ролик получает от пользователя реакцию. Даже если он не оставит лайк, досмотр видео до конца или пропуск уже считаются обратной связью. Именно поэтому мы выложили в открытый доступ датасет VK-LSVD. С его помощью инженеры и ученые смогут развивать и совершенствовать рекомендательные алгоритмы.

Как работать с VK-LSVD

Когда Seq Scan не миновать: Data Skipping в новом колоночном движке Tarantool

Уровень сложностиСложный
Время на прочтение16 мин
Охват и читатели7K

Привет, Хабр! Меня зовут Андрей Саранчин, и я разработчик СУБД Tarantool в VK Tech. Вот уже полтора года мы строим MemCS — новый колоночный движок Tarantool для HTAP. И вот парадокс: даже с индексами иногда не уйти от сплошного прохода таблицы. Поделюсь, почему мы не смогли миновать Sequential Scan и как мы смягчили эту проблему с помощью Data Skipping.

Эта статья написана по мотивам доклада для Saint HighLoad++ и отражает одну из проблем, которую мы затрагивали в этом докладе.

Читать далее

Барьеры в развитии команды

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели7.1K

Привет, Хабр. Меня зовут Алексей Бруевич, и я руковожу продуктовой разработкой Почты Mail. Хочу поделиться своим опытом и наблюдениями о том, с какими барьерами сталкиваются руководители в рамках своей работы. Я управляю командами уже больше 7 лет, и за это время собрал большой опыт и «зоопарк» проблем руководителей, когда заходит вопрос о развитии команды. Считаю, что материал будет полезен всем, кто задумывается о развитии команды и себя. 

Читать далее

Из критиков в проповедники, или как примирить непримиримое

Время на прочтение14 мин
Охват и читатели5.1K

Если бесконечный поиск экспертов, вопросы модерации, метрики и борьба с критиками в профессиональных сообществах звучит как боль — эта статья точно для вас. Сегодня будем мирить, казалось бы, непримиримое.

Привет, Хабр! Я — Таня Дудо, уже очень много лет помогаю людям и командам обмениваться знаниями. Сейчас занимаюсь в VK развитием внутренних профессиональных сообществ, а также обучением, развитием экспертов и культурой HiPro.

В этой статье мы поговорим о том, что такое профессиональные сообщества в VK, кто такие критики, как с ними работать, разберём метрики и один неожиданный инсайт. И конечно, в этом материале по мотивам доклада на KnowledgeConf 2025 будет несколько инструментов от меня.

Читать далее

Как оптимизация перформанса Debezium JDBC Sink Connector помогла улучшить Open-source версию решения

Время на прочтение7 мин
Охват и читатели7.8K

Debezium — популярный фреймворк для Change Data Capture (CDC), позволяющий отслеживать изменения в источниках данных (таких как базы данных) и передавать их в потоковые платформы вроде Apache Kafka. Одним из компонентов Debezium является JDBC Sink Connector, предназначенный для записи данных из Kafka в реляционные базы данных посредством интерфейса Java Database Connectivity (JDBC). 

Debezium JDBC Sink Connector может решать множество задач: от репликации данных между БД и синхронизации обновлений между микросервисами до создания резервных копий данных для целей тестирования или разработки. Мы в VK Tech используем Debezium JDBC sink connector, чтобы строить перформанс-интеграции. Но в нагрузочных тестах столкнулись с проблемой производительности, которая не решалась никакими обходными путями. Поэтому нам пришлось детально погрузиться в нюансы обработки событий в Debezium JDBC connector.

Привет, Хабр. Меня зовут Артём Дубинин. Я старший разработчик Backend в команде Tarantool CDC — решения для репликации данных в реальном времени между системами управления базами данных (СУБД). В этой статье я изложу свою интерпретацию создания Debezium, расскажу о том, как работает Debezium JDBC connector, а также о нашем варианте оптимизации перформанса, который попал в Open-source версию.

Читать далее
1
23 ...

Информация

Сайт
team.vk.company
Дата регистрации
Дата основания
Численность
свыше 10 000 человек
Местоположение
Россия
Представитель
Дмитрий Головин