Привет! Меня зовут Соня Асанина, я работаю в команде Центра технологий искусственного интеллекта Газпромбанка. В этой статье я расскажу, как тематическое моделирование и мягкая кластеризация помогают нам извлекать ценные инсайты из клиентских отзывов.

Каждый день мы получаем тысячи отзывов от клиентов. В каждом есть информация, которая помогает выявлять проблемы и дает понимание, как улучшать продукты и сервисы. Но часто очень сложно извлечь эти инсайты из огромного потока неструктурированных данных.

К примеру, мы получаем отзыв, в котором клиент недоволен кредитной картой и предлагает что-то изменить в приложении, но при этом выражает благодарность за вежливое обслуживание в отделении. К какой категории отнести отзыв? А если таких смешанных отзывов тысячи — как определить, какие продукты действительно требуют улучшения, а какие работают отлично?

Обрабатывать вручную такой поток сложно. А классические методы анализа часто не справляются с этой задачей, поскольку загоняют многогранные пользовательские отзывы в жесткие рамки одиночных категорий. Расскажу, как мы использовали для этого более гибкие инструменты — тематическое моделирование и мягкую кластеризацию.

Россия начала XX века: с одной стороны — крестьянские телеги, лошадиные упряжки, ухабистые дороги, с другой — автомобильная революция. Инженеры, несмотря на отсутствие инфраструктуры и консервативную реальность, создают первые электромобили, полноприводные машины и спорткары. 

Но много чего идёт не так.

Время дерзких изобретений позади — мешают вычислительные технологии с их точными расчетами, пожирающие остатки наивного оптимизма. Даже столь безумные на первый взгляд проекты, как некроботы, оказываются тщательно просчитаны и максимально утилитарны. 

Прошлое превратилось в кунсткамеру странных изобретений наивных мечтателей в коллаборации с терзаемыми паранойей милитаристами. Но разве это делает путешествие в кунсткамеру скучнее или обнуляет влияние, оказанное на технологическую траекторию движения человечества? Конечно же нет. 

В тексте ниже рассмотрим пять безумных идей, переосмысляющих привычные паттерны передвижения. И их влияние (порой неожиданное) на современные технологические подходы и культуру. Если хотите узнать, кто предвосхитил шагоходы из «Звездных войн» и как моноколесо обросло пулеметом, не переключайтесь.

Привет, Хабр! Меня зовут Андрей Бирюков, я СTO Сервисной цифровой платформы в Газпромбанке. За свою карьеру поработал в нескольких компаниях — от стартапов до крупных корпораций — и видел разные архитектурные подходы.

И вот начала копиться усталость от обсуждения, что использовать  — монолиты или микросервисы. Этот вопрос стал преследовать меня на конференциях, в офисе, в личных сообщениях. Я потратил столько времени на обсуждение этой темы, что иногда хочется просто распечатать какой-нибудь емкий ответ на футболке и ходить в ней на все митапы. 

Шутки шутками, но тема действительно важная. Я прошел путь от классических монолитных приложений до сложных микросервисных, проектировал системы, которые работают под большой нагрузкой, и пришел к выводу, что однозначного ответа здесь не существует. И вообще, «монолит или микросервисы» — это неправильная постановка вопроса. 

Недавно сходил c Витей на запись подкаста на эту тему и настолько преисполнился, что  решил в текстовом виде формализировать свое отношение к теме (я гнался за вами три дня, чтобы сказать, как вы мне безразличны, ага), обобщить то, о чем говорили, и попытаться дать ответ на вопрос «когда микросервисы действительно помогают и как не сойти с ума, если вы с ними работаете». Порассуждаю о проектировании, поддержке, DevOps-культуре и попробую немного заглянуть в микросервисную архитектуру.

Однажды инопланетяне найдут в нашей мусорной куче странно выглядящее устройство на хромированной подставке с надписью PANASONIC TR-005  и будут уверены, что мы пытались с ними связаться. На самом деле TR-005 — это телевизор из 1960-х годов. Сферическое «глазное яблоко» с 5-дюймовым экраном, сошедшее со страниц научной фантастики, заставляет задаться вопросом: как мы докатились от такого буйства форм до безликих черных прямоугольников, висящих сегодня на наших стенах?

Ироничная судьба TR-005 — оказаться одновременно «космическим кораблем» прошлого и музейным экспонатом настоящего — идеально символизирует трансформацию дизайна за последние полвека. Перенесите его в типичную квартиру, и он будет выглядеть как инопланетный артефакт, который археологи будущего откопают в наших культурных слоях и ошибочно классифицируют как «ритуальный объект неизвестного назначения». 

В этой статье вспоминаем самые невероятно выглядящие устройства прошлого века и разбираемся, почему в настоящем больше нет того технодизайнерского безумия, которое застали мы (пусть и частично) и наши родители.

Привет, Хабр! Когда разработчик — это только код? А когда — полный хаос, в котором виноваты дизайнеры, DevOps, тестировщики, кто угодно, но не он? Меня зовут Дарья Корчуганова и я — руководитель команды разработки в Газпромбанк.Тех, IT_ONE. В этой статье на основе моего доклада для FrontendConf поделюсь опытом и размышлениями о том, что и почему должен делать разработчик. Разберём, как избежать фейлов и сэкономить нервы.

Кажется, что работа разработчика проста: пиши код, заливай, жди аппрува. Но потом начинается... Задачу забрал другой? Код не попал на стенд? Билд сломался? Кто виноват? Возможно вам знакомы фразы: «мой код работает, проблема в других», или «пусть тимлид следит за статусом задач», или «тестировать — задача тестеров, я не буду проверять работу кода на стенде», или даже «не собрался билд — это проблемы DevOps», «полетела вёрстка — виноваты дизайнеры».

Что общего у поджаристого стейка, мумифицированного тела и автозагара? А у пармезана, испражнений динозавров, катаракты и темного пива?

Все эти вещи из разных вселенных объединяет одна-единственная, но очень важная для человеческой цивилизации химическая реакция. Еде она придает румяность и приятный вкус, мумии и бледных людей делает загорелыми, скрытые вещи — явными, а древние предметы — хорошо сохранившимися. Это, конечно же, реакция Майяра, открытая в 1912 году французским химиком Луи Камилем Майяром. 

Миру реакция Майяра известна прежде всего тем, что делает еду поджаристой и вкусной. Но на самом деле ее влияние на нашу жизнь гораздо сильнее, а изучение начиналось и вовсе с медицины — с исследования нарушений обмена веществ. В этом тексте мы рассмотрим легендарную реакцию, не ограничиваясь готовкой: с нее начнем, но также уйдем и в другие области и даже затронем гипотезу о влиянии этой реакции на зарождение жизни на Земле. Будет новое и интересное — и полезные лайфхаки тоже будут.

Однажды британский изобретатель Джон Шеперд-Бэррон остался без пинты эля.

Он был крайне зол.

Вечером он решил заскочить в банк снять денег. Но лондонские банки закрываются очень рано (традиция такая), и он пошёл домой трезвым. Лёг в ванну и начал думать.  Видимо, он ещё и очень хотел есть, поэтому думал про автомат с шоколадками, которые в отличие от денег можно было получить круглосуточно.

27 июня 1967 года первый банкомат Шеперда-Бэррона был установлен в стене отделения банка Barclays на севере Лондона. Официально он назывался DACS, но клиенты ласково прозвали его «дыркой в стене» (hole in the wall).

Сначала это был неуклюжий аппарат, который выдавал не больше 10 фунтов стерлингов в день. Этой суммы, кстати, по определению самого Джона, «вполне хватало для неплохой гулянки в выходные».

Сегодня банкоматы — уже не дырки и не в стенах, и они могут вообще не выдавать денег.

Всем привет! Меня зовут Павел, я главный аналитик данных управления подготовки данных Банка.

В этой статье я расскажу, как мы создали самописный инструмент и библиотеку для проверок качества данных, используя только Python и Airflow, и какую пользу это принесло команде.

Вы проснулись в лабиринте однотипных желтых коридоров. Над головой мерцают люминесцентные лампы, в воздухе запах мокрого ковра, а за стенами будто что-то шевелится. Вы идете вперед, но коридоры бесконечны, словно чей-то сломанный алгоритм зациклил вас в этом месте. Нет дверей, нет окон, нет ничего живого, только новые и новые комнаты, похожие друг на друга, но чуть-чуть неправильные. Будто созданные кем-то по памяти.

The Backrooms, или Закулисье, — это пространство без выхода, без логики, без конца. Это не просто крипипаста, а цифровой миф с колоссальным лором, возникший из коллективного сознания. Но что, если это еще и предчувствие будущего?

Сегодня искусственный интеллект учится воссоздавать реальность, но делает это неидеально. Лица людей часто получаются жуткими и искаженными, а текстуры — неестественными. Нейросети генерируют странные, аномальные пространства, где все вроде бы выглядит как надо, но все равно что-то не так. Точно так же, как в Закулисье. Давайте посмотрим, как популярный интернет-феномен смоделировал новую природу страха и какие ужасы научатся создавать машины, о которых мы еще не догадываемся.

Телевизионные 1990-е — это не только «Дисней по пятницам» или «Денди — Новая реальность», это еще и «Подводная одиссея команды Кусто». Влекомые волшебными звуками океана от бродвейского композитора с уютной фамилией Шарф, мы спешили к экрану, чтобы провести час, исследуя глубины и втайне мечтая, чтобы между пальцами выросли перепонки, а горло украсили кружевные жабры. 

Только спустя много лет мы узнали, что строгий, но справедливый старик в красной шапочке — на самом деле такой себе гуманист, калечащий морских обитателей ради хорошего кадра, неверный муж, отец-тиран, судившийся с собственными детьми, ярый антисемит, et cetera, et cetera — обо всем этом нам любезно сообщат СМИ. С грохотом и улюлюканьем свергая кумира с пьедестала, медиа, кажется, совсем обойдут вниманием тот факт, что, помимо киносъемки и абьюза, Кусто занимался строительством первых в мире подводных поселений. 

Именно Кусто осуществил то, о чем мечтали многие до него, — воплотил в реальность подводные жилища, доказал, что в них можно жить и работать, и исследовал, что происходит при этом в организме. Интересно, что тем самым он воплотил в жизнь разработки американской военки — на минуточку, раньше самой этой американской военки (станция Sealab I открылась в 1964-м, когда два проекта Кусто уже состоялись). 

Постарались заполнить досадный информационный пробел. А заодно попытались разобраться, почему подводные деревни сегодня лежат в руинах и есть ли надежда на их воскрешение.

В средневековой Англии для налогового и финансового учёта использовали tally sticks — деревянные палочки-бирки длиной около 20 сантиметров. Ломать их было можно, но терять не рекомендовалось.

Официальным бухгалтерским инструментом их сделал Генрих I в 1100 году. Система успешно проработала более 700 лет, но потом случились XIX век, экономические реформы и прочая индустриализация. В общем, в 1783 году казначейство решило постепенно вывести бирки из оборота, утилизировать их и сосредоточиться на скучных бумажных документах.

До какого-то момента всё шло по плану.

В 2022 году я присоединился к команде Газпромбанка в должности дата-инженера. В мои обязанности входила поддержка витрин данных для машинного обучения. Главной проблемой, с которой мне пришлось столкнуться, оказалось непомерно долгое время обработки данных при использовании устаревших скриптов. Например, расчет среза одной из витрин занимал более суток! Причина крылась в неоптимизированных скриптах, которые изначально разрабатывались для гораздо меньших объемов данных. Со временем объем обрабатываемой информации значительно увеличился, что закономерно привело к драматическому ухудшению производительности. В этой статье поделюсь своим опытом решения проблемы и расскажу о подходах, которые помогли сократить время выполнения с суток до нескольких часов.

9 сентября 1999 года. День X. Сотни тысяч геймеров в США выстраиваются в очереди, чтобы первыми заполучить новую консоль SEGA Dreamcast. Запуск сопровождается громкими обещаниями: это первая приставка нового тысячелетия, это следующее поколение видеоигр, это революция! Dreamcast — это будущее, но… оно длится всего два года. Уже совсем скоро приставка исчезнет с рынка, а компания, ее создавшая, навсегда уйдет из гонки домашних консолей.

По правде говоря, история Dreamcast — это готовый сценарий для HBO: великие амбиции, невероятные инновации, триумф и шокирующий провал. Вспомнаем, как консоль, которая задала тренды следующего десятилетия, привела к краху целой компании? Кто в этом виноват? Какое наследие приставка оставила после себя и какие теории заговора породил?