Привет, Хабр! Меня зовут Андрей Шукшов. Я пишу YNMT в Яндекс R&D — это движок инференса, на котором работают почти все наши большие языковые модели (LLM). Бо́льшую часть времени я пытаюсь понять, почему некоторые вещи работают медленно и как сделать так, чтобы у них это получалось чуточку быстрее.

Если вы запускали локальную LLM, то, возможно, тоже удивлялись: почему железо, способное рендерить фотореалистичные миры в реальном времени, работает в темпе печатной машинки? В своей статье я попробую хотя бы отчасти ответить на этот вопрос. Под микроскопом посмотрим на механизм Attention в режиме генерации (декодирования) и, вооружившись лучшими современными практиками ускорения на GPU, объединим всю математику в один эффективный kernel, который выжмет максимум производительности из имеющегося у нас железа.

В Wordle принято начинать с «хороших» слов – с частыми гласными и согласными. Однако анализ показывает, что менее очевидные варианты иногда дают больше информации. Возникает простой, но неудобный вопрос, можно ли доказать, что одно стартовое слово лучше другого. Краткий ответ – да. Я рассмотрел Wordle как задачу теории информации и количественно оценил каждый ход, используя Excel и официальный словарь игры. Эту статью я публикую в блоге ЛАНИТ, чтобы обсудить полученные результаты с техническим сообществом.

Раньше наш способ собрать данные из всех микросервисов в одно место (в витрину) напоминал копролит (только не древний, а наш собственный ИТ-артефакт). Он был сложный, медленный, постоянно ломался и требовал много ручной работы. Данные размазывались по куче баз данных. Чтобы сделать отчёт или отправить данные во внешнюю систему, надо было собирать их вместе. 

Высока вероятность, что у вас такой же или похожий. Если нет — приходите рассказать «а я же говорил» в комментариях.

Мы тратили время на латание дыр, а не на разработку. В какой-то момент решили, что пора выкинуть этот велосипед и внедрить нормальный, промышленный подход к работе с данными — Data Lakehouse с медальонной архитектурой.

Вы открываете горячую функцию в профилировщике, видите миллионы вызовов, добавляете #[inline(always)]. Бинарник распухает, время сборки подскакивает, а производительность не меняется. Или ваще падает. Проблема не в атрибуте. Проблема в том, что #[inline] делает совсем не то, что подсказывает интуиция.

Представьте, что у вас в руках легендарный, но безнадёжно устаревший актив. 

К концу XIX века Сандуновские бани выглядели как классический спагетти-код. Ветхая застройка, никакой документации плюс «кусочная» система управления: разные зоны отданы разным арендаторам, каждый живёт своей логикой и оптимизирует только свой кусок. 

Перед новыми владельцами встал выбор: поддерживать умирающий проект или всё остановить и переписать систему с нуля. Риск был колоссальным: любая ошибка в расчётах превратила бы главное наследие семьи не в дворец, а в долговую яму.  

Но они выбрали второй вариант.  

Дальше вскрылась проблема нагрузки. Новые бани требовали 20000 вёдер воды в час, а городской водопровод падал по тайм-ауту и блокировал других пользователей. Чтобы уйти от зависимости от внешнего вендора, пришлось строить собственную инфраструктуру — прокладывать водовод от Бабьегорской плотины и бурить скважины. Внедрили тройное резервирование: городская вода + своя труба + скважины. Внутри здания реализовали переход на мазут и установку гигантского теплоаккумулятора (12 тонн чугуна). Топка ночью обеспечивала отдачу тепла днём.

Наконец, пришлось искать новую модель экономики, так как бани окупаются долго.  

Сами бани давали лишь 60% выручки, допмонетизация шла через сервисы аренды жилья, ресторанов и медицины. Главным вызовом стала балансировка продукта: нужно было сделать так, чтобы «бесплатные пользователи» (отделения за пять копеек) не распугали «премиум-подписчиков» (нумерные бани) и при этом инфраструктура выдержала общую нагрузку.  

Оправдан ли был такой риск? История показала, что да.

Платные модели embedding не гарантируют качество на малоресурсных языках. На задаче кроссязыкового сопоставления EPG-заголовков (EN/RU/HY) бесплатная LaBSE набирает R@1 = 0,83, а OpenAI text-embedding-3-large -- 0,21. Протестировано 19 моделей, код и данные открыты.

Если в первой части было много теоретизирования на уровне мотивирующих книжиц, то сейчас будет рассказ про то, как научится творить везде.

Первое, к чему стоит привыкнуть: творить каждый день. Хоть по пять минут, хоть по часу, но творить. Ждать вдохновения не следует. Вдохновение - это для мажоров с большим количеством свободного времени. Придётся выдавливать из себя, по-чеховски, раба по капле. Для этого своё хобби придётся носить с собой в сумке/рюкзаке/клатче/редикюле (нужное подчеркнуть).

Представьте: менеджер по продажам уходит из компании. Уходит со скандалом, забрав часть клиентской базы. Через три месяца он всё ещё состоит в рабочем Telegram-чате отдела, читает обсуждения новых сделок, видит, кто из клиентов недоволен. Использует эту информацию или просто злорадствует — неважно. Важно то, что компания об этом не знает.

В поддержке было 148 инцидентов по одной проблеме, а в бэклоге разработки — всего 3 дефекта.

Для разработки проблема выглядела редкой. Для поддержки — массовой.

Разбираем, почему инциденты не доходят до продукта и как выстроить процесс от обращения пользователя до релиза исправления.

Проект PhotoMentor создавался как ИИ-ментор для фотографов. Механика простая: пользователь загружает снимок, а под капотом Gemini выступает в роли арт-директора — анализирует композицию, работу со светом, цветовую гармонию и выдает детальный фидбек с оценкой.

С главной проблемой Vision-моделей я столкнулся в первый же день закрытых тестов. Я скормил Gemini свой тестовый снимок: крупный портрет собаки, положившей морду на лапы.

Модель уверенно выдала:

Java-разработчики годами жили по принципу «Everything is an object». И всё бы хорошо, если бы за это нам не приходилось платить «налогом на объект»: каждый раз, когда вы создаёте простой класс из двух полей int, JVM бережно дописывает к нему тяжёлый заголовок, упаковывает в ссылку и разбрасывает по куче, заставляя процессор страдать от постоянных промахов кеша.

Мы привыкли к этому компромиссу. Мы научились использовать примитивные коллекции и костыли, чтобы выжать производительность там, где объектная модель Java начинает буксовать. Project Valhalla призван изменить сами правила игры.

Возможно вам знакома ситуация, когда отчеты по SLA 99,9%, заявки закрываются в срок, но при этом пользователи жалуются, что работать невозможно. Показатели в системе и реальность расходятся — это как мерить среднюю температуру по больнице. 

Меня зовут Авдей Мартынович, более 20 лет занимаюсь поддержкой ИТ-инфраструктуры. В статье расскажу, почему классического SLA недостаточно, как мы в ALP ITSM пришли к XLA и что из этого реально работает.

В сообществе часто пишут о том что KV-cache hit rate - один из главных приоритетов при оптимизации стоимости. Manus в той-самой статье про context engineering и своего агента, TikTok в кейсе про оптимизацию AI-агента для тестирования, AiSDR в статье про перестройку шаблонов генерации писем.
Стало интересно стало: а как это считается у MaaS-провайдеров? Я знаком со скидкой за кэш токены, но никогда не садился детально разбирать экономику кэша у OpenAI, Anthropic, Gemini, DeepSeek - с цифрами, сценариями, сравнением.

Сел считать. Первый же результат удивил: два запроса к одной и той же модели с одним и тем же объёмом токенов - разница в цене в 3 раза. Зависит только от того, попали ли токены в кэш.

Про то как KV-кэш устроен внутри - уже хорошо написано на Хабре, ссылки в конце. Здесь только про деньги и токены: как считать реальную стоимость и почему прайс-лист для этого не подходит только прайс-лист.

Привет, Хабр! Меня зовут Виктория Мохирева, я консультант SAP MM. Сегодня расскажу о том, как мы с командой решили колоссальную задачу инвентаризации — пересортицу товаров — с помощью интеграции SAP с большой языковой моделью (ИИ).

Вот как бывает в обыденности магазина: пришёл товар, на учете кружка, а на полке по факту тарелка. Начинается танец с бубном из таблиц, сверка номенклатур и постоянные акты. Чтобы автоматизировать подбор правильных групп для пересортицы, мы написали инструмент, который позволяет общаться с ИИ напрямую из SAP GUI. Решение получилось достаточно компактным и элегантным. А под капотом у нас — архитектура, ключевые куски кода и логика, которые помогли нам превратить «регулярный ручной труд» в интеллектуальный диалог с машиной, и теперь у нас не разрозненная масса товаров, а сформированные по определенным параметрам логичные группы.

Задолго до хакеров и первых строчек кода существовала тайнопись — прародительница современной информационной безопасности. В новом цикле статей мы проследим эволюцию шифров: от узелков инков и верительных бирок древнего Китая до сложных алгоритмов, защищающих наши данные. Первая статья — об истоках криптографии и тех, кто незаслуженно остался в тени.

Вопреки всем ограничениям, макроэкономика российского геймедва потихоньку складывается – мы находимся на этапе, когда есть люди, идеи и спрос. Сейчас стоимость разработки в России примерно в пять раз дешевле, чем в Америке. Индустрия становится «новой нефтью» – самое время начать инвестировать и двигать рынок вперед. 

Сегодня я попробую приоткрыть завесу тайны, которая покрывает инвестиции в видеоигры, исходя из своего личного опыта.

ВНИМАНИЕ – в статье самые азы!

Если вы уже имели опыт в инвестициях, то ничего нового, кроме специфики видеоигрового рынка, не узнаете. Но для тех, кому это все в новинку, она может стать отправной точкой и своеобразным гайдом – он будет полезен не только инвесторам, но и студиям, которые хотят привлечь к своему проекту финансирование. 

Космическое производство лекарств (космическая фармацевтика) — это создание медицинских препаратов в условиях микрогравитации на орбите Земли. Производство лекарств в космосе даст возможность получить вещества, которые очень сложно или невозможно создавать на поверхности Земли. В условиях невесомости (микрогравитации) подавляются гравитационные движения, связанные с перепадами температуры и концентрации. Так, исключение конвекции в расплаве ведет к стабилизации температурного поля, уменьшению макро- и микросегрегации, возрастанию устойчивости плоского фронта кристаллизации, в связи с чем может быть достигнуто существенное улучшение показателей совершенства материалов: снижена плотность структурных дефектов, более однородным может стать распределение примесей, улучшится дисперсность структуры, могут образоваться новые фазы с полезными свойствами и т.д. 

О них сегодня мы и поговорим.

«Все крупные корпорации и социальные сети уже давно хотят помечать контент, созданный искусственным интеллектом, отдельным специальным признаком. Безусловно, можно говорить о том, что это делается ради заботы о пользователях — чтобы люди не сидели бесконечно и не потребляли абсолютно одинаковый контент. Но у этой инициативы есть и совершенно эгоистичные цели: платформам жизненно необходимо физически отделить контент, созданный живыми людьми, от материалов, сгенерированных нейросетями».

Привет, Хабр! Я Александр, работаю в Центре компетенции аналитики в команде РСХБ.Цифра. Мы отвечаем не только за реализацию конкретных функций, но и за развитие методологий и подходов, которые помогают командам банка работать более эффективно над продуктом «Свои финансы». В этом материале поделюсь мыслями о том, как строить карьеру системного аналитика в банковской сфере, дам практические рекомендации новичкам и тем, кто только задумывается о карьере в этой области.  

Начало - Мы там, где наше внимание. Часть #01.

Знакомая большинству (или – всем?) ситуация: среди белого дня или на ночь глядя всплывает из горячих слоёв памяти обидная история из прошлого – пятилетней давности, а может, даже из самого раннего детства, из песочницы.

И всё, день померк, а предвкушаемый сон тут же сошёл, вместо этого перед глазами – обидчик, а в голове – недосказанные тогда слова. У девушек могут сами собой политься слёзы, а у мужчин – сжаться кулаки.