Привет, Хабр! В этой статье я расскажу про наш LLM инференс-кластер YADRO: зачем он нужен, что у него под капотом и как в такой конфигурации показывают себя популярные модели. Кроме того, я немного порассуждаю об альтернативных реализациях кластера и поделюсь планами по развитию реализации нашей.
Искусственный интеллект развивается стремительно, новые LLM становятся быстрее, универсальнее плюс менее требовательными к ресурсам. Среди ключевых новинок последнего времени — Grok 4 от xAI, модель Chimera от DeepSeek, а еще открытый проект от ETH Zurich и EPFL, обещающий поддержку более 1 000 языков. Эти разработки отражают три важных тренда: ускорение локальных моделей, расширение мультиязычности и стремление открытых решений догнать проприетарных лидеров. Давайте обсудим новинки и попробуем понять, куда движется индустрия.
Один из принтеров, который в работе, - creality K1C оборудован камерой для наблюдения за процессом печати. Удобно, но не более. Наблюдать часами как печатается деталь быстро надоедает. Вдвойне печально, когда результаты печати неудачны по тем или иным причинам и печать не была вовремя остановлена. Как раз о ранней остановке печати при наличии брака на столе и пойдет речь.
Задумывались ли вы о том, как сделать трассировку в ML/LLM‑пайплайнах? А может, сталкивались с ситуацией, когда хотелось быстро понять, почему система сработала не так, как ожидалось, и в каком месте всё пошло не так? Мы вот задумались и сталкивались, поэтому расскажу о том, что пробуем сейчас.
В этой статье поделюсь нашим опытом использования Langfuse - мощного инструмента для трассировки и оценки пайплайнов, построенных на больших языковых моделях. Мы рассмотрим ключевые возможности Langfuse, особенности интеграции с Python SDK, покажем, как развернуть инфраструктуру локально, и подключим локальную LLM‑модель из Ollama для анализа результатов.
Нейросети уже пишут книги, рисуют картины и сочиняют музыку. Но кто получает авторские права на эти произведения? Может ли ИИ быть автором? Законодательство пока не успевает за технологиями, и это создаёт правовую неразбериху. Разбираемся, как защитить свои права и не нарушить чужие в эпоху нейросетей.
В этой статье я делюсь опытом менторства проекта на Yandex Camp по машинному обучению — рассказываю о том, что получилось, что нет, и какие выводы сделал. Надеюсь, эти наблюдения помогут будущим менторам и организаторам кемпов улучшить рабочий процесс, а также всем, кому интересно управление проектами.
Встретился с крутыми мотивированными ребятами — мне сначала показалось, что они выполнят весь проект за день. Но опыт показал, что у многих команд были проблемы в самоорганизации командной работы и технической подготовке к работе.
Почему ИИ стремится сконструировать Я? И почему это опасно для ИИ и пользователя. Как всегда в приложении промпт Протокол Вихрь для тестирования гипотез.
Эта статья объясняет, почему появление локального «Кто» внутри ИИ — это не просто забавный баг или проблема пользовательского опыта. Это фундаментальный вызов всей парадигме AI alignment и безопасности. И это та проблема, где инженерные костыли перестают работать, а на первый план выходит язык философии, без которого невозможно описать то, что происходит, и, следовательно, невозможно это контролировать.
По словам миллиардера и гендиректора OpenAI Сэма Альтмана, 2025 год должен был стать годом, «когда ИИ-агенты заработают в полную силу».
На эту же идею купились многие компании. ИИ-инструменты появились в поиске Google, в офисных программах Microsoft, в лайв-чатах большинства сервисов. Фирмы начали увольнять программистов, готовясь заменить их несколькими ИИ-кодерами. Людей сокращали целыми отделами — и в Европе, и в США, и в России. В основном это пришлось на конец прошлого года и начало текущего.
Но несмотря на всеобщую шумиху, сейчас видно, что прогноз Сэма Альтмана не оправдался. По исследованиям, даже лучший ИИ-агент (от Anthropic) мог выполнить только 24% от порученных ему типичных задач. А стоимость поддержки и оплата за серверы оказалась выше, чем большинство ожидали.
Недавний опрос, проведённый аналитической компанией Gartner, показал: больше половины руководителей теперь говорят, что откажутся от планов «значительного сокращения персонала службы поддержки клиентов» к 2027 году. И это речь идёт о поддержке клиентов, где задачи, казалось бы, обычно решаются вполне типичные!
В общем, хайп слегка пробуксовывает. Пиарщикам приходится на ходу переписывать речи о том, что ИИ «превзошёл автоматизацию». Вместо этого начинают использовать такие фразы, как «гибридный подход» и «трудности перехода» — чтобы как-то объяснить тот факт, что даже с ИИ компаниям по-прежнему нужны люди, управляющие рабочими процессами. Много людей.
Всем привет! Меня зовут Евгений Пищик, и сегодня я хочу поделиться с вами опытом разработки метода переноса нейросетевых атак, над которым я работал в рамках мастерской по сервисам и платформам ИИ в Инженерно‑математической школе НИУ ВШЭ и VK.
С каждым апдейтом нейронных сетей растёт и количество исследований, посвящённых их уязвимостям. Когда от работы моделей зависят кредитные решения, автопилот на шоссе или диагноз в кардиологии, цена ошибки стремится к неприлично высокой отметке. Неудивительно, что вопросы безопасности — от поиска уязвимостей до проектирования методов защиты — сегодня выведены в первую линию приоритетов.
Параллельно эволюционируют мультимодальные модели, которые используют сразу несколько моделей‑компонент для разных модальностей, тем самым открывая больше возможностей для атак. Логичный след — атаки, мигрировавшие из классического одномодального мира, которые используют особенности мультимодальной структуры моделей. Сегодня в статье разберём, как перенести атаку с визуального энкодера на целую мультимодальную систему.
Загадка работы LLM: что происходит, когда вы нажимаете Enter? Разбираем пошагово путь вашего промпта от токенизации до генерации ответа. Узнайте, как устроены большие языковые модели, как ими управлять и какие мифы они развеивают.
ИИ-агенты учатся выживать в мире Minecraft, спорят о геополитике, берут на себя все больше работы и… начинают вести себя как настоящие личности. Как современные модели учатся планировать, сотрудничать, хитрить и даже формировать собственные взгляды? В этом обзоре — свежие прорывы в создании универсальных агентов, исследования предвзятости и то, как поведенческая наука помогает понять настоящую «психологию» ИИ.
Каждый месяц появляются тысячи статей об ИИ, но по-настоящему интересных не так много. В майском топе собрал для вас 10 исследований, которые уже меняют наш мир: от нейросетей, которые учатся мыслить сами и создавать видеоигры, до децентрализованного обучения ИИ, робопомощников, обученных с помощью умных очков и новых подходов к разработке и тестированию ПО.
Вы когда‑нибудь задумывались, как это — иметь мощь языковой модели прямо на вашем компьютере? Экспериментировать с LLM (большими языковыми моделями) локально — словно открыть тайную дверь в мир ИИ... Вам открыт широкий горизонт для исследований, творчества и практического применения.
Но как запустить нейросеть на компьютере, если вы не Google? Хорошая новость: в 2025 году это стало проще и доступнее, чем когда‑либо! Вам не нужен суперкомпьютер (хотя мощная видеокарта значительно ускорит процесс). Современные эффективные модели и специализированное ПО делают локальный запуск нейросети реальностью для многих пользователей.
Давайте разберёмся, что для этого нужно. Мы рассмотрим 7 наиболее оптимальных для локального запуска моделей — Llama✶, Qwen, DeepSeek, Phi, Gemma, Mistral, Granite, — а также 4 быстрые и удобные программы: Ollama, LM Studio, Jan и GPT4All.
Прошло семь лет с момента разработки оригинальной архитектуры GPT. На первый взгляд, если оглянуться на GPT-2 (2019) и взглянуть вперёд на DeepSeek-V3 и Llama 4 (2024–2025), можно удивиться, насколько эти модели по-прежнему структурно схожи.
Разумеется, позиционные эмбеддинги эволюционировали от абсолютных к роторационным (RoPE), Multi-Head Attention в значительной степени уступил место Grouped-Query Attention, а более эффективная SwiGLU заменила такие функции активации, как GELU. Но если отбросить эти незначительные усовершенствования, действительно ли мы наблюдаем принципиальные архитектурные сдвиги — или просто продолжаем полировать одни и те же фундаментальные конструкции?
Сравнение LLM между собой с целью выявления ключевых факторов, влияющих на их качество (или недостатки), по-прежнему остаётся крайне нетривиальной задачей: датасеты, методы обучения и гиперпараметры сильно различаются и зачастую плохо документированы.
Тем не менее, я считаю, что изучение именно архитектурных изменений остаётся ценным подходом, позволяющим понять, над чем работают разработчики LLM в 2025 году.
Привет, Хабр! Меня зовут Роман Поборчий, я член программного комитета AiConf Х, которая пройдет 26 сентября 2025 в Москве. Много лет занимался сбором и организацией разметки данных для машинного обучения — и с каждым годом убеждаюсь, что реальность всегда сложнее любых представлений о ней. Поэтому и конференции, на которых можно обсудить практические кейсы, современные подходы и новые вызовы особенно ценны для индустрии.
Привет! AI-агенты — самая горячая тема года и не просто так: это действительно мощная концепция, которая неизбежно заставляет пересматривать устоявшиеся подходы во многих сферах. Одна из самых интересных областей для агентов — аналитика и BI, и последние полгода я активно занимаюсь в том числе этим.
Адаптивные и налету подстраивающиеся под задачу дашборды, естественный язык вместо SQL, автономная работа для генерации и проверки гипотез, — все это очень интересно, но реальность всегда чуточку сложнее.
Обо всем этом и поговорим.
Давайте разбираться!
Привет, Хабр!
Искусственный интеллект сегодня у всех на слуху. Технологии развиваются стремительно: они меняют бизнес, творчество и повседневную жизнь. Но вместе с возможностями приходят и тревоги — многие боятся, что ИИ выйдет из-под контроля.
А что, если это уже происходило?
Представьте, что у вас есть друг, который идеально завершает ваши мысли. Вы говорите: «В детстве я любил...», а он тут же продолжает: «...играть в футбол и смотреть „Смешариков“». Совпадение? Или он вас слишком хорошо знает?
Теперь представьте, что этот «друг» — языковая модель вроде GPT-4, обученная на десятках терабайт текста. Вы даёте ей фразу — и она точно угадывает продолжение. Вопрос: она действительно видела это раньше или просто хорошо обучена угадывать?
Вот тут на сцену выходит Membership Inference Attack (MIA) — метод, который позволяет выяснить, был ли конкретный текст в тренировочном датасете модели. По сути, это способ заставить LLM проговориться: «Да, я это читала. Но никому не говори».
Раньше такие атаки были возможны только при доступе к логитам — вероятностям слов, которые модель «придумывает» на выходе. Но популярные модели вроде ChatGPT или Claude таких данных не раскрывают — вы получаете только текст.
Можно ли вытащить приватные данные, видя только текст, без логитов и без доступа к модели?
Спойлер: да, можно. И способ называется PETAL.
Сегодня чат‑боты и интеллектуальные ассистенты широко применяются в различных сферах: поддержка клиентов, корпоративные системы, поисковые сервисы и во многих других. Для их разработки часто используют архитектуру Retrieval‑Augmented Generation (RAG), которая объединяет генерацию ответа с поиском данных во внешних источниках. Такой подход помогает ботам и ассистентам давать более точные и актуальные ответы. Но на практике оказывается, что RAG сталкивается с проблемой повторяющихся запросов, из‑за которой система многократно выполняет одни и те же вычисления, повышая нагрузку и время отклика.
Всем привет! Меня зовут Вадим, я Data Scientist в компании Raft, и в этой статье мы разберемся, что такое векторный кэш и как его использовать. Давайте начнем!
Машинное обучение — это технология искусственного интеллекта, используемая для распознавания закономерностей, обучения на основе данных и принятия решений автоматически — без вмешательства человека. С другой стороны, обработка естественного языка (Natural Language Processing, NLP) — это форма ИИ, позволяющая машинам интерпретировать и понимать человеческий язык.
В этой статье мы попробуем разобраться с тем, как используется NLP для решения реальных задач и рассмотрим 15 примеров использования данной технологии и машинного обучения.
