Обновить
1036.58

Машинное обучение *

Основа искусственного интеллекта

Сначала показывать
Порог рейтинга
Уровень сложности

Гиперсети: нейронные сети для обработки иерархических данных

Время на прочтение21 мин
Охват и читатели5.6K

С точки зрения нейронных сетей мир плоский. Иерархические данные напоминают, что это не так.

Работа нейронных сетей неотделима от допущения, что всего одна функция отображает вводные данные на выходные. Но в реальных условиях данные редко вписываются в такие рамки.

Допустим, есть клиническое исследование, проводимое сразу в нескольких больницах. Лекарство одно и то же, но отличаются популяции пациентов, процедуры и порядок ведения записей. В таких случаях наблюдения группируются в разные датасеты, каждый из которых управляется скрытыми параметрами.

Стандартные нейронные сети в таких условиях жёстко сбоят. Обучите одну модель сразу на всех датасетах — и она расфокусируется из-за различий, станет усреднять функции, которые усреднять не следует. Натренируйте по модели на каждом из датасетов — и получите переобучение, в особенности, если датасеты будут маленькими. Такие обходные манёвры как задействовать статические векторные представления (эмбеддинги) или постоянно наращивать размер сети в сущности не решают ключевую проблему: система запоминает причуды сети, не моделируя её структуру, складывающуюся на уровне датасета. А ведь именно эта структура — залог качественных результатов.

Читать далее

Veai 5.4: изображения в чате, компрессия контекста и до 70% экономии на Anthropic

Время на прочтение3 мин
Охват и читатели6.1K

Новая версия Veai 5.4 (плагин к IntelliJ IDEA со своим AI агентом для написания кода, тестирования и отладки) — это практичные улучшения для повседневной разработки.

Персональные пользователи теперь могут прикладывать изображения прямо в чат (удобно для фронтенда и UI-тестирования), запросы к моделям Anthropic стали до 70% дешевле за счёт улучшенного кэширования, а большие чаты автоматически сжимаются без дополнительных запросов к LLM.

Появились новые сценарии для автоматического разрешения merge-конфликтов и генерации UI-автотестов из мануальных кейсов, а также гибкие механизмы для целей кибербезопасности — глобальные запреты на чтение и редактирование файлов через .readignore и .writeignore.

Дополняют релиз улучшения интерфейса: единый diff нескольких изменений в чате, настраиваемый размер окна ввода, кнопки копирования и оценки ответов агента (👍 👎), а также более заметное оформление пользовательских сообщений.

Читать далее

Вайб-кодинг — это была подстава?

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели15K

«Вайб-кодинг — это кошмар, и я готовлюсь его запретить», — заявил «Клинт», технический директор средней финтех-компании.

И он не шутит.

Во второй половине прошлого года я всё чаще слышал от руководителей технологических компаний, от действующих и бывших разработчиков о том хаосе, в который превратился их роман с ИИ-программированием в корпоративном секторе. Почти всегда этот роман начинался с «вайб-кодинга» — как первый, пробный шаг.

Теперь же эти руководители и разработчики всё откровеннее намекают: вайб-кодинг — всего лишь модное поветрие, а то и маркетинговая уловка, призванная протолкнуть ИИ-инструменты в корпорации. Ведь если искусственный интеллект позволяет кому угодно писать код, на повестке неизбежно возникает вопрос:

«Сколько из этих дорогостоящих программистов нам на самом деле нужно?»

Читать далее

Устойчивость роли в LLM-промпте: О границах промптинга и ролевых моделей

Уровень сложностиПростой
Время на прочтение8 мин
Охват и читатели4.3K

Постоянно сталкиваюсь со статьями, инструкциями, репозиториями промптов, где бесконечно предлагают задавать роль LLM. Наверняка, даже курсы по промпт‑инженерии на этом построили. Однако четкого понимания, как это повлияет на качество ответов и поведение модели, никогда не приводится. Главный тезис: «делай так и будет хорошо!». Хочется ответить: «какие Ваши доказательства!?»

Полагаю, есть два базовых основания для внедрения роли в LLM через промпт:

– создание «личности» доменного специалиста, для доступа к профильным знаниям заданной роли;

– задание паттерна поведения модели через указание «характера» модели, а не явных требований и ограничений на действия.

Если мы зададим «характер» llm через роль, а она не стала умнее или не ведет себя нужным образом — понятно же, что модель «не поняла» роль, а инструкции сформулированы не качественно. Нужно больше инструкций, примеров и конкретики.

Но, в большинстве случаев, это не помогает. И с вашим промптом все в порядке, просто проблема глубже, чем кажется.

Читать далее

Хакнуть ИИ: обзор игры «Защищ[AI]» — киберполигона для изучения промт-инъекций

Время на прочтение9 мин
Охват и читатели10K

ИИ-ассистенты все чаще используются не только как вспомогательные инструменты, но и как часть корпоративных процессов — с доступом к данным, внутренним системам и инфраструктуре. При этом многие защитные решения, которые кажутся надежными, на практике оказываются уязвимыми для промт-инъекций — атак, заставляющих модель раскрывать информацию, которую она не должна выдавать.

Сегодня не существует универсальных методов, полностью исключающих промт-инъекции в LLM. Это делает их источником долгосрочных рисков для организаций, проходящих ИИ-трансформацию. Проблема актуальна не только для IT- и ИБ-специалистов, но и для обычных пользователей. Теория подробно описана, однако без практики ее сложно воспринимать как реальную угрозу.

На связи Андрей Давид, руководитель отдела продуктов клиентской безопасности в Selectel. Под катом разберем, почему такие атаки остаются актуальной угрозой для LLM-приложений и как на практике выглядит их эксплуатация — на примере обучающей игры «Защищ[AI]». Это «интерактивный киберполигон», где можно безопасно попробовать атаковать ИИ-ассистента и увидеть, почему одних «запретов в системном промте» недостаточно.

Под кат!

Нужно ли обучать YOLO с нуля? Практические выводы

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели3.2K

Для меня машинное обучение - это прежде всего экспериментальная наука. Выигрывает не тот, кто придумал самую сложную архитектуру, а тот, кто быстрее проходит итерации (анализирует кривые потерь, меняет гипотезы и снова запускает обучение).

И именно в этой постоянной гонке я всё чаще задаю себе один и тот же вопрос, а нужно ли вообще обучать модель с нуля?

Когда я говорю «обучать с нуля», я имею в виду именно пустые веса. Не fine-tuning и не до обучение, а старт с нулевой инициализацией (PyTorch-модель без пред обученных параметров или YOLO с отключёнными pretrained-весами).

Каждый раз перед началом обучения я задаю себе два простых вопроса: зачем я собираюсь тренировать модель и какая архитектура мне действительно нужна? Если ответы на эти вопросы расплывчатые, есть большой риск просто потратить ресурсы и время, а в итоге получить модель хуже готовых решений. Если же после этих вопросов сама цель становится ясной и обоснованной, тогда стоит двигаться дальше.

Читать далее

От идей к коду: проверяю теорию внимания на практике

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели14K

Всем привет, меня зовут Алекс Гусев. Это третья публикация в линейке (раз, два), посвящённой тому, как меняется работа со знанием в условиях его избытка и почему внимание становится ключевым ограничивающим ресурсом.

В первых двух текстах я рассматривал персональные картины мира, то, как знание встраивается в опыт, роль внимания в этом процессе и в общих чертах затрагивал тему того, как внимание проявляется через поведение пользователей на современных платформах. Основной фокус тогда был на формулировке идей и их обсуждении. В этой статье я продолжаю ту же линию и перехожу к практическому шагу - к проверке этих идей в виде работающего эксперимента.

Читать далее

Ускоряем инференс в Python с ONNX

Время на прочтение7 мин
Охват и читатели11K

Привет! Если у вас когда‑либо был опыт деплоя нейросетки, вы знаете, что обучение — это полдела, а вот добиться шустрого инференса — целое искусство. Часто обученная в PyTorch модель дает замечательные метрики, но стоит попытаться запустить её в приложении начинаются всякие проблемки.

Одно из решений, которое часто выручает — ONNX и ONNX Runtime. Если эти буквы для вас пока ничего не значат — не беда, сейчас разберёмся что к чему. А если вы уже слышали про ONNX, то, возможно, задавались вопросом: «А реально ли ускорить инференс, заморочившись с этой технологией?» Еще как!

Ускорить инференс

Language Dove: как я транскрибирую и перевожу фильмы

Уровень сложностиСредний
Время на прочтение9 мин
Охват и читатели16K

Я обожаю смотреть иностранные фильмы в оригинале.

Во-первых, мне нравится расширять кругозор, погружаться в другую культуру, расшифровывать структуру разных языков, пополнять словарный запас.

Во-вторых, мне просто нравится звучание некоторых языков - например, французского, китайского, датского.

Также я работаю над сайтом по изучению языков Language Dove, а учить языки по фильмам - это очень эффективно.

Так родился проект по генерации идеальных субтитров.

Читать далее

AI-пузырь лопается: как NVIDIA потеряла $500 млрд и при чём здесь Oracle

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели18K

Сначала это случилось с Oracle, теперь пугающе похожее происходит с NVIDIA.

5 февраля стоимость компании упала на $500–600 миллиардов по сравнению с пиком (29 октября 2025). Это уже третье значительное падение за последние шесть месяцев.

Вы думаете, это нормально, потому что акции постоянно растут и падают?

Если да, вы многое упускаете. Это аномалия, и она зловеща. Я объясню почему позже.

Читать далее

LLM‑разметка в поиске: от эксперимента к инструменту

Время на прочтение8 мин
Охват и читатели10K

Привет! Меня зовут Александр Баранов, я аналитик данных в команде поиска Купера. Цель этого рассказа, поделиться наработками в деле оптимизации разметки текстовых данных при помощи большой языковой модели (LLM). Если после прочтения вы захотите что-то добавить или спросить, буду только рад!

Читать далее

Я измерил «личность» 6 open-source LLM (7B-9B), заглянув в их hidden states. Вот что получилось

Уровень сложностиСредний
Время на прочтение7 мин
Охват и читатели9.2K

У LLM есть устойчивый стиль ответов даже без системного промпта. Я построил инструмент, который измеряет этот «характер» через проекции скрытых состояний на 7 контрастных осей (тёплый/холодный, многословный/лаконичный и др.) и протестировал его
на 6 open-weight моделях 7–9B. Главный результат: alignment-тренировка сжимает поведенческое пространство моделей — подавляет оси позиции (уверенность, прямолинейность), сохраняя оси стиля (креативность, многословность). Llama 3.1 8B — самая
ограниченная (4/7 осей в слабой зоне), DeepSeek 7B сохраняет наибольшую независимость осей. Сравнение base vs instruct для 5 организаций подтверждает паттерн. Код и данные открыты.

Читать далее

Как мы учим роботов понимать физический мир: путь от специалистов к генералистам

Время на прочтение7 мин
Охват и читатели8.1K

Мы в Яндекс Роботикс давно умеем обучать роботов передвигаться в пространстве и взаимодействовать с объектами. Но как только задача выходит за пределы заранее запрограммированных действий, роботы пока что оказываются беспомощны. При этом мир устроен так, что нестандартных задач на порядок больше. 

Меня зовут Евгений Михайленко, я руковожу бизнесом и продуктом Physical AI в команде Яндекс Роботикс. В этой статье я разберу, как современные архитектуры и концепт Guidance, который мы объединили с тестом Возняка, помогают преодолеть разрыв между роботами‑специалистами и будущими генералистами.

Читать далее

Ближайшие события

Корпоративная алхимия: как Маск превратил SpaceX в кислородный баллон для xAI

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели5.9K

Новость о том, что SpaceX поглощает xAI для создания, на бумаге, самой дорогой непубличной компании на планете, в очередной раз демонстрирует способность Маска перестраивать свои компании так, что когда одна показывает признаки проблем с финансированием, другая может дать ей кислород, и в процессе передать престиж, нарратив и ключевые мультипликаторы. Fast Company объясняет слияние через призму научной фантастики: размещение дата-центров в космосе для питания их солнечной энергией и охлаждения бесплатно в вакууме, снижая затраты и обходя физические ограничения (электричество, вода, земля, разрешения) Земли. И вдобавок это добавило два весьма земных преимущества: возможность привлекать более сильных специалистов под брендом SpaceX и финансировать ИИ за счёт правительственных контрактов.

Читать далее

Мой локальный агент помнит проект лучше меня. Контекст — 32K токенов. Расскажу, как

Уровень сложностиСредний
Время на прочтение8 мин
Охват и читатели42K

Мой агент на Llama 3.1 8B в третий раз спросил, как меня зовут. Я представился 200 сообщений назад. Контекст переполнился — начало разговора уехало. Большие контексты не спасают: дорого, «Lost in the Middle», локально не влезает. Суммаризация теряет детали. Я сделал по-другому — три типа внешней памяти: Redis для фактов, ChromaDB для семантического поиска, файлы для документов. Контекст маленький, память большая. Внутри — код на Python и грабли, на которые я уже наступил.

Читать далее

Маленький подарок для тех, кто любит «заменять людей ИИ» всегда и везде. Наглядная демонстрация

Время на прочтение2 мин
Охват и читатели6.1K

Дорогие друзья. ИИ заменит нас всех и везде. Люди дорого, и платить им не надо. Нужно заменять всё на ИИ - это дешево и лучше. По крайней мере так утверждает рекламные проспекты продавцов ИИ.

Нет, механизм это неплохой. Но заменить им всёх людей? Да, скажут "бизнесмены". Это ведь ново, модно и круто! А ещё и выгодно

Давайте проверим?

Как не тратить время на провальные A/B-тесты: офлайн-оценка рекомендаций в Звуке

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели5.9K

Идея офлайн-оценки в общем-то не нова, и довольно логична — хочется еще до запуска A/B тестов хотя бы примерно прикинуть, получилось ли у нас улучшить модель рекомендации, или лучше оставить все как есть. Такой подход здорово экономит нервы и ресурсы: повышает шансы на «зеленый» свет в тестах, отсекает заведомо провальные идеи и не заставляет ML-инженеров зря тратить время на решение ненужных инфраструктурных задач.

Меня зовут Рустам Муртазин, я senior аналитик в отделе ML-аналитики (про отдел в целом и наши задачи можно почитать в этой статье) и в этой статье я расскажу про особенности офлайн оценки моделей рекомендаций в музыкальном сервисе Звук.

Читать далее

Google не читает ваши сообщения – федеративное обучение читает. И вот как

Уровень сложностиПростой
Время на прочтение14 мин
Охват и читатели6.9K

Как 750 миллионов человек тренируют ИИ каждый день, не подозревая об этом

Мы когда-то предполагали, что ИИ должен наблюдать за нами, чтобы учиться. Федеративное обучение доказывает обратное – и сегодня мы увидим, как это работает, через простые диаграммы.

Прямо сейчас, пока вы это читаете, клавиатура на вашем смартфоне тихо становится умнее.

Я не сказала "учится", я сказала "становится умнее". Есть разница.

Работающая на ИИ и машинном обучении, клавиатура вашего телефона учится на том, как вы печатаете, отслеживая часто используемые слова, поток предложений и даже эмодзи, которые вы добавляете не задумываясь. Со временем она становится настолько точной, что может предсказать, напечатаете ли вы "Вообще-то" или "кстати", прежде чем вы закончите мысль. Это выходит за рамки простого статистического сопоставления паттернов, которое часто предполагается в таких функциях, как Smart Compose.

А теперь другая часть: Google не имеет доступа к содержанию каких-либо сообщений, которые мы печатаем.

Постойте! Что?

Читать далее

Как я делаю своего голосового AI-ассистента: роботы пишут код и работают, когда я отдыхаю

Время на прочтение10 мин
Охват и читатели9.4K

В этой статье я открою капот своей системы, которая по голосовухе в телеграме сразу делает новые фичи на живых проектах. С появлением LLM я безоговорочно верил в то, что голос станет следующим важным интерфейсом — и вот наконец технологии всех частей достаточно созрели, чтобы собрать своего персонального AI-ассистента, который и код из бара напишет и в пробке за рулем кофеек на маркетплейсе закажет.

Поговорим про целеполагание, архитектуру, ASR, TTS, таск-трекинг, ai-агентов, написание кода ллмками, авто-комиты и пошагово пройдемся по моему end-to-end пайплайну, который себя блестяще показал и выглядит как что-то из фильмов про будущее, которое уже наступило.

Читать далее

Qwen-Image-Layered: будущая замена Photoshop (или нет)

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели12K

Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel. В 2023 году Adobe расширила возможности Photoshop генеративными AI-функциями вроде Generative Fill — они заметно упростили редактирование сцен и отдельных объектов. Параллельно развивались и универсальные модели, работающие с изображениями вне привычных графических редакторов. Так, всего месяцем ранее Alibaba представила Tongyi Qianwen (Qwen) — семейство генеративных моделей, которое со временем вышло далеко за рамки чат-ботов.

Сегодня эти два мира пересекаются еще плотнее. Недавно Alibaba выпустила Qwen-Image-Layered — модель, предназначенную для разбиения изображения на семантические слои. Под катом проверим, насколько хорошо она справляется с этой задачей на практике — на иллюстрациях и фотографиях.

Под кат!