Обновить
46.54

Natural Language Processing *

Компьютерный анализ и синтез естественных языков

Сначала показывать
Порог рейтинга
Уровень сложности

Лоботомия нейросети: удалил 7 слоёв из LLM — она стала на 30% быстрее

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели10K

Эксперимент по хирургическому удалению слоёв из языковой модели

Современные LLM переобучены — многие слои делают одно и то же. Я проверил эту гипотезу на практике: взял TinyLlama (1.1B параметров, 22 слоя) и измерил, как удаление каждого слоя влияет на perplexity.

Результаты:
• Удаление 1 среднего слоя: +10% скорость, -4% качество
• Удаление 7 «безопасных» слоёв: +32% скорость, -2.5% качество
• Удаление первого слоя: модель полностью ломается

Неожиданно: Layer 2 важнее Layer 0 (perplexity +6.67 vs +3.92 при удалении).

Статья с кодом на PyTorch, графиками и практическими рекомендациями — какие слои можно удалять для ускорения инференса.

Читать далее

Новости

Создаём и внедряем ИИ-стилиста для интернет-магазина

Уровень сложностиПростой
Время на прочтение13 мин
Охват и читатели5.3K

Недавно я решал задачу, которая знакома почти любому e-commerce: как поднять конверсию и апсейл вмагазине, где по бенчмаркам все и так «нормально».

Ограничение было простое: решение должно быть на базе ИИ. Мне было важно не «прикрутить чатик», а проверить, насколько зрелы ИИ‑агенты для продакшна, когда они работают с реальными данными, ограничениями и метриками.

Сразу обозначу рамки. Это не статья про то, как увеличить маркетинговый бюджет, переделать витрину или заняться дисраптом. Здесь ровно один фокус: может ли AI‑агент улучшить ключевые метрики: конверсию, средний чек и удержание, в классическом fashion e‑commerce.

Перед тем как строить решение, я разложил клиентский путь на этапы и посмотрел, где теряется конверсия. Самый болезненный участок оказался предсказуемым: переход из карточки товара в корзину. На этом шаге у клиента чаще всего включаются сомнения, размер, посадка, материал, и «с чем это носить». Про конкретный магазин не пишу по понятным причинам.

Читать далее

Как заработать на LLM, перестав писать «правильные промпты»

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели17K

В этой статье я бросаю вызов общепринятому представлению о больших языковых моделях как о «тупых исполнителях», которые ничего не понимают, галлюционируют, но позволяют получить результат быстрее (нередко за счет качества).

Подобные мифы активно распространяются в сети, а также на курсах, на которых обучают «правильно» писать промпты.

Я на Хабре уже написал несколько статей, разоблачающих отсутствие мышления у LLM, но здесь я опишу способность больших языковых моделей решать задачи, людям недоступные. Из этой статьи вы узнаете, как на самом деле надо использовать нейронки, чтобы получать максимальную пользу от них.

Читать далее

Наш синтез для 20 языков теперь работает локально под Windows как экранная читалка (SAPI5) и в Балаболке

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели12K

Всё шло к этому. Мы решили задачу омографов в русском языке (мы уже готовим большое расширение). Мы попробовали насколько это физически возможно решить задачу ударения хотя бы для славянских языков (мы уже опубликовали модели-акценторы для русского, украинского и белорусского языков). Мы опубликовали синтез для 20 языков России и стран СНГ.

Вы уже много раз упоминали, что неплохо бы завезти наш синтез в SAPI5-интерфейс. Звёзды сошлись, нам написал разработчик, который занимается разработкой таких интерфейсов для Windows и всё завертелось.

Теперь пришло время попробовать соединить это всё воедино в виде SAPI5-интерфейса для синтеза для Windows. Основная фишка тут получается в том, что наш синтез настолько быстрый, что его можно использовать как локальный синтез в Windows на CPU, так и как экранную читалку. И да, вы верно всё поняли. Это также значит, что оно из коробки будет работать с Балаболкой и другими подобными программами (и не будет требовать GPU).

Да, это только первый, по сути пробный, релиз нашего интерфейса. Будем признательны вам за обратную связь и комментарии. Мы сильно хотели успеть к новому году и сделать всем небольшой новогодний подарок! Надеюсь, что комьюнити оценит.

Протестируем!

Сделай бота для работы

Уровень сложностиСредний
Время на прочтение20 мин
Охват и читатели13K

Согласно Hype Cycle от Gartner за 2025 год, AI-агенты достигли пика завышенных ожиданий. Но что скрывается за хайпом с технической точки зрения? Самое время разобраться, чтобы не ждать от технологии чудес, а использовать её по назначению.

В статье объединим теорию и практику построения AI-агентов. Сначала разберем ключевые концепции: цикл Perception-Reasoning-Action, модель PEAS (Performance, Environment, Actuators, Sensors), уровни автономии. А затем, опираясь на эти принципы, построим работающего AI-агента 3-го уровня автономии. Наш технологический стек: 

- Оркестратор n8n;

- LLM через агрегатор OpenRouter;

- Telegram в качестве пользовательского интерфейса.

Читать далее

Как подключить нейросеть и MCP-сервер к VS Code

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели8K

В этой статье мы рассмотрим, как использовать нейросети для описания кода через VS Code и как вносить изменения в описание в репозитории с помощью MCP-сервера GitHub.

Читать далее

Как создать переводчик для низкоресурсного языка: практическое руководство

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели9.9K

Привет, Хабр! В продолжение моей предыдущей статьи о локальном переводчике на кабардинском языке хочу поделиться практическим опытом обучения моделей машинного перевода для низкоресурсных языков. Расскажу о том, с какими проблемами я столкнулся, как их решал, и покажу конкретный код, который помог улучшить качество перевода с BLEU 8 до 28 пунктов.

Читать далее

От текста к токенам: как работают пайплайны токенизации

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели5.4K

Команда AI for Devs подготовила перевод статьи о том, как поисковые системы превращают обычный текст в токены и почему этот процесс важнее, чем кажется. Разбираем каждый этап: нормализацию, токенизацию, стоп-слова, стемминг и то, как всё это влияет на качество поиска.

Читать далее

Метрики для задач NLP. Часть 1. Классификация, NER, Кластеризация

Уровень сложностиСредний
Время на прочтение25 мин
Охват и читатели8.9K

В этой статье будет рассказано о популярных метриках для NLP-задач: классификации текста, NER и кластеризации. Рассказ будет сопровождаться визуализацией, примерами и кодом на Python.

🔥 Начинаем 🔥

Чем же типичный заметковед занимается, когда работает со своими записями? Типизация деятельности заметковеда

Уровень сложностиСредний
Время на прочтение11 мин
Охват и читатели5.1K

Где-то с месяц я вынашиваю план исследования, с помощью которого хочу оценить эффект практики заметковедения на профессиональную и личную деятельность человека. И каждый раз, как я подходил к этому «снаряду», люди, чье мнение имеет значение, задавали мне вопрос: а что такое заметковедение?

Всякая попытка объяснить разбивалась о стену непонимания. Мои собеседники своими вопросами и комментариями демонстрировали растерянность. В конечном итоге говорили, что им непонятно, и мне приходилось думать дальше. В попытке разобраться, что же такое заметковедение, я изучал свои записи, которых очень много в моей базе, спрашивал участников нашего сообщества, разговаривал с профессионалами из разных областей.

Каждый человек, когда я интересовался у него относительно того, как он ведет свои личные и профессиональные записи, отвечая, описывал технические особенности приложений и сервисов, или начинал душнить[^1], или говорил, что он записывает в приложении и «потом» разбирает, без уточнения, что значит «разбирает» и когда это «потом» наступает.

В общем, мне показалось, что имеется очевидная проблема с операционализацией понятия «заметковедение», как, собственно, и задачеделания, и творчества, и любого иного «сложного слова», требующего интерпретации. Тем не менее я не прекращал поиска определения заметковедению, однако найти формулировку, которая вбирала бы весь спектр заметковедческой деятельности, не получалось.

В какой-то момент мне подсказали, что можно сделать, а именно объяснили, как операционализировать понятие «заметковедение», спросив, что люди делают, когда им приходит идея, попросив описать то, как они «потом» разбирают свои записи, и что происходит при процессе «вдумчивого» обучения.

Читать далее

Сравнил тоже! Нашел на Python разницу между «Бородино» и «Ледовым побоищем»

Уровень сложностиПростой
Время на прочтение4 мин
Охват и читатели11K

С помощью предобученной мультиязычной модели LaBSE и методов снижения размерности выяснил, что поэмы Лермонтова и Симонова, несмотря на столетнюю дистанцию, семантически близки. Подтвердил гипотезу, что русская патриотическая поэзия сохраняет устойчивое смысловое ядро, даже когда меняется стиль и идеология.

Читать далее

Проектируем ИИ-агента для конкурентного анализа

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели9.2K

ИИ-агент для продакт-менеджеров, маркетологов, дизайнеров, исследователей, плюс шаблон n8n.

В этой статье поделюсь опытом создания AI Agent Copilot, это помощник, который экономит до 10 часов и забирает часть дискавери и превращает хаос из вкладок, заметок и скриншотов в понятный результат, который можно сразу обсуждать с командой.

Читать далее

Андрей Карпаты: итоги LLM-экосистемы за 2025 год

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели7.8K

Команда AI for Devs подготовила перевод обзорной статьи о ключевых сдвигах в развитии LLM в 2025 году. Андрей разбирает, почему Reinforcement Learning from Verifiable Rewards стал новой базовой стадией обучения, откуда взялся «рваный интеллект», как появился новый слой LLM-приложений и почему ИИ всё чаще «живёт» прямо на компьютере разработчика.

Читать далее

Ближайшие события

Виды Structured Output и способы их реализации

Время на прочтение7 мин
Охват и читатели10K

Structured Output это способ “заставить” LLM отвечать в строго заданном формате. Есть несколько вариантов добиться этого и есть много библиотек реализующие эти варианты. В данный статье рассмотрим основные из них...

Мои курсы: Разработка LLM с нуля | Алгоритмы Машинного обучения с нуля

Читать далее

Prompt Caching: токены LLM в 10 раз дешевле — но за счёт чего?

Уровень сложностиСредний
Время на прочтение15 мин
Охват и читатели11K

Команда AI for Devs подготовила перевод и разбор статьи о Prompt Caching — технологии, которая делает входные токены LLM в разы дешевле и заметно снижает задержки. Внутри — подробное объяснение, что именно кэшируют OpenAI и Anthropic, как KV-кэш связан с attention в трансформерах и почему это не имеет ничего общего с повторным использованием ответов.

Читать далее

GigaEvo — эволюционный фреймворк для автоматизации ML и LLM-ориентированных задач

Уровень сложностиСредний
Время на прочтение21 мин
Охват и читатели6.7K

Привет, Хабр!

Этой осенью Google порадовали нас релизом AlphaEvolve — фреймворка, который комбинирует способности LLM к написанию кода с эволюционным подходом к вычислению. Новый метод доказал свою эффективность на сложных алгоритмических или математических задачах, но, как это часто бывает у таких компаний, технические детали AlphaEvolve остаются коммерческой тайной. Тогда мы в AIRI решили создать свой фреймворк. 

Так усилиями научной группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный искусственный интеллект в медицине», научной группы «Генеративное проектирование» лаборатории FusionBrain, лаборатории «Доверенные и безопасные интеллектуальные системы» и отдела научно‑технической разработки увидел свет GigaEvo — эволюционный фреймворк для автоматизации ML и LLM‑ориентированных задач, который мы представили в ноябре на AIJ и чей код выложили на GitHub

Здесь хотелось бы рассказать о нём подробнее, описать его внутреннее устройство и дать рекомендации к использованию.

Читать далее

Как превратить сценарного чат-бота в умного бота на основе ИИ

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели5.4K

Привет, Хабр! На связи Иван Жирнов и Степан Рыбалов, тимлид и QA группы разработки чат-ботов в компании «Передовые Платежные Решения». В работе мы используем чат-боты собственной разработки. До AI-революции чат-боты были сценарные и весьма ограниченные. С нейросетями же их возможности стали головокружительно шире. В этой статье мы расскажем о том, как и зачем перешли на чат-ботов с ИИ, чтобы наш опыт мог помочь в проекте и вам.

Ежемесячно клиенты генерируют более 73 тысяч диалогов в текстовых ботах, и более 92% этих диалогов обрабатывается без участия человека — в чатах, мобильном приложении и личном кабинете. Голосовой чат-бот на горячей линии получает в месяц более 15 тысяч звонков, и здесь автоматизация достигает 20–30%. Именно голосовой бот навел нас на мысли об ИИ: здесь вопросы обычно оказывались сложнее и индивидуальнее.

Обсуждать переход мы начали в четвертом квартале 2024 года. Нас привлекла возможность LLM решать комплексные вопросы из одного запроса клиента. Сценарный бот же реагирует только на одну команду за раз, выдает целый список возможных связанных вопросов, из которых пользователю снова приходится выбирать. Потом, вероятно, выбирать еще и еще… так что терпения хватает не у всех. Тогда клиент в лучшем случае обращается к голосовому боту или попадает к оператору поддержки.

GPT же может сможет понять контекст, разбить сложный вопрос на несколько простых и собрать полноценный ответ.

Читать далее

Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей

Уровень сложностиСредний
Время на прочтение18 мин
Охват и читатели8.9K

Архитектура трансформера и его сердце механизм внимания уже давно стали базой собесов на NLP, LLM и даже CV. В работе трансформеры тоже доминируют. Именно поэтому очень важно до деталей разбираться в том, как они устрены, из каких частей состоят, как работают и где применяются на практике.

Разберем архитектуру по слоям с примерами кода и большим количеством картинок и схем.

Читать далее

Как поднять точность RAG-агента: чек-лист и инструменты. Часть 2. Финал

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели9.8K

В первой части я разбирал архитектуру AI-агента, выбор между RAG и GraphRAG на примере AI-юриста для техподдержки. Если пропустили – https://habr.com/ru/articles/975230/

Во второй части решил уделить внимание тому, как добиться нормального качества поиска и точности ответов. Чтобы AI‑агент не остался в песочнице и не превратился в очередной эксперимент «мы попробовали, не взлетело».

Надеюсь мой опыт будет полезен и вы сэкономите себе деньги, нервы и время. А может быть и вовсе откажетесь от идеи создания агента — это тоже нормальный исход.

Я уже писал про чанки, RAGAS, бенчмарки и инструменты отслеживания качества. Сегодня остановимся детально на каждом артефакте, расскажу плюсы и минусы, и почему именно их я использовал для AI‑юриста. Погнали

Читать далее

Проблемы и подходы к нормализации НСИ

Время на прочтение13 мин
Охват и читатели5.6K

Нормативно‑справочная информация (НСИ) — это язык предприятий. Через наименования, коды и атрибуты описываются материалы, оборудование, комплектующие, инструменты — все, что используется в производстве, логистике, закупках, эксплуатации и ремонте. Именно НСИ обеспечивает согласованность ERP, MDM, BI и десятков других систем.

Однако на практике справочники редко бывают в порядке: в них копятся ошибки, дубли, разнородность описаний, несогласованность между системами. Для крупных предприятий эта проблема становится системной и дорогостоящей — не только в ИТ, но и в операционной эффективности бизнеса.

Меня зовут Дмитрий Романов, управляющий директор «Преферентум» (кластер SL Soft AI). В этой статье поделюсь, почему именно справочники материально‑технических ресурсов (МТР) превращаются в точку боли, почему «ручные чистки» и классические MDM‑подходы не помогают, и какие технологические решения действительно работают.

Читать далее
1
23 ...

Вклад авторов