Natural Language Processing *

Расскажу историю длиною в полгода, на которой прекрасно прочувствовал все прелести современных инструментов и способов эксплуатации llm.

Идея до жути простая и наверняка встречалась или приходила в голову очень многим, кто начинал задумываться об использовании llm api или после знакомства с rag. В августе 2025 года папа предложил мне создать хороший поисковик-анализатор новостей: ты даешь ему список источников и пожелания того, что хочешь увидеть в ответе, он тебе присылает в выбранный интервал сводку с источниками и отвечает на твои вопросы. Казалось бы, классическая задача чтобы показать всем удачное применение rag, словить аплодисменты и разойтись. Так показалось и мне, и я буквально за 1-2 месяца работая в свободное время собрал вполне достойный прототип. Он умел хорошо искать семантически, просить llm сформировать ответ на основе найденных постов и даже помогал их открывать. В мыслях салюты, шампанское и ai единороги.

Но реальность

Довольно быстро на самотестировании я нашел два серьезных упущения: первое - сложный запрос для такой системы оставался недопустимой роскошью: попытка найти “причины шатдауна правительства США” в лучшем случае приводила меня к заголовкам про Трампа и что-то там про переговоры, а иногда и вовсе такого рода запросы не давали никакой выборки по базе; второй серьезной проблемой стало абсолютное непонимание предметной области, если того же Трампа вектора в базе еще ставят в один ряд с Америкой и политикой, то вот ЦБ РФ может запросто восприниматься как Россия или вообще непонятная модели сущность, а может вообще трактоваться как два отдельных слова. В целом обе эти неприятности подсвечивают один известный изъян всей системы - слишком большое доверие к семантической схожести и вытекающие из нее проблемы: размытие смысла на длинных запросах, непредсказуемое поведение имен собственных, поиск связей по частотному сходству, а не смыслу.

О grammar constraints, валидном JSON и ошибочном понимании языка

Кажется, что разговор о формальных грамматиках в LLM - это узкая инженерная тема для тех, кто заставляет модель соблюдать формат ответа. Но вокруг этого частного приема все чаще вырастает более сильный тезис: будто ограничение генерации не просто делает вывод надежнее, а подводит модель ближе к смыслу, пониманию и даже к самой природе языка. Именно в этот момент технический разговор перестает быть только инженерным.

В Veai мы регулярно тестируем и сравниваем модели, которые доступны у нас в плагине. Каждая модель, которую мы добавляем проходит через наш собственный бенчмарк, прежде чем попасть в продакшн. Недавно тестированию подверглись GLM 5.1 и DeepSeek V3.2. Делимся результатами.

Привет! Меня зовут Женя Андриевская. Я — NLP-инженер в лаборатории R&D red_mad_robot. Сегодня расскажу, как мы призвали на помощь эволюцию, чтобы улучшить качество данных в задачах классификации текстов. Да-да, ту самую эволюцию, с мутациями и скрещиваниями — только в мире данных, промптов и LLM.

Большинство существующих AutoML-библиотек либо не поддерживают обучение моделей для понимания естественного языка (Natural Language Understanding, или NLU) из коробки, либо не умеют обучать хорошие out of scope детекторы, либо неудобны и требуют расширенной экспертизы для использования.  

Для того чтобы решить эти проблемы, мы в MWS AI разработали OpenAutoNLU — опенсорс-библиотеку для NLU, включающую диагностику качества данных, гибко настраиваемый пайплайн обучения модуля фильтра запросов, которые не относятся ни к одному из известных текстовых классификаторов меток OOD, и функции LLM. Делимся ей на GitHub. 

Под катом разберу, как устроен фреймворк, за счет чего он работает с минимальным вмешательством разработчика и какие результаты уже есть.

Основные игроки рынка GenAI совершили фундаментальную продуктовую ошибку. Продавая доступ к API разработчикам, они одновременно копируют лучшие сторонние юзкейсы в свои подписочные продукты - и тем самым каннибализируют собственный API-бизнес и душат конкуренцию на рынке. В статье разбираю, почему текущая двойная модель монетизации (подписка + pay-as-you-go) вредит индустрии, и выдвигаю гипотезу: за токены должен платить пользователь, а не разработчик. Объясняю, как такой сдвиг вернул бы рынку здоровую конкуренцию и дал бы шанс соло-фаундерам и небольшим командам.

В первой статье мы протестировали 30 нейросетей на задачах российских учителей — российские модели оказались последними. На 9 месте стоит наша: дообученная Qwen3.5-27B за 30 000 рублей, работающая локально, на уровне GPT-5.4 на образовательных задачах. Рассказываем, как сделали — включая провал 32B-версии.

Когда AI-агент пишет код в пустом проекте, первые 30-40% токенов он тратит на ориентацию — читает README, туториалы, API-reference. Ни один формат не отвечает на главный его вопрос: “какой паттерн скопировать и где грабли?”

Вторая проблема глубже: LLM знает “всё на свете”, но распределено это неравномерно. Статей пятилетней давности в интернете больше, чем свежих — и агент по умолчанию тянет меня в прошлое, предлагая устаревшие рецепты. Каждый раз гонять deep research — дорого, и результат всё равно испаряется с сессией.

Happyin Knowledge Space — 785 статей в 26 доменах, под MIT. Reference cards, не туториалы. Граф wiki-ссылок вместо vector DB. llms.txt на шести языках. Пишется по результатам моих реальных ресерчей — каждый deep research теперь становится карточкой в базе и не испаряется. Локально разворачивается за 5 минут, работает без серверов и без embedding-моделей.

Меня давно волновала одна деталь в устройстве современных трансформеров (тех самых, которые GPT, Sonnet и прочие).

Механизм внимания всегда работает только назад. От многих экспертов (включая курс Эндрю Ына на Курсере) я слышал такое объяснение: Слово не может ссылаться на слова, которые оно ещё не знает. Назвается это казуальностью (причинностью).

Но ведь в предложении “Зелёное яблоко лежит на столе” слово зелёное уже знает про слово “яблоко”, но не может на него сослаться. Непонятно

Провёл небольшой эксперимент и подключил нечеловеческий мозг.

Привет, Хабр! Меня зовут Владимир Никулин, я технический лидер команды продуктивизации нейросетевых решений в MWS AI. Мы развиваем платформу синтеза и распознавания речи Audiogram, которая, в свою очередь, является частью еще более масштабной платформы для создания ИИ-агентов — MWS AI Agents Platform.

Часто нашим заказчикам нужно компактное коробочное решение, которое можно запустить на CPU при отсутствии GPU или для простой экономии ресурсов. В этом материале по следам своего же доклада на AiConf на примере нашего модуля автоматического распознавания речи (Automatic Speech Recognition или кратко — ASR) я расскажу:

- как мы продуктивизировали модели на CPU, сохраняя качество (WER), сопоставимое с моделями, развернутыми в GPU-кластерах;

- какие подходы для сравнения по производительности и качеству использовали, чтобы не попасть в ловушку усреднения метрик;

- с какими неожиданностями мы столкнулись при смене версий Triton Inference Server и бэкендов (ONNX, OpenVINO).

Дело было так. Я года полтора-два сижу в профильных телеграм-чатах про всякие эйяй – там разрабы, копирайтеры, редакторы, вайбкодеры и вайбкуколдеры (это кто смотрит, как другие вайбкодят, а у самого руки не доходят). Народ там не на трибуне выступает, скорее говорит, что на сердце, так что читать чистый кайф. Особенно, как они ссорятся с нейронками и потом в чат на них жалуются. И одни и те же жалобы у самых разных людей на разные модели.

В мире строительства и дизайна интерьеров работу по подбору мебели из каталога, имея на руках чертеж, до сих пор делают вручную: специалисты часами листают каталоги, сверяют размеры и характеристики. Эта рутина отнимает десятки человеко-часов на каждый проект.

Мы нашли, как автоматизировать подбор мебели по архитектурным чертежам. В этой статье мы рассказали, как построили AI-систему с несколькими моделями и Gemini во главе, а также семантическим поиском по каталогу. Расскажем, как нам удалось достичь точности рекомендаций в 87%.

Привет, Хабр! Я — Андрей Москаленко, научный сотрудник лаборатории FusionBrain, AIRI, занимаюсь компьютерным зрением. В конце марта я оказался на своей первой конференции по NLP — EACL 2026. В этом году она впервые проходила в необычном для европейской конференции месте, а именно в Марокко, в Африке. Из нашей команды FusionBrain.Robotics со мной было двое коллег, с которыми мы представляли две статьи, написанные в соавторстве с командой «Прикладное NLP» AIRI.

Конференция проходила с 24 по 29 марта — четыре основных дня и два дня воркшопов. Поездка получилась очень насыщенной и по науке, и по нетворкингу, поэтому хочу поделиться своими впечатлениями!

Привет! Меня зовут Марк Каширский, я работаю DS-инженером в команде LLM Авито. Создаю инструменты для разработчиков, чтобы им было легче и удобнее работать. В статье рассказываю, как мы автоматизировали процесс Code review при помощи больших языковых моделей.

Как Пастернак призывал весну и какие интересные лексические средства использовал для выражения этого ожидания. С помощью Python раскрываю скрытые паттерны в стихотворении Бориса Пастернака

Привет, Хабр! На сегодняшний день большинство из нас пользуется инструментами искусственного интеллекта и иногда могут даже не знать об этом. Но задумывались ли вы, что такое ИИ? Многие знают термин "нейросети" и часто приравнивают его к ИИ, но это не так. Нейросети – это одна из разновидностей ИИ, о которых я расскажу в этой статье.

Прежде чем начать разбираться в том, как работают разные ИИ, и какие они вообще бывают, давайте разберемся, что вообще такое искусственный интеллект. Для начала, давайте определимся с основными понятиями.

"Техническая интеллектуальная система – система, обладающая интеллектом". Но что же такое этот ваш интеллект? Ответ можно сформулировать по-разному, но самым обобщенным будет что-то вроде этого: "Интеллект – способность решать поставленные задачи, учитывая внешние факторы".

Исходя из этих определений, мы можем сказать, что "Искусственный интеллект – техническая система, способная решать поставленные задачи, адаптируясь под внешние факторы".

То есть искусственным интеллектом можно назвать любую программу, которая может решать задачи определенного вида?

Почти. ИИ должен иметь возможность обучаться. Обучение – это возможность решать задачи нового типа (которые изначально модель решать не могла), путем добавления новых знаний без переписывания исходного кода. ИИ может быть обучаемым и самообучаемым. Обучаемому нужно давать знания вручную, а самообучаемый может найти их сам в данной ему подборке или при помощи интернета.

Но почему я говорю про какие-то знания, если обычно в информационных системах используются данные? Между ними есть одно простое отличие "данные – информация, обработанная и представленная в формализованном виде для дальнейшей обработки", а "знания – сведения, воспринимаемые человеком и (или) системой как отражение фактов материального или духовного мира в процессе коммуникации". Если упростить, то данные – это некоторая информация, которая может нести смысл или быть без него, также этот смысл может быть как истинным, так и ложным. А знания – это информация, которая принимается за истину.

В гайде по миграции для Claude Opus 4.7 написано: новый токенайзер использует «примерно в 1.0–1.35 раза больше токенов», чем 4.6. Я замерил и получил 1.47x на технической документации, и 1.45x на реальном CLAUDE.md-файле.

Цены те же. Квоты те же. Токенов в промпте больше. Max-план сгорает быстрее. Кешированный префикс стоит дороже за каждую итерацию. Рейтлимит наступает раньше.

Значит, Anthropic что-то получили в обмен. Что именно — и стоит ли оно того?

Я провёл два эксперимента: первый измерил стоимость, второй проверил заявленные преимущества. Вот что получилось.

Вокруг 4.7 сейчас будет много разборов — в заметках ниже то, что осталось за скобками типичных релиз-обзоров.

В нескольких бенчмарках 4.7 хуже 4.6: на agentic search минус 4.4 п.п., на CyberGym минус 0.7 п.п. — и это честно показано прямо в релиз-таблице. Дефолт effort в Claude Code подняли с medium сразу до xhigh: в migration guide объясняют, что 4.7 теперь строго следует effort levels и не «перерабатывает» на низких. Новый токенайзер на том же тексте даёт до 35% больше токенов. Auto mode дошёл до Max — со своим отдельным классификатором действий. Команда /ultrareview — три бесплатных прохода, дальше непонятно. Плюс характер: 4.7 чаще возражает и буквальнее читает инструкции — повод перечитать большие CLAUDE.md.

Прочитал release page и migration guide — собрал в одном месте то, что между строк.

ChatGPT остается востребованным инструментом для автоматизации рабочих процессов, подготовки текстов и анализа данных. В 2026 году возможности бесплатной версии расширились, что позволяет использовать нейросети в коммерческих целях без начальных вложений.

К тридцатилетию публикации проекта 1994 года, который остаётся самым скорострельным морфологическим анализатором.

Давным-давно, когда Рунет только появлялся, морфологические анализаторы и системы контроля орфографии уже производили вау-эффект: они не только сводили разные словоформы к основной (словарной), но и зачастую умели их склонять/спрягать, описывали грамматику вхождений и предлагали варианты замены ошибочных начертаний. Да и чуть позже, при появлении первого русского морфологического поиска в Интернет – это был Апорт! – на выставках тоже равнодушных не было. Тогда и родился libmorph.