Natural Language Processing *

Привет, Хабр! На сегодняшний день большинство из нас пользуется инструментами искусственного интеллекта и иногда могут даже не знать об этом. Но задумывались ли вы, что такое ИИ? Многие знают термин "нейросети" и часто приравнивают его к ИИ, но это не так. Нейросети – это одна из разновидностей ИИ, о которых я расскажу в этой статье.

Прежде чем начать разбираться в том, как работают разные ИИ, и какие они вообще бывают, давайте разберемся, что вообще такое искусственный интеллект. Для начала, давайте определимся с основными понятиями.

"Техническая интеллектуальная система – система, обладающая интеллектом". Но что же такое этот ваш интеллект? Ответ можно сформулировать по-разному, но самым обобщенным будет что-то вроде этого: "Интеллект – способность решать поставленные задачи, учитывая внешние факторы".

Исходя из этих определений, мы можем сказать, что "Искусственный интеллект – техническая система, способная решать поставленные задачи, адаптируясь под внешние факторы".

То есть искусственным интеллектом можно назвать любую программу, которая может решать задачи определенного вида?

Почти. ИИ должен иметь возможность обучаться. Обучение – это возможность решать задачи нового типа (которые изначально модель решать не могла), путем добавления новых знаний без переписывания исходного кода. ИИ может быть обучаемым и самообучаемым. Обучаемому нужно давать знания вручную, а самообучаемый может найти их сам в данной ему подборке или при помощи интернета.

Но почему я говорю про какие-то знания, если обычно в информационных системах используются данные? Между ними есть одно простое отличие "данные – информация, обработанная и представленная в формализованном виде для дальнейшей обработки", а "знания – сведения, воспринимаемые человеком и (или) системой как отражение фактов материального или духовного мира в процессе коммуникации". Если упростить, то данные – это некоторая информация, которая может нести смысл или быть без него, также этот смысл может быть как истинным, так и ложным. А знания – это информация, которая принимается за истину.

В гайде по миграции для Claude Opus 4.7 написано: новый токенайзер использует «примерно в 1.0–1.35 раза больше токенов», чем 4.6. Я замерил и получил 1.47x на технической документации, и 1.45x на реальном CLAUDE.md-файле.

Цены те же. Квоты те же. Токенов в промпте больше. Max-план сгорает быстрее. Кешированный префикс стоит дороже за каждую итерацию. Рейтлимит наступает раньше.

Значит, Anthropic что-то получили в обмен. Что именно — и стоит ли оно того?

Я провёл два эксперимента: первый измерил стоимость, второй проверил заявленные преимущества. Вот что получилось.

Вокруг 4.7 сейчас будет много разборов — в заметках ниже то, что осталось за скобками типичных релиз-обзоров.

В нескольких бенчмарках 4.7 хуже 4.6: на agentic search минус 4.4 п.п., на CyberGym минус 0.7 п.п. — и это честно показано прямо в релиз-таблице. Дефолт effort в Claude Code подняли с medium сразу до xhigh: в migration guide объясняют, что 4.7 теперь строго следует effort levels и не «перерабатывает» на низких. Новый токенайзер на том же тексте даёт до 35% больше токенов. Auto mode дошёл до Max — со своим отдельным классификатором действий. Команда /ultrareview — три бесплатных прохода, дальше непонятно. Плюс характер: 4.7 чаще возражает и буквальнее читает инструкции — повод перечитать большие CLAUDE.md.

Прочитал release page и migration guide — собрал в одном месте то, что между строк.

ChatGPT остается востребованным инструментом для автоматизации рабочих процессов, подготовки текстов и анализа данных. В 2026 году возможности бесплатной версии расширились, что позволяет использовать нейросети в коммерческих целях без начальных вложений.

К тридцатилетию публикации проекта 1994 года, который остаётся самым скорострельным морфологическим анализатором.

Давным-давно, когда Рунет только появлялся, морфологические анализаторы и системы контроля орфографии уже производили вау-эффект: они не только сводили разные словоформы к основной (словарной), но и зачастую умели их склонять/спрягать, описывали грамматику вхождений и предлагали варианты замены ошибочных начертаний. Да и чуть позже, при появлении первого русского морфологического поиска в Интернет – это был Апорт! – на выставках тоже равнодушных не было. Тогда и родился libmorph.

Мы задались вопросом: можно ли адаптировать маленькую LLM, например  Qwen3-4B-Instruct,для генерации качественных unit-тестов для разработки бекенда на Kotlin с учетом внутренней специфики наших котлинистов? И решили мы это сделать с помощью весьма экзотического способа дообучения LLM – эволюционного алгоритма. А потом еще и сравнить этот алгоритм с ставшими уже классикой методами дообучения LLM: SFT и GRPO. 

С опытом у RAG-инженера накапливается солидный багаж эвристик и инструментов, которые в определенных задачах превосходят по качеству или скорости стандартные. Фраза «а для этого у меня есть собственный ретривер» звучит с некоторым снобизмом, но добавляет к профессионализму несколько пойнтов.

Хотите в свою коллекцию ретривер, который умеет работать с терминами, плохо различимыми в векторном пространстве эмбеддинга, в частности с именами и названиями? Тогда давайте перейдём от снобизма к практике. Начнём с обработки текста и сегментируем его на фрагменты - «чанки». Далее сделаем TFIDF модель, добавим поиск и обернём всё это в ретривер LangChain. Наконец сравним наш ретривер с двумя-тремя стандартными решениями. А Ollama поможет с вопросами для бенчмарка.

Рассказываю, как на практике решать задачу NER. На примере извлечения сущностей из резюме пройдём путь от разметки данных до работающего API. Меньше теории, больше практики.

Глубокий разбор того, что на самом деле строят Anthropic, OpenAI, Perplexity и LangChain. Оркестрационный цикл, инструменты, память, управление контекстом — и всё остальное, что превращает stateless LLM в работающего агента.

Допустим, вы собрали чатбот. Может, даже прикрутили ReAct-цикл с несколькими инструментами. На демо работает. Но стоит попробовать сделать что-то production-grade — и всё начинает сыпаться: модель забывает, что делала три шага назад, вызовы инструментов падают без ошибок, контекстное окно забивается мусором.

Проблема не в модели. Проблема во всём, что её окружает.

LangChain это доказал: изменив только инфраструктуру вокруг LLM (та же модель, те же веса), они поднялись с позиции за пределами топ-30 на 5-е место в TerminalBench 2.0. В отдельном исследовательском проекте LLM оптимизировал саму инфраструктуру и достиг 76,4% pass rate, превзойдя системы, спроектированные вручную.

У этой инфраструктуры теперь есть название: agent harness (агентный харнесс).

В конце марта новости разошлись: ICLR 2026 отклонила 497 статей за использование AI в рецензиях. Поймали детектором с заявленной точностью «выше 95%». Я полез в свежие данные апреля 2026 — и понял, что ситуация хуже, чем кажется. Большинство этих авторов могли пройти детектор за 30 секунд одним промптом. Разбор: как работают детекторы, почему рекламные 99% превращаются в реальные 65%, и что значит «обвал точности после гуманизации».

Открыл дашборд потребления токенов — и завис. Ответы Claude начинаются с «Конечно!», «Отличный вопрос!», «С радостью помогу!», потом мета-комментарий про процесс, и только потом сам ответ. Взял 500 типовых запросов, написал 30 строк на Python и посчитал — сколько именно токенов уходит на эту вежливость. Получилось 11,3%. Дальше — что убирается, что оставить, и сколько это в деньгах.

Математические исследования всё чаще используют методы ИИ для анализа сложных задач, генерации решений и предоставления персонализированного обучения. Но эффективность моделей напрямую зависит от качества и структуры данных, на которых они обучаются. Несмотря на обилие математических текстов в интернете, для русскоязычных моделей остро не хватает материалов, сочетающих в себе авторитетность источника, сложность содержания и лингвистическое разнообразие.

Команда специалистов Doubletapp  создала такой ресурс — датасет задач American Invitational Mathematics Examination (AIME) мы перевели на русский язык. AIME — это источник сложных, тщательно проработанных задач, которые идеально подходят для тренировки логических и алгоритмических способностей LLM.

Расскажем, как проходил сбор, обработка и перевод задач.

Содержание
‣ Обзор связанных работ
‣ Методология сбора и обработки данных
‣ Анализ и метрики исходного датасета
‣ Этап перевода математических задач на русский язык
‣ Адаптация датасета
‣ Оценка с помощью lm-evaluation-harness
‣ Заключение

Я постоянно собеседую людей в редакцию. Онлайн, офлайн, ищу по форумам, чатам. Вижу адекватные комментарии просто к рандомным постам и предлагаю авторам работу. На дняъ очередной кандидат на должность жура сдал тестовое. Текст грамотный, структурированный. Три аргумента в каждом блоке. Каждое предложение вытекает из предыдущего, ни одной опечатки. Ну красавчик же, но «спасибо, вы нам не подходите». Расскажу, почему отшиваю таких на раз и как им действовать, чтобы обмануть таких, как я.

При создании ИИ-агентов разработчики часто сталкиваются с проблемой контроля. Если дать языковой модели полную свободу действий, система становится непредсказуемой и склонной к ошибкам. Если же ограничить её слишком жестко, агент теряет свои преимущества и превращается в обычный скрипт.

Сегодня рассмотрим концепцию инвариантного проектирования, метод настройки баланса между фиксированными инвариантами и свободным поведением модели. Рассмотрим примеры реальных сервисов, таких как Claude Code и разберем, как определять границы ответственности ИИ и программной оболочки, чтобы агент оставался полезным и при этом работал корректно.

Как Марина Цветаева умела говорить о любви? Мне стало интересно исследовать творчество Цветаевой с помощью Python и вычислить те поэтические инструменты, которые она использует для выражения любви и описания таких чувств в поэзии. Некоторые открытия оказались весьма неожиданны.

Перевод подготовил автор канала Друг Опенсурса, приятного прочтения, заранее благодарю за подписку

В этой статье мы подробно разберем процесс развертывания GLM-5.1 с использованием llama.cpp и форматов GGUF. Узнаем о системных требованиях, сборке и настройках, оптимизации и практическом применении.

Привет, Хабр! В этот раз предлагаю разбор научной статьи DRAGOn: Designing RAG On Periodically Updated Corpus — будет полезна всем, кто интересуется RAG и хочет знать, как оценивать такие системы. 

Структура

1. Почему RAG сложно оценивать 
2. Идея DRAGOn
3. Как строится бенчмарк
4. Проверка качества QA 
5. Проверка бенчмарка на RAG-системах
6. Публичный лидерборд 
7. Ограничения, проблемы и практические выводы

В этой статье я на одном простом примере покажу, как перестать ковыряться в словах и начать дирижировать эмоциями читателя. Мы возьмем самую обычную задачу, выбьем нейросеть из «банальщины» и заставим текст искрить. Никаких унылых ролей в духе «представь, что ты копирайтер». Вместо этого мы пустим в ход неочевидные инструменты и неожиданные способы использования LLM, чтобы научиться управлять тем, что обычно остается за кадром

Меня зовут Аскольд Романов, я руковожу продуктовой командой в Яндекс Образовании. Сегодня я хочу поделиться историей своего проекта K2-18. Это опенсорс‑инструмент, который трансформирует учебный текст в семантический граф знаний с образовательными метриками. Я назвал его в честь экзопланеты, в атмосфере которой (предположительно) нашли водяной пар: тоже история про извлечение скрытой структуры из наблюдаемых данных. В этой статье — как устроен инструмент, какие решения за ним стоят и что с этим графом можно делать.

Моя основная задача в Образовании — внедрение AI‑технологий в образовательные процессы, и K2-18 вырос из этой работы напрямую. Мне нужно было решить конкретную задачу: как превратить учебный контент в структуру, с которой LLM сможет эффективно работать для построения различных образовательных сценариев.

Идея родилась не на пустом месте. Я закончил ВМиК МГУ и аспирантуру там же с научным фокусом на компьютерной лингвистике. Сейчас, когда LLM научились читать текст, понимать его структуру и контекст, оказалось, что знания, опыт и контекст текущей работы позволяют решить эту задачу системно. 

Конечно, семантические графы — это не новая идея. Но мне всегда хотелось сделать знания в учебных курсах действительно структурированными, а не скрытыми за линейными страницами учебника — так, чтобы и студенту, и преподавателю было легко ориентироваться и развиваться в своем темпе. По сути, это и есть один из продуктивных сценариев применения ИИ в образовании: помогать лучше структурировать знания и выстраивать более персонализированное обучение. 

Использование кодовых агентов (Codex, Cursor, Claude Code) стало обыденностью. Внутри разных AI-агентов могут использоваться одни и те же модели, но результаты будут сильно отличаться.

Например, есть мнение, что Cursor лучше и быстрее справится с написанием качественного UI, Claude Code покажет себя лучше в проектировании архитектуры приложения, а WindSurf лучше остальных создаст прототип системы.

Почему одна и та же модель в разных агентах дает разный результат? Давайте разбираться.