Компьютерный анализ и синтез естественных языков
Для песен рекомендательные системы есть, для книг — есть, для фильмов — есть, для стихов — нет. Непорядочек 🤔
Используя Flask, Jinja2, Sentence-Transformers и sqlite-vec, собрал первый прототип рекомендательной системы для стихов. Для машины измерить в цифрах схожесть двух стихов трудно. А для человека — в самый раз. Прикрутил форму оценки рекомендаций, собрал человеческий фидбек.
В статье подробно рассказываю о деталях конструкции.
Верификация подписи — новая полезная фича для работы с документами, которая войдет в наш кросс-платформенный продукт ContentCapture для интеллектуальной обработки информации.
Задача технологии — помогать пользователям проверять подлинность подписи на документах в автоматическом режиме, тем самым упрощая ежедневные бизнес-процессы и обеспечивая более высокий уровень безопасности.
Ниже рассказываем, как мы создавали эту технологию.
Недавно я столкнулся с интересным поведением языковой модели, которое меня по-настоящему удивило, и хочу поделиться этим наблюдением с сообществом.
Сегодня различные методы для улучшения ваших LLM ассистентов как никогда актуальны и важны, особенно, если мы говорим про бизнес интеграцию. Сейчас расскажу про технологию Self-RAG, которую мы опробовали, почему она нам показалась выгодна в наших задачах и подводные камни, на которые мы наткнулись при развертывании данной системы. А также как мы всё это локально поднимали и делали кастом.
Обработка счетов — важная и рутинная часть документооборота, которую всё чаще доверяют AI-моделям. Наша компания часто занимается интеллектуальной обработкой счетов для клиентов, а значит мы постоянно ищем лучший способ для их распознавания. Поэтому мы провели практическое исследование и сравнили, как с этой задачей справляются разные решения: от популярных open-source моделей до коммерческих API.
Исследование включало несколько этапов: мы собрали разнообразный датасет из реальных счетов, привели его к единому формату, определили метрики и протестировали 7 популярных на наш взгляд моделей, чтобы понять:
Привет, Хабр!
В этом посте хотим рассказать, как технология FastML (о самой разработке уже рассказывали здесь) начала работать на российских документах разного типа в контуре нашего продукта ContentCapture и что из этого вышло.
Вкратце введем в курс дела. Многие компании сталкиваются с необходимостью обрабатывать большое количество однотипных (не одинаковых) документов, извлекать из них нужную информацию и экспортировать. Естественно, это долго, мучительно, а иногда еще и с ошибками. Для автоматизации такой рутины и используется ContentCapture, а точнее, встроенные в него две технологии — гибкие описания и теперь еще и FastML.
Гибкие описания — это универсальный подход к извлечению данных, особенно если речь идет о сложных документах. Однако для их создания нужно время и навыки работы со специальным инструментом — Content AI Layout Studio. Для тех, у кого таких скиллов нет, и был создан FastML, с которым сможет справиться любой пользователь, независимо от техподготовки. С помощью FastML модели для новых типов документов создаются в несколько кликов на основе нескольких примеров, что значительно сокращает время их внедрения в контур компании и бизнес-процессы.
Под катом рассказываем и показываем, какие теперь документы могут автоматически обрабатывать пользователи ContentCapture с помощью встроенного в него FastML, а также делимся данными тестирования и объясняем, в чем могут возникнуть сложности.
Инквизиторы нового времени
Или размышления на тему LLM и тех, кто их не читает, но осуждает
Вчера вечером, листая ленту, наткнулся на статью. Из тех, что нынче зовутся «LLM-порождениями». Написана складно, по делу. Местами даже с огоньком. И вдруг — комментарий под ней, строгий и важный, как проверяющий с утра:
«Опять этот LLM-мусор…»
«Как же надоели эти LLM-статьи…»
И всё бы ничего. Да не в первый раз я вижу этого комментатора. Он вечно появляется. Он — вечный. Он — инквизитор нейросетей.
Кто вы, судари?
Привет всем! В этой статье я лишь немного выскажусь на тему комментаторов, а именно таких, что я назвал бы их «инквизиторов LLM».
Кто это? Это такие люди, что находят жптшные статьи или другие и пишут под ними что‑то в стиле.
Краткий обзор на последние обновления Google ai studio.
Google AI Studio - это не просто песочница для ИИ, а полноценная среда для разработки прототипов, интеграции генеративного ИИ в бизнес-процессы, учебных целей и исследований. С учетом растущей популярности моделей Gemini и глубокой интеграции с Google Cloud, AI Studio становится ключевым инструментом для всех.
Развитие мультидисциплинарных научных групп, объединяющих ИИ, робототехнику, биоинженерию и 3D-печать, потребует создания универсального метаязыка — системы коммуникации, которая преодолеет барьеры между дисциплинами и технологиями. Такой язык будет синтезировать концепции из математики, инженерии и биологии, опираясь на данные научных статей (на англ., китайском, русском и др. языках). Вот ключевые элементы прогноза:
---
#### 1. Концептуальные основы метаязыка
- Семантические онтологии и графы знаний:
- Универсальные онтологии, подобные BioPAX (для биологии) и STEP (для инженерии), объединят термины из разных дисциплин. Например, понятие «биосовместимый материал» будет включать параметры для 3D-печати (*ISO/ASTM 52900*) и данные о взаимодействии с тканями (*PubMed*).
- Проекты вроде OpenAIRE (ЕС) и China’s AI Industry Innovation Alliance разрабатывают междисциплинарные базы знаний.
- Физико-математические абстракции:
- Использование тензорных сетей (тензорная алгебра + графы) для описания сложных систем (робот + ИИ + биоматериал).
- Алгоритмы топологической анализа данных (TDA) для выявления скрытых связей между задачами, например, между проектированием манипулятора и биопечатью органа.
---
#### 2. Структура метаязыка: модули и интерфейсы
- Базовые операторы:
- Манипуляторы: Команды вида Grasp(object=биопринтер_носитель, force=0.5N, precision=10μm) на основе стандартов ROS 2.0 (Robot Operating System).
- 3D-печать: Параметры Print(layer_height=50μm, material=PCL+стволовые_клетки, scaffold_type=градиентный) с интеграцией данных из Materials Project (база свойств материалов).
Как у нас в RUTUBE ИИ и служба клиентского сервиса работают сообща, вместе справляются ростом сервиса и мгновенно адаптируются к изменениям — рассказываем в этой статье. Делимся рецептом RAG-системы, которая за первые три месяца эксплуатации уже отвечает почти на 70% запросов пользователей и никогда не врёт про «космических зайцев».
ИИ всё ближе к тому, чтобы принимать решения за нас. Но есть проблема: мы даже не понимаем, что именно считаем моральным — и почему.
Что если наш компас добра — всего лишь баг эволюции? И что, если будущий агент увидит это?
Какие ИИ-модели набирают популярность, а кто теряет доверие пользователей? Весной 2025-го платформа Poe раскрывает неожиданные повороты в гонке LLM: OpenAI и Google вырываются вперёд, Anthropic сдаёт позиции, а новые игроки заходят в генерацию видео и аудио.
Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь). В этой, четвертой части авторы совсем скромненько, словно тренировались заполнять налоговую декларацию, разбирают технологии аугментации извлеченных данных.
Поскольку без пояснительной бригады часть их информации оказалась для меня совершенной абракадаброй (напомню, я — переводчик, то бишь гуманитарий), я не поленился пройтись по упомянутым авторами ссылочкам на исследования, взять оттуда схемки и картинки, и добавил их к этой части тоже. Надеюсь, с ними рассуждения и наблюдения авторов будут значительно прозрачнее. Поехали!
Современные LLM настолько большие, что без труда разбирают не только простую транслитерацию, но и сложные переплетения запросов, записанных несвойственной целевому языку азбукой. Например, можно на английском спросить про итальянский греческими буквами. Качественная LLM справляется, выдавая занимательный результат, который неплохо иллюстрирует основные свойства этих систем.
Меня зовут Артём, я занимаюсь коммерческой разработкой с 2019 года. Последние несколько лет я активно использовал Spring Boot для создания backend-сервисов на Java и Kotlin.
Но в какой-то момент захотелось попробовать что-то новое. Не потому что Spring надоел, а просто чтобы выйти из зоны комфорта и узнать, как чувствует себя проект на другом языке. Я решил: возьму уже начатый pet-проект, перепишу его на Go — и посмотрю, как изменится подход, скорость разработки, ощущения.
Новость о мощи ChatGPT прогремела уже более двух лет назад, однако крупные компании ещё до сих пор полностью не автоматизировали поддержку клиентов. В этой статье разберём на пальцах, какие данные и надстройки нужны для больших языковых моделей, как сделать так, чтобы внедрение было экономически целесообразным и, наконец, что делать с чат-ботами прошлого поколения.
Меня зовут Дмитрий Успенский, я работаю в команде ML RnD Техплатформы Городских сервисов Яндекса, и в статье я расскажу, как мы применили подход LLM as a judge — когда сама языковая модель оценивает качество генераций и сравнивает между собой разные варианты описаний. Поделюсь опытом определения критериев качества, сбора валидационного датасета, подбора промптов и выбора модели. Результаты оказались обнадёживающими: метод действительно позволяет улучшить генеративную систему без участия ручной разметки и асессоров.
Казалось бы, совсем недавно мир только начал знакомиться с тем, что такое большие языковые модели (LLM). Вскоре после этого появились их многочисленные вариации — на любой вкус и цвет, от узкоспециализированных до универсальных моделей. Затем началась волна интеграций: LLM начали встраивать в различные сервисы, приложения и API, упрощая и автоматизируя рутинные процессы.
Следующим стало появление LLM-агентов — интеллектуальных систем, способных самостоятельно принимать решения и выполнять сложные задачи, взаимодействуя с внешними сервисами. Вместе с ростом их популярности возникла новая проблема — отсутствие единого стандарта взаимодействия между агентами и их окружением.
И вот, компания Anthropic представила решение этой задачи — новый протокол Model Context Protocol (MCP), который стандартизирует взаимодействие агентов с различными сервисами и между собой.
Давайте разберёмся, что такое MCP, и с чем его едят!
Хорошие переводчики переводят хорошо. А как насчет нейросетей?
Пользователь @antptr86 сделал в комментариях классную вещь - для чистоты эксперимента он выложил несколько вариантов перевода одного абзаца из "Дюны", и предложил их оценить вслепую, без знания источников.
Мне показалось это крайне занимательным, и поэтому я решил сделать из этого небольшую статью и голосование для хабраюзеров в конце.
Итак, на выбор 11 переводов абзаца из Дюны. Пожалуйста, прочитайте их, и ответьте на опрос внизу, выбрав "Лучший вариант" и "Варианты, которые в целом можно нормально читать". Чуть позже в комментариях будет выложена информация о том, откуда они были взяты.