Как стать автором
Поиск
Написать публикацию
Обновить
66.9
MWS AI
Создаем решения будущего уже сегодня
Сначала показывать

Как мы строим умный «файрвол» для LLM

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров1.4K

Привет, Хабр! Я Данила Катальшов, старший промпт-инженер в команде фундаментальных исследований MWS AI. Недавно вместе с коллегами из корейского университета KOREATECH мы опубликовали научную статью, в которой представили новый фреймворк для борьбы с такими грехами LLM, как галлюцинации, генерация токсичного контента и уязвимость к промпт‑атакам. Мы его назвали AVI — Aligned Validation Interface. По сути это внешний, гибкий и независимый от модели фильтр, работающий как умный файрвол для LLM. Почитать на научном языке о нашем подходе можно в журнале MDPI. Applied Sciences. Здесь же я постараюсь чуть менее научно и уж точно покороче пересказать его суть. 

Заинтересовавшиеся – велком под кат.

Читать далее

ИИ в праве: генеративные фантазии и законодательные дыры

Уровень сложностиПростой
Время на прочтение9 мин
Количество просмотров1K

Всем привет!

Меня зовут Кирилл Дьяков. Я новый писатель на Хабре, так как в основном обитаю на порталах юридических, а не технических. Но поскольку тружусь я в области разработки искусственного интеллекта и очень интересуюсь темой применения ИИ в юридической практике, то решил поделиться с вами своим небольшим обзором – как ИИ проникает в сферу права и какие порядки (и беспорядки) в ней наводит. Расскажу, как и где технология уже применяется юристами, какие задачи помогает решать, какие правовые и технические вызовы создает и даже кого уже успели за ее применение наказать.  

Читать далее

Останется ли это правдой завтра? Как проверка устойчивости фактов помогает LLM стать честнее и умнее

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.4K

Привет, Хабр! Мы в команде «Вычислительная семантика» в AIRI сфокусированы на исследовании галлюцинаций и решении проблем доверительной генерации. Мы учимся находить галлюцинации и бороться с ними. Большие языковые модели (LLM) вроде GPT-4 стали незаменимыми помощниками в повседневной жизни — от генерации текстов до поддержки в кодинге и ответов на вопросы. Однако у них есть ахиллесова пята: они часто галлюцинируют.

В этом посте мы разберем нашу последнюю работу Will It Still Be True Tomorrow?, посвященную тому, как на надёжность моделей влияет феномен неизменного вопроса (evergreen question)  — то есть вопроса, ответ на который не зависит ни от времени, когда вы его задаёте, ни от места, вопроса про факт, который зафиксирован в истории и не меняется от обстоятельств.

В рамках этой работы мы совместно с MWS AI собрали датасет изменяемых и неизменных вопросов EverGreenQA (открытый доступ), обучили классификатор на базе многоязычного энкодера E5, и применили его для оценки собственных знаний модели. Наши результаты показывают, что большие языковые модели чаще всего правильно отвечают на неизменные вопросы, не прибегая к помощи RAG пайплайна.

Теперь обо всем по порядку.

Как мы сделали новых ИИ-помощников для программистов компактными и при этом могучими

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров4.3K

В прошлом году мы уже рассказывали, как создавали нашего помощника программиста Kodify. Не прошло и года, и мы представили вам новую его версию — Kodify 2. А буквально сегодня объявили о выпуске опенсорсной — Kodify Nano. Kodify 2 доступен только для корпоративных заказчиков, а Kodify Nano мы сделали открытым — выложили на Hugging Face.

Ключевое слово для обеих этих версий — компактность. В этой статье отвечаем на главный вопрос, который нам отовсюду прилетал при запуске Kodify: Почему мы решили пойти против течения и создать «легких» ИИ‑помощников для разработчиков? Также вы узнаете, как мы их учили, чтобы они справлялись с поставленными задачами не хуже, чем их собратья схожего или даже большего размера, и какую методологию оценки использовали.

Читать далее

Почему граф в RAG работает лучше, чем вы думаете… но не так, как вам рассказали

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров4.6K

В RAG-решениях все чаще обращаются к графовым базам данных. В этой статье я опишу своё мнение относительно того, в каких ситуациях графовые базы данных действительно оправданы в RAG, а в каких стоит остаться на традиционном векторном подходе. Это может быть полезно для разработчиков и исследователей, которые ищут оптимальные инструменты для построения RAG-решений и хотят понять, когда графовые базы данных могут помочь в их задачах. 

Читать далее

Как мы учили по-доброму шутить LLM и у нас получилось (почти)

Время на прочтение6 мин
Количество просмотров2.3K

Способность открытых LLM шутить, причем по-доброму, могла бы расширить применение ИИ во многих сферах – образовании, терапии, обслуживании клиентов. Так что мы с коллегами из Лаборатории естественного языка НИУ ВШЭ задались этим вопросом и попытались разработать собственную методологию курирования (фильтрации и аннотирования) наборов данных для генерации доброго юмора на малых LM. По всем научным канонам мы ее описали и оценили в этом препринте. А здесь я постараюсь рассказать о ней чуть короче и менее научно.

Читать далее

Как обучить LLM выбирать правильные варианты кода, сгенерированные другой моделью. Разбор от Тайного редактора

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров2.5K

«Тайный редактор» будет на регулярной основе коротко разжевывать суть научных публикаций по технологиям искусственного интеллекта, отвечать на неудобные вопросы по ИИ, объяснять события, развеивать мифы и разоблачать пустой хайп вокруг технологий.

Сегодня разбираем статью от исследователей MTS AI Iterative Self‑Training for Code Generation via Reinforced Re‑Ranking — о том, как можно обучить реранжирующую модель выбирать качественные варианты кода, сгенерированные другой моделью. Спойлер: с этим подходом удается сделать так, что модель на 13B параметров может обогнать по качеству 33B.

Читать далее

Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype

Уровень сложностиСредний
Время на прочтение8 мин
Количество просмотров1.9K

Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.

Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.

Читать далее

Как попасть на международную конференцию по ИИ

Время на прочтение8 мин
Количество просмотров872

Привет, Хабр! Меня зовут Даша Галимзянова, я – NLP-разработчик в MTS AI. Сегодня  на своем опыте расскажу, как попасть на топовые международные ИИ-конференции – и зачем вам это нужно.

Читать далее

Невидимые герои. Почему профессия промпт-инженера действительно важна для ML-сферы

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров1.1K

Всем привет. Я Игорь Филатов, ML-разработчик в компании MTS AI, до этого я около полугода работал промпт-инженером. Сегодня я расскажу вам о том, из чего состоит работа промпт-инженера, можно ли назвать ее тяжелым трудом, и как попасть в эту сферу. И заодно признаюсь, почему я все же решил сменить эту профессию.

В чем суть промпт-инжиниринга?

Обычно промпт-инжиниринг понимают в широком смысле – это процесс написания промптов для решения той или иной задачи. Правда, здесь подразумеваются не только бытовые запросы, когда пользователь хочет получить что-то конкретное – например, рецепт лазаньи или текст для публикации в соцсетях. промпт-инженер также решает более стратегические задачи – например, как с помощью более оптимального использования нейросетей тратить меньше времени и ресурсов на выполнение тех или иных бизнес-задач, получая стабильный и качественный результат.

В узком смысле промпт-инжиниринг — это про оптимизацию запросов к языковым моделям. Этот процесс не похож на бытовое написание промптов, он ближе к научно-исследовательским подходам. Чтобы добиться нужного результата. специалисты применяют специальные техники – например, Chain of Thought, когда при решении задачи модель последовательно объясняет полную цепочку своих размышлений, тем самым повышая качество ответа и интерпретируемость данных.

У промпт-инжиниринга и генеративных нейросетей в целом есть одно ключевое преимущество – работать с ними быстро и просто. Это позволяет условному продакт-менеджеру или маркетологу протестировать гипотезу или составить Proof-of-Concept, для этого не нужно быть  классным ML-специалистом и тратить много часов на получение первичного результата.

Читать далее

Как мы создали LLM-модель Cotype Nano

Время на прочтение7 мин
Количество просмотров10K

На связи группа фундаментальных исследований MTS AI. В этой статье мы расскажем про дроп трех маленьких моделей Cotype-Nano, Cotype-Nano-4bit и Cotype-Nano-CPU. Расскажем, как нам удалось достичь 1 места на RuGeneralArena  в своей весовой категории.

Читать далее

#ВОбъективеИИ: большие планы на агентский ИИ и новые лидары

Время на прочтение4 мин
Количество просмотров1.3K

Подготовили для вас подборку исследований из мира искусственного интеллекта, которые стоит изучить на досуге. Поговорим о прорывах в компьютерном зрении, новых LLM-моделях и качестве работы генеративного ИИ. 

Gartner: Agentic AI — главный технологический тренд 2025 года

На роль главного технологического прорыва после генеративного искусственного интеллекта уверенно претендует Agentic AI — то есть ИИ, который может выполнять те или иные задачи автономно, без человека. Теперь это и Gartner подтверждает. Эксперты компании назвали эту технологию главным технологическим трендом 2025 года, пишет VentureBeat. Прогнозируется, что уже к 2028 году такого рода автономные ИИ‑агенты будут принимать не менее 15% повседневных рабочих решений вместо людей. Сначала Agentic AI возьмет на тебя рутинные задачи. Например, он может просто мониторить работу корпоративных систем. Затем предполагается переход на уровень управления этими системами — ИИ сможет анализировать их, чинить и вносить изменения. Также рассматривается возможность и более сложных сценариев использования ИИ‑агентов, в частности — в роли наставников для новых сотрудников.

Читать далее

Как за месяц научить нейросеть говорить на татарском: опыт MTS AI

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров3.3K

Привет, Хабр! Меня зовут Настя Бурьянская, я занимаюсь координацией  LLM-проектов в MTS AI. Сегодня я расскажу вам о том, как мы силами пяти человек за месяц научили нашу большую языковую модель Cotype Lite общаться на татарском языке.Я лишь недавно пришла в компанию, проработав до этого несколько лет проджектом в e-com, поэтому сфера LLM для меня все еще немного в новинку. Поэтому, когда мне дали задание перевести нашу модель на татарский язык, я была воодушевлена и немного напугана, потому что лидировать разработку большой языковой модели мне довелось впервые. Эту статью сложно назвать классической историей успеха — скорее, вас ждет рассказ о том, чему я научилась, занимаясь этим проектом.

Зачем вообще понадобилась модель на татарском?

Забегая вперед, скажу, что мы представили нашу новую версию модели на форуме Kazan Digital Week, который проходил в Татарстане с 9 по 11 сентября. У нее почти тот же функционал, что и у версии на русском языке — может отвечать на общие вопросы, анализировать документы до 8 тысяч токенов и суммаризировать их.

Читать далее

Промпт-инжиниринг: как найти общий язык с ИИ

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров8.9K

В последние годы мир информационных технологий переживает настоящую революцию, связанную с развитием искусственного интеллекта (ИИ). Одной из наиболее захватывающих и новых профессий в этой области становится промпт‑инжиниринг. Меня зовут Наталья Бруй, я руководитель группы промпт‑инженеров MTS AI. В этой статье я расскажу почему эта профессия приобретает всё большую значимость и как можно использовать приёмы промпт‑инжиниринга в работе и повседневной жизни.

Читать далее

Ближайшие события

Оценка LLM с большим окном контекста

Время на прочтение7 мин
Количество просмотров4.1K

Всем привет!

Мы в команде фундаментальных исследований MTS AI занимаемся исследованиями в области обработки естественного языка и компьютерного зрения, а также строим свои фундаментальные языковые модели. Недавно у нас получилось достичь уровня gpt-4 на собственном ограниченном датасете большого контекста. Расскажем, как нам это удалось.

Читать далее

Вызов функций с помощью LLM

Время на прочтение14 мин
Количество просмотров8.7K

Всем привет, меня зовут Алан, я разработчик-исследователь из команды фундаментальных исследований MTS AI. Мы изучаем возможности генеративного ИИ, и видим, что большие языковые модели отлично справляются с различными текстовыми задачами, но мы можем расширить их функционал. Например, пока что LLM не может правильно посчитать логарифм, узнать погоду или какую-то другую информацию. Как решить эту задачу? Нужно научить модель пользоваться внешними инструментами/функциями. В этой статье мы поговорим о вызове функций с помощью больших языковых моделей, рассмотрим некоторые проприетарные и открытые модели, связанные исследования, а затем проведем небольшой эксперимент с отправкой электронной почты при помощи LLM.

Читать далее

Долой рандом, или ищем лучшие настройки для аугментации текстов

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров1.8K

Всем привет. На связи Игорь Буянов, старший разработчик в MTS AI. Этот пост — текстовый вариант моего доклада, с которым я выступал в прошлую пятницу на Pycon 2024. Расскажу о том, как мы оптимизировали параметры аугментаций для текстовых данных и что из этого получилось. Текст рассчитан на широкий круг читателей, поэтому если вы слышите про аугментации впервые — не пугайтесь, разберемся.

Читать далее

Есть ли жизнь до fit/predict?

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров2.3K

Всем привет! Меня зовут Даниил Карпов, я старший NLP-разработчик в MTS AI. В эпоху LLM и огромных датасетов, вмещающих в себя весь интернет, кажется, что качество самих данных ушло немного на второй план: чем больше данных/параметров, тем лучше. Однако экстенсивный рост рано или поздно упирается в ограничения, когда становится уже слишком дорого/невозможно его продолжать. Роль хороших данных не стоит недооценивать, грамотный отбор может помочь значительно ускорить и удешевить обучение с одной стороны, тогда как отбраковка откровенно плохой разметки поможет улучшить качество с другой. Здесь я расскажу о некоторых из таких методов, которые использовались в процессе подготовки данных.

Читать далее

Как мы разрабатывали помощника программиста: кейс MTS AI

Уровень сложностиСредний
Время на прочтение9 мин
Количество просмотров2.1K

Привет, Хабр! Последние два года разработчики-исследователи MTS AI  создавали помощника программиста, который называется Kodify. В этой статье мы расскажем о работе над этим продуктом и его функционале.   Этот пост — адаптация доклада с конференции True Tech Day 2.0. Его запись можно посмотреть здесь.

Читать далее

Как мы в MTS AI собрали команду исследователей меньше, чем за год

Уровень сложностиПростой
Время на прочтение16 мин
Количество просмотров2.3K

Привет, я Марина, HR-бизнес-партнер в MTS AI. Вот уже несколько лет я занимаюсь подбором сотрудников на вакансии, связанные с ML.  Мы стремимся находить самых крутых спецов и, конечно, с каждым годом конкуренция за них растет. И это неудивительно: сфера искусственного интеллекта сейчас на подъеме,  всем нужны ML-инженеры. 

Когда в MTS AI решили сформировать направление фундаментальных исследований, подбор специалистов тоже доверили мне. В условиях дефицита кадров — это была, что называется, задача со звездочкой. Тем не менее за год нам удалось собрать специалистов с опытом работы в Facebook (принадлежит Meta — признана экстремистской в России), Google, Toyota, Huawei, CERN и победами в международных соревнованиях. 

От коллег-HR и знакомых разработчиков из других компаний я часто слышала: как вы смогли их нанять, таких же ребят кофе с печеньками и офисом в центре не заманишь? Почему они выбрали вас, маленькую дочку МТС с пятью сотнями сотрудников, а не какого-нибудь ИТ-гиганта? 

В этой статье я расскажу, как нам удалось собрать группу специалистов по фундаментальным исследованиям за год. Далее я также дам слово своим коллегам-исследователям. Они ответят на вопросы о своих проектах и принципах работы в команде. 

Читать далее

Информация

Сайт
mts.ai
Дата регистрации
Дата основания
Численность
201–500 человек
Местоположение
Россия
Представитель
Анна Родина