Как стать автором
Обновить
56.35
Сначала показывать

Обзор Llemma: новая математическая open-source модель

Уровень сложности Средний
Время на прочтение 6 мин
Количество просмотров 5.9K

Привет! Меня зовут Дарина, и я занимаюсь фундаментальными исследованиями в MTS AI. Основной фокус нашей работы сейчас — обучение больших языковых моделей, их тестирование и оптимизация.

Сегодня хочу сделать обзор на недавно вышедшую статью LLEMMA: an open language model for mathematics. Расскажу про обучение модели, новый датасет Proof-Pile-2 и в конце сравню ее с ChatGPT и GPT-4 на ЕГЭ заданиях по профильной математике.

Читать далее
Всего голосов 14: ↑13 и ↓1 +12
Комментарии 5

Команда, навыки сварки и три версии робота. Как Auxilium готовится к «Битве роботов»

Время на прочтение 6 мин
Количество просмотров 1.1K

Команда Auxilium принимает участие во втором этапе чемпионата «Битва роботов». Почти полгода ребята собирали БОБРа, то есть барабанного отбойного боевого робота. Сейчас он проходит финальные испытания перед битвой, которая состоится 21 октября в Перми. Мы нашли 15 минут в плотном графике Auxilium, чтобы поговорить о команде, концепции робота и соперниках.  

Читать далее
Всего голосов 11: ↑2 и ↓9 -7
Комментарии 4

Собираем русскоязычный лонгформер шаг за шагом

Время на прочтение 8 мин
Количество просмотров 5.7K

Привет, меня зовут Андрей Казначеев, я NLP engineer в компании MTS AI. В этой статье я расскажу, как создал лонгформер для русского языка. Все началось с того, что мне подкинули задачу по классификации длинных диалогов. Тексты длинные, а большинство популярных моделей имеют строгое ограничение по длине входной последовательности. Хотелось сделать решение умнее, чем просто побить текст на куски, однако ничего готового для русского языка не нашел. Тогда я задумался, а так ли сложно сделать свою собственную версию лонгформера под русский язык? Оказалось, совсем не сложно.

Читать далее
Всего голосов 38: ↑38 и ↓0 +38
Комментарии 15

LLaMa vs GigaChat: может ли опенсорсная модель работать лучше LLM с 13 млрд параметрами?

Время на прочтение 9 мин
Количество просмотров 7.9K

Всем привет, меня зовут Алан, я разработчик-исследователь в MTS AI, мы сейчас активно изучаем LLM, тестируя их возможности. В настоящее время в России вышло несколько коммерческих языковых моделей, в том числе GigaChat и YandexGPT, которые хорошо выполняют текстовые задачи. В этой статье показывается, что языковая модель меньшего размера, обученная на открытых данных за несколько часов, показывает сравнительно неплохую, а в некоторых случаях и лучшую производительность относительно больших коммерческих решений. На небольшом количестве примеров мы проверим способность моделей решать простые математические задачи, отвечать на вопрос по заданному контексту, в котором содержатся числа и выполнять простые текстовые инструкции. Затем мы кратко рассмотрим, как и на чем обучалась наша модель.

Читать далее
Всего голосов 15: ↑13 и ↓2 +11
Комментарии 7

Пять книг про NLP, с которых можно начать

Уровень сложности Простой
Время на прочтение 3 мин
Количество просмотров 9.1K

Всем привет! Меня зовут Валентин Малых, я — руководитель направления NLP-исследований в MTS AI, вот уже 6 лет я читаю курс по NLP. Он проходит на платформе ODS, а также в нескольких университетах. Каждый раз при запуске курса студенты спрашивают меня про книги, которые можно почитать на тему обработки естественного языка. Поскольку я все время отвечаю одно и то же, появилась идея сделать пост про мой список книг, заодно описав их. 

Читать далее
Всего голосов 13: ↑13 и ↓0 +13
Комментарии 6

«За три года я победил в семи международных соревнованиях по ИИ». Лайфхаки и стратегии финалиста конкурсов NASA и Google

Уровень сложности Простой
Время на прочтение 5 мин
Количество просмотров 3.1K

Аммар Али вместе со своим другом  Жаафаром Махмудом взяли золото каггла по созданию 3D-реконструкции. Их команда вошла в топ-10 победителей конкурса Google Image Matching Challenge 2023. Аммар Али работает старшим инженером-исследователем MTS AI и учится в аспирантуре ИТМО на факультете информационных технологий и программирования, его друг Жаафар тоже аспирант ИТМО, но учится на факультете систем управления и робототехники. В Image Matching от Google они принимают участие второй год подряд. В 2022-м вошли в топ-30. Для Аммара это далеко не первая победа в международном конкурсе. Мы решили узнать у него подробности - какое решение принесло им золото Image Matching Challenge 2023, и как вообще победить на международных соревнованиях по ИИ.

— Аммар, поздравляем тебя с победой. Расскажи немного о конкурсе.

— Google Image Matching Challenge проходит ежегодно, начиная с 2019-го. В этом году конкурс длился два месяца с 11 апреля по 12 июня. Целью было создать 3D-реконструкцию объекта по датасету из фотографий. Честно говоря, для меня это было немного сложнее, чем в прошлом году, потому что требовались не только знания в области машинного обучения. Нам было нужно применить дополнительные алгоритмы, математическую оптимизацию структуры для построения 3D-реконструкции, где до сих пор специализировались на Slam в целом в робототехнике. В конкурсе я отвечал за часть задач, связанную с искусственным интеллектом, а Жаафар занимался  оптимизацией и настройкой алгоритмов. 

— Какое решение вы предложили? 

Читать далее
Всего голосов 22: ↑19 и ↓3 +16
Комментарии 5

Как использовать метод Дэвида-Скина для агрегации разметки. Разбираем по шагам

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 1.4K

Всем привет. Открываю серию статей, посвященную агрегации разметки. Этим вопросом я активно занимался, пока работал в нашем центре компетенций по работе с данными: нам нужен был механизм агрегации разметки из разных задач. По пути накопил материалов и, причесав, делюсь с вами. 

В этой части я расскажу про модель Дэвида-Скина, которая заложила основы для многих методов агрегации разметки и является второй по значимости после голосования большинством. Многие создатели проектов следуют этому методу для повышения качества данных. Изначально он был разработан в 1970-х для вероятностного моделирования медицинских обследований. Именно поэтому разберем этот метод на примере с докторами. 

Читать далее
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 0

Переходим на личности: как создать не просто бота, а виртуального персонажа с характером и историей

Время на прочтение 18 мин
Количество просмотров 5.3K

Надоели стандартные боты с типовыми запросами? Да, мы вас очень понимаем.

Именно поэтому в этой статье мы решили поделиться своим исследованием по созданию не просто ботов, а виртуальных личностей с проработанным характером.

Эти наработки появились немного раньше, чем к нам пришел заказчик с запросом на виртуального персонажа, так что на наших глазах теория становилась практикой.

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Комментарии 3

Bag of tricks для разметки текстовых данных: Часть 2. Удаление дубликатов

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 2K

Привет! Меня зовут Ирина Кротова, я NLP-исследователь из компании MTS AI. В этой статье из цикла про разметку данных я расскажу об ещё одном способе собирать данные более качественно и экономить на разметке — фильтрации похожих друг на друга текстов.

В предыдущей статье я рассказывала о том, что такое аннотация данных, как это связано с работой инженера машинного обучения и о способах сократить количество ручной разметки в проекте.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 1

AI-focused digest: ИИ для удаления шумов с космических фото, генерация изображений на основе фМРТ мозга

Время на прочтение 4 мин
Количество просмотров 922

Всем привет! 

В апрельском выпуске AI-focused digest мы расскажем, как можно сократить затраты на обучение больших ML-моделей, как японские ученые научили нейросеть генерировать изображения по фМРТ мозга. Также поговорим о новом CV-алгоритме для улучшения астрономических фото. В заключении порекомендуем исследовательскую статью, которая поможет лучше понять, чего ждать от стремительного развития языковых моделей. 

Читать далее
Всего голосов 4: ↑3 и ↓1 +2
Комментарии 0

Беспилотные автомобили, китайцы и платный доступ: какое будущее ждет нейросети

Время на прочтение 6 мин
Количество просмотров 2.3K

Термин «искусственный интеллект» постепенно перебрался из фантастики в маркетинг, а сейчас все больше входит в лексикон технических специалистов. Сегодня считается, что будущий полноценный ИИ невозможен без машинного обучения. И за последний год мы приблизились к нему благодаря новым версиям моделей-трансформеров — GPT, в том числе линейке ChatGPT.

Меня зовут Сергей Загоруйко, я занимаюсь фундаментальными исследованиями искусственного интеллекта в МТС и руковожу группой, в которой есть направления по обработке естественного языка (NLP) и компьютерному зрению. В этой статье я расскажу о том, как сейчас обстоят дела в мире беспилотных автомобилей и искусственного интеллекта в целом, а в конце вас ждет приглашение на мое выступление на конференции True Tech Day, которая пройдет 31 марта 2023 года.

Читать далее
Всего голосов 11: ↑9 и ↓2 +7
Комментарии 2

Bag of tricks для разметки текстовых данных: Часть 1. Четыре способа размечать меньше

Уровень сложности Средний
Время на прочтение 9 мин
Количество просмотров 2.2K

Привет! Меня зовут Ирина Кротова, я NLP-исследователь из компании MTS AI. Мы не понаслышке знаем, что сбор и разметка данных часто становятся “бутылочным горлышком" в проектах, связанных с машинным обучением. У нас в компании есть постоянная необходимость в разных видах разметки аудио, текста и изображений.

В этой статье я хочу поделиться лайфхаками по подготовке и разметке текстовых датасетов и возможными "граблями", на которые можно наступить, если вы создаете датасет впервые. Многие из этих советов универсальны, но основной фокус сделан на обработке естественного языка, поскольку я опираюсь в первую очередь на собственный опыт: в разное время я работала с юридическими документами, доменными чат-ботами и участвовала в подготовке и проведении соревнования по автоматической детоксификации текстов.

Читать далее
Всего голосов 10: ↑10 и ↓0 +10
Комментарии 2

Падаем в кроличью нору. Ищем способ характеризовать текстовые датасеты

Время на прочтение 10 мин
Количество просмотров 1.7K

Всем привет! На связи Игорь Буянов, разработчик в команде разметки MTS AI. Сегодня я поделюсь с вами своими наработками, появившимися во время изучения метрик оценки генерации данных. Когда я только пришел в команду разметки, эта задача была особо актуальной - нас тогда просили нагенерить данные под тестирование информационного бота по COVID. Дело в том, что тестирование результатов выполнялось вручную, что значительно замедляло работу. Каких-либо автоматических метрик оценки качества генерации тестовых данных не существовало.

В какой-то момент мне надоело это терпеть, и я решил посмотреть, а как качество текстов оценивают разработчики языковых моделей. У них точно есть перплексия, может, есть что-то еще.

Спустя время, проведенное за штудированием статей, я нашел кандидата среди известных метрик для оценки качества генерации, но кроме того, к своему удивлению, у меня появилось несколько теоретических тезисов о качестве данных вообще. В этом посте я делюсь ими с сообществом в надежде на дальнейшее обсуждение. Для лучшего понимания дальнейшего текста рекомендую прочитать эту статью.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 5

3 лайфхака как пережить первые месяцы тим-лидерства

Время на прочтение 5 мин
Количество просмотров 1.8K

Всем привет! Меня зовут Лиза Ермакова, настраиваю Discovery процессы и организовываю cx-исследования для продуктов МТС ИИ.

По первому образованию - лингвист. По второму - коуч, практикующий по стандартам ICF.

Тим-лидерствую с 2017 года в разных сферах и командах. 

Первый опыт тим-лида получала в команде менеджеров переводческих проектов, далее в: строила направление разметки данных с 0, где руководила командами разметчиков данных (начинала с 1, затем 10 и 30 человек). В них были не только линейные сотрудники, но и старшие специалисты, менеджеры и ML-инженер. 

Также собирала временные кросс-функциональные команды для реализации проектов по сбору данных, продуктовых исследований. 

В свободное время работаю наставником начинающих тим-лидов, помогаю студентам старших курсов и выпускникам находить первую работу в IT (консультирую по вопросам карьеры) и коучу всех тех, кому сейчас это необходимо. Чаще приходят ребята из IT компаний, кто хочет менять род деятельности, делать разные карьерные переходы в рамках сферы или выходить в новую отрасль.

В этой статье остановлюсь теме тим-лидерства и расскажу новичкам про очевидные и не очень способы справиться с этой ролью в первые месяцы. Все рекомендации собраны из своего опыта и опыта моих подопечных.

Читать далее
Всего голосов 11: ↑6 и ↓5 +1
Комментарии 1

I never asked for this. Как понять, на что способен аугментатор текстов

Время на прочтение 6 мин
Количество просмотров 1K

Привет, я Буянов Игорь. Разработчик в команде разметки MTS AI. Сегодня я вам расскажу о способе понять, на что способен ваш аугментатор текста и в каких случаях его лучше использовать.



История создания этой методики началась с задачи текстовой генерации, в которой разметчики должны писать тексты под определенный класс. Такой отчаянный способ создания данных, когда их нет совсем. В раздумьях о том, как облегчить труд разметчиков, мне пришла идея:
что если разметчики будут писать не весь объем текстов, а, скажем, только некоторую часть, пусть и большую, а меньшую добивать с помощью аугментаторов. Однако, как убедиться, что тексты, полученные от аугментатора, хотя бы соответствуют тематике класса? Ко всем ли текстам можно применять аугментатор и ожидать, что все будет работать как надо? Другими словами, надо получить характеристику аугментатора, чтобы знать, чего от него можно ожидать.


В этой небольшой заметке я покажу простую и довольно быструю, хоть и ручную, методику оценки текстовых аугментаторов.

Читать дальше →
Рейтинг 0
Комментарии 2

Автоматическое исправление ошибок ASR с помощью sequence-to-sequence моделей

Время на прочтение 11 мин
Количество просмотров 2.1K

Всем привет, я Алсу Вахитова — NLP-разработчица в MTS AI. Вместе с коллегами мы создаем различные алгоритмы обработки текста и извлечения информации из него. Большое количество проектов включает в себя взаимодействие с командами из “соседних” доменов, например, automatic speech recognition (ASR). Одна из таких задач - исправление ошибок в результате работы ASR методов (ASR error correction). В этой статье я приведу теоретический обзор некоторых статей, решающих данную проблему.

Читать далее
Всего голосов 3: ↑3 и ↓0 +3
Комментарии 3

Как мотивировать команду нефинансовыми методами, поддержать сотрудников в трудные времена и завоевать их доверие

Время на прочтение 9 мин
Количество просмотров 5.3K

Привет, меня зовут Павел Дубков, я - директор департамента интеграции MTS AI. 

Я достаточно давно руковожу различными подразделениями, но еще лет 15 назад, когда был обычным разработчиком, стал присматриваться к своим руководителям и задаваться вопросом: что заставляет людей работать много, эффективно, искать новые подходы к решению различных задач и в целом ходить на работу с удовольствием?

В этой статье я расскажу о способах нефинансовой мотивации, которые я использую в своей команде. Немного похвалюсь. Так сложилось, что мне всегда было интереснее прочитать какой-нибудь мануал, который можно использовать в работе, чем литературу по управлению персоналом. Поэтому все, о чем вы прочитаете далее, - мои собственные лайфхаки и выводы, а также приемы других руководителей, а не прочитанные где-то умные мысли. Они будут полезными всем, кто сейчас хочет сплотить команду и помочь сотрудникам работать эффективнее.

Читать далее
Всего голосов 19: ↑13 и ↓6 +7
Комментарии 21

Как навести порядок в AI-продукте: опыт внедрения методологии Event Modeling

Время на прочтение 11 мин
Количество просмотров 1.5K

Всем привет, я Алексей Некрасов @letitshine (@znbiz) —  Lead направления Python в МТС и старший архитектор в MTS AI. Вместе с коллегой Галиной Прохоровой (@letitshine — product manager в MTS AI — решили поделиться историей внедрения методологии Event Modeling в существующий продукт. Мы расскажем, с какими трудностями наша команда столкнулась и как их преодолела.

Читать далее
Всего голосов 3: ↑2 и ↓1 +1
Комментарии 10

Edge AI чипы от Kneron. Собираем оригинальный девайс

Время на прочтение 12 мин
Количество просмотров 2.1K

Custom Device

Привет, я Антон Маслов, ведущий разработчик в MTS AI.


В предыдущих статьях я рассказывал о том, как работает распознавание изображений на чипе KL520 с помощью нейросети Tiny YOLOv3, а так же о том, как устроена, из чего состоит и как собирается прошивка чипов KL520. И вот теперь, когда мы познакомились с технологией Edge AI в общих чертах, мы можем отправиться в самое увлекательное путешествие и создать на базе KL520 собственный оригинальный девайс!


Читать дальше →
Всего голосов 5: ↑5 и ↓0 +5
Комментарии 2

Edge AI чипы от Kneron. Ныряем в прошивку

Время на прочтение 17 мин
Количество просмотров 1.4K

Dive

Привет, я Антон Маслов, ведущий разработчик в MTS AI.


В предыдущей своей статье я рассказывал в общих чертах о том, что это за чипы такие от Kneron (микроконтроллеры со встроенными нейроускорителями), что такое нейроускоритель, чем так интересна технология периферийного искусственного интеллекта Edge AI, и как вообще с этим работать. А еще о том, как на чипе KL520 запустить систему распознавания изображений с помощью нейросети Tiny YOLOv3.


Теперь я расскажу о самой важной части, о прошивке чипов. О том, из чего она состоит, как собирается, как вообще устроен софт такой навороченной многоядерной системы на кристалле, как KL520. Поделюсь историей и опытом миграции из одного компилятора в другой.


Читать дальше →
Всего голосов 4: ↑4 и ↓0 +4
Комментарии 0
1

Информация

Сайт
mts.ai
Дата регистрации
Дата основания
Численность
201–500 человек
Местоположение
Россия
Представитель
Анна Родина