Доброго вам дня, уважаемые Хабражители! В связи с бурным ростом LLM и просто невероятным, прорывными результатами практически ошеломительного качества, всё острее мы погружаемся в вопросы о дальнейшем развитии: «Куда двигаться дальше с точки зрения данных? Где их брать? Какого качества они должны быть? Как их бесшовно встроить в общую канву текущего конвейера? Сколько их вообще надо генерировать?» Всё это порождает массу тревог, размышлений и проводимых тестов.
Поскольку мы уже вплотную подошли к тому, что данных начинает не хватать, надо заниматься их «разведением в домашних условиях». Ещё полгода назад прогноз был более оптимистичным, но стремительное развитии ИИ только «подлило масла в огонь». По факту, сейчас мы имеем ситуацию «взращивания» новой реальности и формирования целого многомерного мира вокруг любой технической задачи, любого формата и любой направленности. Более того, ставится вопрос, как сохранить исходные характеристики сырых данных и не подменить распределения и иные статистические параметры, дабы не уйти в сторону при обучении модели. Особенно это касается узкоспециализированных тем в широком социокультурном контексте. Говоря более общими словами, как генерировать «природные», а не «мусорные» данные? Более того, разгорающаяся ИИ-соперничество между США и Китаем принесёт много сюрпризов, гонка поднимется на новую высоту.
Но обо всём по порядку. По традиции, всех заинтересованных любезно приглашаю под кат. Также приветствуются мнения, обсуждения и свежий взгляд ;)
Поставщики данных
На волне этого всеобщего хайпа возникло множество контор разного формата, толка и направления, предлагающие свои решения по генерированию синтетических данных (синтетики) в самом широком ключе. Беглый взгляд на этот рынок уже сейчас позволяет понять, что ситуация будет усиливаться стремительно, я бы даже сказал скачкообразно. Более того, тенденция эта совершенно ожидаемая и связана она с появлением XAI (Explainable Artificial Intelegence). Кстати, в прошлом году я читал в РАНХиГС подобный курс, в котором основной упор был сделан именно на методе интерпретации результатов и программном подходе к генерированию ответа и принятию решений. Ещё неплохую статью по SMOTE можно почитать здесь.
Почему так происходит на рынке данных? Всё очень просто, фактически мы «движемся» в разных направлениях: чем больше «эволюционируют» нейросети, тем больше мы не доверяем их решениям и данным, которые они используют. А с появлением синтетических данных тенденция будет усиливаться всё больше. Сегодня наиболее ярко представлены следующие компании, торгующие синтетикой:
Gretel AI, Mostly AI, Datavant, Tonic.ai, Infinity AI (генерация синтетических данных с упором на приватность и соблюдение нормативных и законодательных требований);
Synthesis AI, SBX Robotics (беспилотные системы, верификация, AR/VR/XR, мода и стиль, урбанистика, робототехника);
DataGen, Aiforia, Epistemix, MediSyn, vAIsual, Nuvanitic (медицина, биотехнологии, здравоохранение, анализ распространения заболеваний, фармацевтика);
Hazy (инструменты создания синтетических данных для тестирования и разработки);
Sogeti (инжиниринг и облачные данные);
Facteus, Statice, Colossyan, FinCrime Dynamics (финансы, биржи, банкинг, борьба с мошенничеством);
KroopAI, Dedomena, Omniverse™ Replicator, Scale Synthetic, Datagrid, CNAI (наука и исследования);
VAIsual (лицензирование, документооборот).
Как видите, вариантов и градаций решаемых задач уже предостаточно. При этом стили и форматы проверки данных у всех свои.
Мнения и практика
Как у любой продвинутой технологии, при использовании «синтетики» появились как свои адепты, так и противники. При этом с обеих сторон приводят достаточно аргументированные доводы:
При генерировании синтетических данных мы видим на множестве итераций деградацию моделей и ухудшение их поведения. Причём это относится не только к моделям NLP, «болезнь» свойственна любому классу моделей.
Качество синтетических данных может быть обманчиво. Исходя из этого, следует уделять пристальное внимание их характеристикам, особенно при использовании в реальной рабочей среде, и использовать гибридный подход.
Синтетика нужна, так как позволяет расширить границы применимости машинного обучения и смоделировать варианты, в том числе редкие и аномальные, для безопасной «обкатки» технологии, и тем самым проверить модель в «полубоевых» условиях.
Использование конфиденциальных данных там, где они крайне необходимы, сопряжено с риском «утечек». Кстати, про утечки конфиденциальных данных я писал вот тут, тут и тут.
Проблемы с реальными данными: бывает так, что они не масштабируются; ручная разметка невозможна; данные могут быть не программируемы; модель может иметь низкий скор на реальных данных или низкую креативность; при сложных и трудоёмких технологических процессах бывает дешевле и проще сделать «синтетику».
Эрозия разнообразия данных: смещение статистических параметров в данных; предвзятость автоматизированных фильтров; множественное дублирование; быстрое устаревание; унификация и отсутствие разнообразия.
Идеи и решения
Просмотрев достаточно много статей про бенчмарки и метрики при оценке больших языковых моделей, я составил для себя список параметров, на которые обращал бы наибольшее внимание при генерации синтетических данных применительно к LLM:
Лексическое разнообразие словаря. Можно использовать слова, вышедшие из употребления. «Фишка» в том, что язык развивается и всегда «впитывает» в себя лексику других языков. Такой подход позволит сохранить этимологию корней и понять их точный смысл без навязанного временем смысла и подмены понятий. Особенно это проявляется, когда заканчивается корпус слов и начинается переход на смежные темы или темы с одинаковыми понятиями.
Синтаксическая структура. Упор на создание структур предложений разного качества и количества, с различными речевыми оборотами и стилями. Подход призван сделать ответы более «живыми».
Семантическая значимость. Основные моменты связаны с «бесшовным» сохранением структуры текста и плавным переходом смыслов внутри него.
Контекст и тематическая связность. Важно соблюдать тематику повествования и следить за тем, чтобы сгенерированные данные придерживались одной линии и не «уходили» в сторону. Кроме того, нужно следить за балансировкой исходного словаря и преобладанием тем внутри него, а также определять состав по основным темам. Для этого предлагается включить в модель (тот же чат-бот) внутреннюю модель, которая в реальном времени будет классифицировать темы и следить за тем, чтобы данные были сбалансированы.
Шум и ошибки. Ставится задача чтобы научить генеративную модель варьировать степени несоответствия строгим правилам, то есть не всегда следовать чёткой структуре языка, иногда переставлять слова, допускать мелкие ошибки и т. д. Похожую задачу мы решали тут. Сейчас это уже наблюдается, например у ChatGPT, но пока ещё слабо выражено.
Диверсификация текста. Нужно разнообразить стиль, тон и манеру речи. Реальные люди не всегда придерживаются декларативного формата повествования и часто переходят от одного формата к другому, причём зачастую неосознанно.
Использовать предпосылки для генерации текста. То есть предлагается совершенно новый подход: не сразу выдавать пользователю ответ на его запрос, а для начала накидать ему пару вопросов. По их качеству сразу будет примерно понятен вектор. Таким образом, мы отталкиваемся не от модели, а от клиента, делая генерирование более сбалансированным. Здесь можно уточнить у клиента (2-3 вопроса не больше), какие именно данные вызывают трудность и в чём основная причина их генерирования, что хотелось бы дополнительно учесть. То есть мы делаем генерирование более целевым, так как уже на этом этапе оптимизируем количество генераций.
Использовать статистические методы. Метод синтетического контроля, метод событийного анализа, оценка контр-фактического результата, пермутационный тест, апостериорный анализ, синтетический контроль, синтетический метод сравнения разностей, пенализированный синтетический контроль, методы событийного анализа.
Инструменты
Помимо упомянутых выше платформ и больших фреймворков сегодня наиболее популярны GAN (General Adversal Networks), VAE (Variational Auto Encoder) и AR (autoregressive model). Ещё есть производные модели CTGAN, WGAN и WGAN-GP. Совсем недавно «выкатили» неплохой инструмент SmolTalk для обучения языковых моделей с помощью генерирования синтетических данных, его выложили на Huggin Face. Обзор этой модели представлен здесь.
Кроме того, есть достаточно много репозиториев, например, этот: здесь представлены наборы данных, инструменты, методики, блоги. Достаточно неплохой обзор представлен здесь. Также есть целая платформа Synthetic Data Vault для лёгкого обучения синтезированию на табличных данных.
В последующих статьях этого цикла я продолжу тему подбора и тестирования инструментов генерирования данных, чтобы вы представляли границы их применимости в работе. Также есть идея составить граф по сгенерированным данным с последующей оценкой его характеристик и попытками посмотреть, насколько это граф корректен и как он соотносится с графом реальных данных по используемым темам и полученной классификации.
Одна из самых больших проблем заключается в том, что необходимо рассчитать или примерно прикинуть момент, когда модели начнут деградировать. Вы скажете: «Мы видим только рост, уже решаются олимпиадные задачи, придумываются лекарства и доказываются теоремы». Но я считаю, что это ширма, и первые сигналы уже видны. Крайне скоро во главу угла встанет разнородность синтетических данных, а для этого, как я уже упоминал в предыдущих статьях, потребуется новый генератор псевдослучайных чисел. Один из претендентов — квантовые вычисления.
