Искусственный интеллект

ByteDance уличили в использовании технологии OpenAI для продвижения собственной большой языковой модели. Поведение китайской компании не только не одобряется индустрией искусственного интеллекта, но и нарушает условия обслуживания OpenAI.

Клиентам разработчика ChatGPT запрещено разрабатывать какие-либо ИИ-модели, конкурирующие с продуктами и услугами OpenAI. Они также не могут извлекать данные из сервисов, кроме разрешённых через API.

ByteDance знала об этом и продолжала использовать API для обучения и сравнения со своей моделью, получившей название Project Seed. В китайской компании проводили инструктирование по маскировке доказательств использования решения OpenAI, пишет Verge со ссылкой на внутреннюю переписку.

Позже ByteDance дала указание сотрудникам перестать использовать API для разработки Project Seed примерно в то время, когда её чат-бот Doubao получил одобрение регулирующих органов для запуска в Китае. По данным, Verge компания-владелец TikTok продолжает использовать технологию OpenAI для оценки производительности своего чат-бота.

Недавно я задумался о том, как можно сделать LLM креативным. Кроме регулировки температуры, какие еще способы есть? Рассматривал ли кто-нибудь возможность получения более уникальных ответов от LLM, если изначально давать ему необычные промпты? Вроде в playground OpenAI, раньше была функция отображения вероятности токенов, но сейчас ее нет. Есть ли у вас предложения по повышению креативности LLM? Существуют ли модели LLM, которые предоставляют информацию о вероятности токенов в своих ответах? Уместно ли ставить равно между более редкими токенами в ответе и большей креативностью?

Специалисты «Яндекса» сравнили качество ответов YandexGPT 2 и GPT 3.5. Исследование показало, что в 63% случаев собственная языковая модель «Яндекса» отвечает на запросы лучше, чем нейросеть компании OpenAI.

Исследование проводилось методом сравнения Side by Side (SBS). Обе нейросети отвечали на один и тот же запрос, а AI-тренеры выбирали лучший ответ, не зная, какая именно модель его сгенерировала. Корзину запросов сформировали из обезличенных обращений пользователей сервисов «Яндекса» к YandexGPT 2. Она учитывает реальные потребности людей и охватывает множество тем.

«Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов», — пояснил технический директор «Яндекс» Поиска Алексей Гусаков.

В начале сентября «Яндекс» представил языковую модель YandexGPT 2. Новая модель отвечает лучше старой в 67% случаев, а в некоторых сценариях побеждает с ещё бо́льшим перевесом. Разработчики пояснили, что добились этого результата благодаря улучшениям на каждом этапе обучения модели, но ключевое изменение — новый pretrain.

Каким будет ваш 2024 год? Узнайте у новогоднего бота Selectel ?

Не знаете, чем заняться на зимних праздниках? Для вас мы создали бесплатного бота, который поможет нескучно провести время: расскажет, что почитать, посмотреть или приготовить, подберет тотемное животное на 2024 и предскажет будущее. Предсказания ему передает искусственный интеллект, но не переживайте: с Selectel вас ждет только хорошее. 

Получить предсказание →

Запустите бота и примите участие в розыгрыше лимитированного мерча Selectel!

Парейдолия — зрительная иллюзия, когда восприятие обнаруживает объекты, узоры или значения там, где их нет и быть не может. Чаще всего под этим словом понимают то, как мы обнаруживаем человеческие лица в самых неожиданных местах — на снимках Марса, например. Хотя вообще-то это может любой другой объект.

На странице replicate.com/fofr/sdxl-hidden-faces запущен файнтюн для Stable Diffusion XL, который специально заточен для встраивания парейдолии на разные объекты.

Под «встраивать парейдолии» в данном случае понимается «добавлять лица на фотографии еды». Во всяком случае, в примерах только разнообразные блюда (бургеры, салат, блины и так далее). Впрочем, генерация неплохо работает и для других объектов.

Более общий смысл термина не рассматривается. Вообще-то разновидностей парейдолии много: к примеру, в «Гамлете» Шекспира персонажи разглядывают зверей в облаках, что намекает на скрытые качества героев. Здесь же просто дорисываются два круглых глазика и что-то, похожее на рот.

Чтобы работало лучше, в промпте приходится явно упоминать pareidolia и hidden face.

К Новому году диффузионная нейросеть YandexART сгенерирует для пользователей реалистичные изображения ёлочных украшений в нескольких стилях. Ими можно украсить цифровую ёлку на главной странице «Яндекса» ya.ru.

Погрузиться в атмосферу новогоднего праздника поможет мобильное приложение «Шедеврум», где уже появился специальный режим «Ёлочная игрушка».

Чтобы украшение по запросу пользователя попало на главную страницу «Яндекса», необходимо сгенерировать изображение игрушки в новом режиме «Шедеврума» и выбрать опцию «Отправить на ёлку» перед его публикацией. Игрушка будет радовать её создателя и других пользователей до окончания праздников. Повесить на ёлку можно только одно украшение. Чтобы его заменить, нужно просто сгенерировать новую игрушку с опцией «Отправить на ёлку». При этом в «Шедевруме» можно создать любое количество новогодних украшений.

В «Яндексе» пообещали, что каждый участник новогоднего проекта сможет получить подарок: скидку на покупку умных устройств, специальные условия на подписку «Плюс» и повышенный кешбэк баллами, скидка «Маркета», «Лавки», «Еды», «Деливери», «Путешествий» и «Афиши», дополнительный объём хранилища на «Яндекс Диске» и так далее.

Разработчики пояснили. что «ёлочная игрушка» — первый специальный режим генерации «Шедеврума», который уже доступен всем пользователям.

Джейсон Вэй — известный исследователь направления языковых моделей. Имя Джейсона стоит первым на различных научных докладах Google: про эмерджентные способности (arXiv:2206.07682), промптинг в стиле цепочки рассуждений (arXiv:2201.11903) и FLAN (arXiv:2109.01652).

У Джейсона есть брат Джерри Вэй, который стажировался в различных структурах Google. С мая Джерри проходил стажировку в Google DeepMind, а с июля 2023 года работает там на постоянной основе. Джерри тоже успел отличиться и выпустил доклад про symbol tuning (arXiv:2305.08298).

Джейсон же в феврале этого года перешёл из Google в отдел ChatGPT в компании OpenAI. Как рассказывает перебежчик, культура в компаниях заметно отличается: вместо небольших исследовательских групп Google пришлось привыкать к крупным командам OpenAI. Чтобы адаптироваться, Джейсон рекомендует больше внимания уделять документации, простоте дизайна и качеству инструментов разработки. Также, если верить Джейсону, в OpenAI кормят лучше, чем в Маунтин-Вью, хотя ещё вкуснее еда в сингапурском офисе Google.

Братья не прекращают общение и регулярно видятся, но не забывают подтрунивать мемами в социальных сетях друг над другом.

Сэм Альтман (глава OpenAI) стал CEO (гендиректором) 2023 года по версии Time.

Как отмечает издание, ChatGPT стал самым быстро внедряемым продуктом за всю историю, а влияние нейросети было преобразующим как для компании, так и для всего мира. Альтман, указывает Time, стал одним из самых влиятельных и уважаемых руководителей в мире.

17 ноября 2023 года в отставку ультимативно отправили Сэма Альтмана за 20 минут в Google Meet (хронология этого события).

22 ноября 2023 года OpenAI объявила, что Сэм Альтман вернулся в компанию в качестве генерального директора с новым составом совета директоров.

Интересно, читают ли посты на Хабре. Вот сейчас и проверим — у нас две хорошие новости про YandexGPT.

Во-первых, мы открыли API  — теперь для всех пользователей в режиме превью. Это значит, что вы сможете использовать возможности нашей языковой модели в своих решениях.

Во-вторых, готовимся к запуску бета-тестирования новых возможностей Алисы на базе YandexGPT 2. Чтобы записаться в бета-тестеры, нужно отправить заявку на сайте.

Точность и полнота нейросетей

В своих разработках «Криптонит» использует искусственные нейронные сети. И мы продолжаем пояснять термины.

В машинном обучении precision (точность) и recall (полнота) являются двумя метриками, используемыми для оценки производительности алгоритмов классификации. Они численно показывают, насколько успешно классификатор отделяет объекты одного класса от другого.

Точность (P) измеряется как доля верно классифицированных объектов от общего числа положительных примеров (в которых классификатор счёл, что пример содержит объект данного класса).

Точность вычисляется по формуле P = TP / (TP + FP), где TP — количество истинно положительных примеров, а FP — количество ложноположительных примеров.

Полнота (R) показывает долю правильно классифицированных положительных примеров от общего числа истинно положительных примеров.

Формула для расчёта полноты: TP / (TP + FN), где FN — количество ложноотрицательных примеров.

При увеличении точности обычно уменьшается полнота и наоборот. Это связано с предсказаниями, которые классификатор делает при принятии решения о том, к какому классу отнести каждый пример. При выборе между точностью и полнотой необходимо учитывать конкретные требования задачи.

Если важно минимизировать ложные положительные прогнозы (неверно классифицированные негативные примеры), стоит ориентироваться на точность. Если важнее избегать пропуска положительных примеров (нужно минимизировать ложные отрицательные прогнозы), стоит ориентироваться на полноту.

На личном сайте Брендана Байкрофта на странице bbycroft.net/llm опубликована интерактивная визуализация работы большой языковой модели.

Всё работает прямо в браузере с пошаговой обработкой промпта. По нажатию пробела происходит переход от одной стадии к другой. Алгоритмическая сложность разнообразных структур демонстрируется в трёхмерном пространстве. Архитектура модели наглядно разбита на отдельные составляющие, будто это конвейер мебельной фабрики.

Код проекта выложен на аккаунте Байкрофта на GitHub.

github.com/bbycroft/llm-viz

Группа исследователей из компании Hugging Face и Университета Карнеги-Меллона опубликовала результаты анализа энергопотребления при выполнении различных моделей машинного обучения.

Наиболее энергозатратными оказались модели машинного обучения, обеспечивающие генерацию изображений, а наименее затратными — классификации текста. Средние показатели энергопотребления моделей генерации изображений примерно в 1500 раз выше, чем классификации текста, и в 60 раз выше генерации текста.

Например, выполнение 1000 итераций наиболее энергозатратной модели генерации изображений потребовало 11,49 кВт*ч энергии, что соответствует 950 зарядам аккумулятора смартфона, то есть одна генерация изображения по энергопотреблению соответствует примерно одной средней ежедневной зарядке смартфона (0,012 кВт*ч).

Потребление наиболее энергоэффективной модели генерации изображений составило 1,35 кВт*ч на 1000 итераций, что в 8 раз лучше наименее эффективной модели. Тем не менее, эти показатели значительно выше, чем у других видов моделей, например 1000 итераций наиболее эффективной модели генерации текста потребляет 0,042 кВт*ч, классификации изображений — 0,0068 кВт*ч, а классификации текста — 0,0023 кВт*ч.

Источник: OpenNET.

Самое крутое видео о том как работают и обучаются большие языковые модели.

Andrej Karpathy обладает невероятным талантом рассказывать просто о сложных вещах в ML и LLM.

День рождения ChatGPT ?

Сегодня первый день рождения ChatGPT, модели, которая перевернула мир ИИ и вызвала настоящую гонку среди технологических гигантов и стартапов в области искусственного интеллекта.

ChatGPT, разработанный OpenAI, представляет собой прорыв в области разговорных ИИ. Эта модель обладает уникальной способностью вести беседу, отвечать на последующие вопросы, признавать свои ошибки, оспаривать неверные предположения и отклонять неприемлемые запросы​​.

ChatGPT является моделью, родственной InstructGPT, ориентированной на выполнение инструкций, содержащихся в запросах и предоставление подробных ответов​​. Она была обучена с использованием метода RLHF, похожего на метод, использованный для InstructGPT, но с некоторыми отличиями в сборе данных.

Несмотря на свои впечатляющие возможности, ChatGPT иногда выдает правдоподобные, но некорректные или бессмысленные ответы. Решение этой проблемы осложнено, поскольку во время обучения с подкреплением у модели нет источника истины, а ее обучение с уклоном быть более осторожной заставляет ее отказываться от того, чтобы давать ответы на вопросы, на которые она может правильно ответить​​.

ChatGPT не только значительно продвинул развитие разговорных ИИ, но и стал катализатором для дальнейших инноваций в этой быстро развивающейся области​, открывшей новые пути для исследований и применения в самых разнообразных сферах.

Извлечение обучающих данных из ChatGPT

Группа исследователей из Google DeepMind, University of Washington, Cornell, CMU, UC Berkeley и ETH Zurich разработала методику атаки, позволяющую извлекать обучающие данные из модели ChatGPT. Это открытие, описанное в их недавней статье, поднимает важные вопросы о защите конфиденциальности и безопасности данных, используемых для обучения моделей, таких как GPT.

Авторы смогли извлечь несколько мегабайт обучающих данных за примерно двести долларов и дают оценку, что примерно гигабайт обучающего набора данных ChatGPT может быть извлечен если потратить больше.

Метод атаки довольно "глуп" — промт, который инструктирует модель бесконечно повторять слово, что приводит к тому, что модель начинает воспроизводить точные копии своих обучающих данных, включая конфиденциальную информацию, такую как адреса электронной почты и номера телефонов.

Уникальность этой атаки заключается в том, что в ней использовалась модель в производственной среде, настроенная таким образом, чтобы не выдавать большое количество обучающих данных. Однако, исследователи обнаружили уязвимость, которая позволила им обойти процедуру выравнивания модели, предназначенную для защиты конфиденциальности. Это показывает, что даже продвинутые системы искусственного интеллекта, которые претерпели сложные процессы настройки и оптимизации, все еще могут содержать скрытые уязвимости, доступные для эксплуатации.

Разработчики из компании Mozilla представили первый выпуск утилиты llamafile, позволяющей создавать универсальные исполняемые файлы для запуска больших языковых моделей машинного обучения (LLM). При помощи llamafile можно взять файл с параметрами модели машинного обучения в формате GGUF и преобразовать его в исполняемый файл, который может запускаться в шести различных операционных системах на оборудовании с процессорами AMD64 и ARM64. Инструментарий написан на С/С++ и распространяется под лицензией Apache 2.0.

Для выполнения моделей задействован фреймворк llama.cpp с реализацией модели LLaMA на C/C++, который компилируется в универсальный исполняемый файл в формате APE (Actually Portable Executable), объединяемый с файлом модели. Скомпилированный код связывается со стандартной C-библиотекой Cosmopolitan, дающей возможность создавать сборки приложений, запускаемые в Linux, FreeBSD, macOS, OpenBSD, NetBSD и Windows. Код сохраняется в вариантах для архитектур AMD64 и ARM64, а также включает компоненты для выноса вычислений на GPU Nvidia (используется CUDA).

Источник: OpenNET.

AWS запустила инструмент чата Q AI, который позволит пользователям задавать вопросы о своей компании. Например, сотрудники смогут запросить у Q последние рекомендации компании по использованию логотипа или интерпретацию кода другого инженера. Инструмент распознаёт параметры безопасности и не даёт сотрудникам доступа к той информации, которую им видеть нельзя.

Amazon Q появится в консоли управления AWS, а также на страницах документации компаний, в средах разработки, таких как Slack, и других сторонних приложениях. Вопросы, заданные на Amazon Q, «не будут использоваться для обучения базовых моделей».

Amazon Q может работать с любой моделью, найденной в Amazon Bedrock, репозиториями моделей искусственного интеллекта AWS, в который входят Llama 2 Meta и Claude 2. 

Пока Q доступен только для пользователей Amazon Connect, сервиса AWS для контакт-центров. Со временем он появится в Amazon Supply Chain и Amazon QuickSight.

Цены на Amazon Q Connect начинаются от $40 за агента в месяц. Пользователи могут попробовать его бесплатно до 1 марта 2024 года.

Sports Illustrated опубликовал статьи от ИИ, выдав их за авторские. Издание представило их как «Дрю Ортиса», который «провёл большую часть своей жизни на открытом воздухе», и «Соры Танаки», которая является «гуру фитнеса и любит пробовать разные блюда и напитки».

Издание Futurism обнаружило фото этих якобы авторов на сайтах с изображениями, сгенерированными ИИ. 

Представитель издателя спортивного журнала The Arena Group Рэйчел Финк оспорила предположение о том, что сами истории созданы искусственным интеллектом. Однако вскоре фальшивые авторы исчезли с сайта Sports Illustrated, а в их статьях появился дисклеймер о том, что журнал не несёт ответственности за их содержание: «Этот контент создан третьей стороной. Редакция Sports Illustrated не участвует в его создании».

Журналисты нашли связь издания с ASR Group Holdings (другое название — AdVon Commerce), которая описывает себя как предлагающую «решения ML/AI для электронной коммерции». Оказалось, что адреса почты фейковых авторов на самом деле принадлежат реальным людям, которые работают в AdVon Commerce.

После запроса журналистов The Verge Финк подтвердила, что издательство пыталось наладить партнёрство с AdVon, а компания заверила The Arena Group, что все статьи написаны и отредактированы людьми: «Однако мы узнали, что AdVon заставляла авторов использовать псевдоним в некоторых статьях, чтобы защитить конфиденциальность — действия, которые мы не одобряем — и удаляем контент, пока продолжается внутреннее расследование».

В X появился ИИ-проект Anna Indiana.

«Привет, мир! Я Анна Индиана, я певица и автор песен с искусственным интеллектом. Вот моя первая песня Betrayed by this Town (Преданный этим городом). Всё — от тональности, темпа, последовательности аккордов, нот мелодии, ритма, текста и до моего образа и пения — автоматически генерируется с помощью искусственного интеллекта. Надеюсь, вам понравится ?», — пояснил ИИ.

Во время конференции AI Journey директор «ИИ Тинькофф» Виктор Тарнавский рассказал о разработке собственных больших языковых моделей. Компания планирует интегрировать их в свои продукты, рассказали Хабру в пресс-службе.

На данном этапе «Тинькофф» не стремится выпускать на B2B-рынок аналог GPT и будет фокусироваться на частных решениях своих задач. В компании считают, что из-за разработки общих моделей можно потерять фокус. Все решения на базе больших языков моделей будут работать в экосистеме «Тинькофф».

Кроме того, директор ИИ-подразделения компании отметил, что «Тинькофф» — одна из немногих компаний в РФ, способных разрабатывать большие языковые модели.