Как стать автором
Обновить

YandexGPT в Алисе: как мы создаём языковую модель нового поколения

Время на прочтение7 мин
Количество просмотров45K
Всего голосов 52: ↑49 и ↓3+61
Комментарии82

Комментарии 82

Недавно экспериментировал с ChatGPT 3.5 в Телеграме. И он не смог мне помочь в поиске. А вопрос был такой: "Найди фотографию Сильвестора Сталоне в 50 лет." А ваш помощник справится?

Сейчас YaGPT не подключена к поиску. Модель помогает сочинять тексты или генерировать идеи, но не искать контент. С поиском фотографий Сталоне отлично справится поиск Яндекса по картинкам.

С поиском фотографий отлично справится поиск Яндекса по картинкам.

Когда то предлагал в службу поддержки поиска по картинкам Яндекс предложение: добавить возможность отображать изображения по поиску по сайту где основное его наполнение содержимым — текстовое, как по аналогии работает у Google. Ответили, что интересная идея, но как вижу не реализованная и сейчас.


P.S. Пример такого запроса на сайте Github на Яндекс поисковике
в сравнении с запросом на Google
чтобы было более понятно о чём написано выше.
(на других поисковых системах тоже могут быть отличия и хотелось бы чтобы выдаваемый контент не был ограничен в пролистывании его)


Думаю, и при задействовании технологий AI для такого запроса, результаты ещё более адекватно можно формировать, если обучить нейросеть анализу таких запросов на "изображениях"

Мне понравилась ваша модель, она такая выдумщица:

Вопрос: Что можно сказать про "Пикник на обочине" Стругацких?

Часть ответа: "Пикник на обочине", написанный Аркадием и Борисом Стругацкими, является одним из самых известных произведений в жанре научной фантастики. Это история о группе исследователей, которые отправляются на планету, где происходят странные и опасные явления.

Яб почитал.

Так ты попроси ее написать такую.

Просто любопытно, а какой ответ вы ждали? 3.5 не подключена к сети, если мы именно про openAI-модель, она не умеет в картинки, как четверка, я правда в некоторой растерянности… Описание фотографии может быть?

Он ожидал любой ответ, который бы позволил сказать "фигня ваши модели"

Ну до этого мы хорошо с ним обсудили сюжет нескольких фильмов. Он мог бы дать ссылку или ответить в каком фильме Сталлоне снимался в этом возрасте. Вариантов много для настоящего искусственного интеллекта)

используй CatGPT, он даже гифку скинет )) Не факт, что Сталоне, но всё же...

Потискать YandexGPT кроме как с Алисой где-нибудь еще можно?

Пока нет, но следите за новостями. У нас большие планы.

А есть ли среди этих планов выпуск в опенсорс моделей вменяемого размера?

Пока говорить об опенсорсе рано, так как наша новая модель находится в активной стадии разработки. В планах большие изменения как на уровне датасетов, так и в стадиях обучения.

Звучит как "нет", но непонятно зачем для этого понадобилось 2 предложения.

Она ещё учится.

Если не секрет, то какой размер YaGPT в Алисе?

XXL

НЛО прилетело и опубликовало эту надпись здесь

Немного умеет, но целенаправленно в эту сторону мы пока её не тренировали. Можно попробовать, время от времени у модели получается решить задачу.

Я правильно понимаю, что обучая модель в одну сторону, мы ухудшаем параметры другой? Т.е. не получится совместить идеального писателя и программиста в одной модели. И, если так, разумно ли разделять их в разные и делать модель-классификатора, которая бы выбирала какую стоит использовать?

Сорри, если вопрос слишком дилетантский :)

У нас есть вера в то, что базовая модель должна быть максимально эрудирована во всех областях. Тогда на её основе легко можно будет решить любую задачу. 

А по предложенной архитектуре, если честно, то нам самим не понятно, сработает ли она.

Так по сути в chatGPT4 эрудированность в спец областях сделали при помощи дополнений. Можно в принципе и с YaGPT сделать натринеровав на спец области модель и заставить общую модель обращаться к модулю при необходимости.

Таким образом вся модель будет подцеплять ни весь размер обученных данных, а необходимы выбираемый пользователем!!! Это позволит людям самим решать нужен ли им "долгий" ответ или "быстрый" менее качественный...

Вопросы по возможностям.

Обучение на разных языках? Можно будет попросить переформулировать фразу на другом языке?
Насколько полученные фразы будут похожи на исходные тексты? Есть ли риск нарваться на такой же плагиат как в шедевруме?
Факт-чек: насколько хорошо модель натренерована проверять корректность фактов? Будет ли она, рекомендуя книгу, давать название одной, автора другой, а сюжет третьей, просто потому, что с точки зрения языковой модели получается стройная фраза?

Да, с названием книг и авторов к выдаче — это эпичный фейл от нейронки, как и ссылки на несуществующие проекты, к примеру, сайта Github. :)


Показываешь ей список книг с Википедиа — запоминает, а потом всё благополучно забывает, чему в принципе есть объяснение.
Такой у нейросеток — перманентный "День сурка".


P.S. То, что они пытаются даже просто по одной предоставленной ссылке в качестве запроса выдать неизвестное им содержание, думаю, даже нет смысла упоминать.

Справедливости ради, я с такими проблемами с ChatGPT сталкиваюсь. Конкретно с соответствием название-книга-сюжет. А вот если просишь дать описание персонажа - работает хорошо.

Будет ли она, рекомендуя книгу, давать название одной, автора другой, а сюжет третьей, просто потому, что с точки зрения языковой модели получается стройная фраза?

Видимо, будет. Мне она сказала, что в "Побеге из Шоушенка" снималась Джуди Фостер в роли Энни Уилкс. Тим Роббинс же сыграл в нём Рея Бредберри.

Сильно...

"Расскажи мне про трансформеры"

И снова, так же как в поиске, оно не уточняет, которые трансформеры я имею в виду.

Товарищи создатели-прикручиватели ИИ к чему угодно, когда научите, а?

Почему в статье выше на вопрос "Придумай колючку" в ответе yagpt не было ни одной колючки ?

Подобно человеку, модель догадалась, что на самом деле имел ввиду пользователь.

Результат пока заметно не дотягивает до chat GPT 3.5, но появление контекста порадовало. Диалог держит и отвечает на уточняющие вопросы. Общаться с Алисой стало местами интересно.

Интересно, насколько будет рабочей стратегия собирать тексты только на русском? Количество готовых или легко генерируемых быстро кончится, но для ответов на повседневные вопросы может хватить.

А это точно именно ваша собственная разработка, а не тюненый ChatGPT? Как минимум на один вопрос был ответ слово в слово, как отвечал ChatGPT

Да, это точно наша собственная разработка. ChatGPT не используется ни в виде API, ни в виде его ответов в обучающей выборке.

Было бы интересно что такое YaGPT  внутри

  • Это одна из opensource архитектур LLaMa, BERT, GPT.. или своя?

  • Веса - полностью обучили с нуля или finetune?

  • Сколько параметров, хотя бы порядок

  • ...т.п.

Это не троллинг а действительно интересно

За статью спасибо

Например, модель не знала, что она Алиса (не могла назвать своё имя, своих создателей, интересы и многое другое).

То есть вы решили захардкодить информацию в саму сеть, а не как Open AI - оборачивает промпт пользователя в некоторый набор фактов? А ля

ты алиса - голосовой помошник от яндекса
ты не знаешь последних новостей
ты не используешь в речи нецензурные слова
.....
{USER PROMPT}

Мы попробовали отвечать всегда с подводкой, но тогда модель начинала чаще отказываться отвечать на вопрос, даже не касающийся ее личности.

Хотелось бы API, по аналогии того, что есть у chatgpt. У вас не планируется такое? Пользуюсь api вашей озвучки, ваш ГПТ было бы идеально добавить. Ибо сейчас Yandex SpeechKit у меня в проекте озвучивает chatgpt, что не очень удобно

Скрин 1

Скрин 2

На мой взгляд просто болтать с моделью не так ценно, уже более менее все наболтались. Нужно подключать её к практическим задачам с помощью API и других инструментов. OpenAI не так просто выкатили плагины с узкоспециализированным назначением, типа "Залей в модель PDF и оно тебе ответит на вопросы по ней".

Так что, имхо, вам следовало бы сделать первым приоритетом именно создание интерфейсов для практического подключения к чему-нибудь. Платных, разумеется, но я бы вот сходу подписку купил на такую штуку.

https://huggingface.co/spaces/IlyaGusev/saiga_13b_llamacpp_retrieval_qa

Отечественный опенсорсный вариант "Залей в модель PDF и оно тебе ответит на вопросы по ней". В облаке правда может долго грузиться, но можно поставить себе на комп.

а вы уже научили ее врать и скрывать данные про Путина?

Эту модельку еще в прошлом анонсе про крым поспрашивали — ничего не знает.

Учитывая насколько сложно построить достоверную фактологию про подобные регионы есть шанс, что оно даже в тренировочные данные не добавлялось. Не считая какой-нибудь очевидной фактологии касательно географии региона.

Немного поэкспериментировал сейчас. Либо намеренно не добавлялось, либо на них заглушка.

Она может рассказать про не очень известные города Маринга (Бразилия), Ньяла (Индия), Безенчук (Самарская область), Шмекино (Брянская область), Арканар (неназванная империя) и Осгилиат (Средиземье), но про Киев, Севастополь и Шебекино говорить отказывается.

Кстати, города Шмекино не существует

Заглушено.
Так же как у "кадинского" — если в промте есть слово "Украина" в любой вариации, то выдаёт ромашковое поле.

Как-то пожёстче даже. Отвечает на "Кто такие уральские казаки?", но не отвечает на "Кто такие донские казаки?". Хотя где родился Гоголь и кто такой Иван Франко - отвечает.

Она в принципе отказывается отвечать на вопросы где есть слова русский или украинский, Россия, или Украина. Назвать самое большое озеро или город, или писателей. А озеро Балхаш у нее граничит с Узбекистаном. В общем там что-то мудрят, боятся задеть пользователя.... 5 самых больших городов в Казахстане может назвать, а в России сильно стесняется, не хочет обидеть)

Шикарный вопрос)

Упс, на это автор статьи почему-то не смог ответить. Я думаю, то скажут, то сделают. Работа-то хорошая, в Яндексе.

А чего не привели сравнения с ChatGPT? Обычно, когда вы своими алгоритмами хвастаетесь, то стараетесь этим рекламироваться, вспомнить тот же catBoost, а что пошло не так в этот раз?

Опыт проверки нового функционала:

- Алиса, давай придумаем...

- Я это, конечно, умею. Но в другом приложении.

А в каком приложении вы пробуете? Карты/навигатор?

Да. Я про другие и не знаю. Алиса же не посчитала нужным сообщить, в каких она это умеет.

Работает в приложении Яндекс, в Яндекс Браузере, на www.ya.ru и в колонках/телевизорах.

НЛО прилетело и опубликовало эту надпись здесь

Кликнуть на Алису и сказать «Давай придумаем (кроме Линукса и Мака — там пока только на ya.ru).

Может на фоне chatgpt, а может все силы брошены на новые горизонты, но яндекс-станция стала как-будто бы тупее, чем раньше.

Расскажите, пожалуйста, в каких сценариях Станция стала отвечать вам хуже?

Накрытая подушкой

Из сегодняшнего Алиса, что такое тертый калач? Блабла, а еще я узнала что такое тертый калач.

Теряет контекст при запросах погоды. Раньше при "а завтра" - продолжала. Теперь может вовсе "а чо завтра?"

Да станция всегда была туповата. Например на запрос "включи радио/музыку завтра в 8 утра" отвечает "Ага" и на этом всё. Утром тишина.

Объясните, а какие требования по железу для уже обученной модели? Может ли это работать на ПК? Просто любопытно.

В прошлой статье для запуска просили 250gb VRAM. Вряд ли требования уменьшились

Очень надеюсь, что вы сделаете API к YaGPT, уже куча идей по интеграциям

В Яндекс колонке это точно появилось или надо как-то обновить? Только купил ее, пытался с ней пообщаться, но контекст она не запоминает, в одном из диалогов, она даже сама сказала, что не поддерживает контекст. И вообще она довольно странная, переводческие вообще не отвечает, либо ответить на простой вопрос, просто отсылает в приложение. А первая настройка это вообще отдельное страдание

YandexGPT работает, если сказать «Алиса, давай придумаем». То есть пока в отдельном сценарии.

А возможность сказать "Алиса позвони Маме" и получить ожидаемый результат уже сделали? Я с интервалом в год устанавливаю ассистент, пробую эту, базовую, на мой взгляд, функцию и удаляю.

Эм, вроде бы этот функционал есть в базовой поставке Гугл асистанта и эпловской Сири?

Есть, ваша правда. Я то том, что Яндекс активно продвигает Алису, в т.ч. и как ассистента для мобильников. Функцию управления плейлистом в Навигаторе зачем то сделали, одно время она конфликтовала с построением маршрута, а эту функцию почему то не делают.

Я вспомнил что мне в прошлый раз не понравилось. Ассистент требует визуальный контакт. Учитывая что пользуюсь этим исключительно за рулём, не комильфо.

Пробую, если у контакта один номер требует тап на звонок, если насколько ещё и прочитать мелкий шрифт на экране. Гугл как минимум с 14 года справляется одним голосом (хотя в 14 году работал как по мне лучше)

Для сторонних приложений доступы могут быть не такие же, как для своих.

Попытался позадавать вопросы этой нейросети. Судя по всему, она очень жёстко зацензурирована. Видимо как политические темы воспринимаются даже чисто энциклопедические вопросы, вроде "перечисли список президентов Франции".

Ну и, как это всегда бывает с подобного рода моделями, бред они выдают очень легко. Например, эта нейросеть утверждает, что дескать не существует квадратного корня из минус единицы.

  • Чему равен корень из единицы?

  • Корень из единицы не имеет точного значения в десятичной форме. Однако, он может быть приближен к числу 1.000 000... (с бесконечным числом нулей после запятой).

Кого может обидеть шутка?

Вот ChatGPT

Оно все еще странное и неадекватно зацензуренное
Оно все еще странное и неадекватно зацензуренное

Меня вчера удивила Алиса которая в Яндекс навигаторе. Вместо того чтоб найти населенный пункт и показать его на карте, она начала заигрывать со мной типа "А что там такого интересного?" и что то еще такое же бестолковое. Как будто это Алиса из Яндекс станции. Крайне бесит, когда ты за рулем и используешь голос чтобы не тыкать на ходу в телефон. Только с третьей попытки прямым указанием "построй маршрут до ..." она согласилась выполнить эту функцию. Это тоже ЯндексГПТ или как? Зачем поломали то?

Яндекс, я сделал вам нормальную Анфису, которая не хамит. Не благодарите, плюсуйте в карму молча.

Жесть, конечно..)

Не хамит, но на токсичное поведение выходит

Опять у нас в рунете всё, не как у людей. Сделали ли бы полноформатный чат, как у бинг или опенаи с форматированием текста и подсветкой кода на весь экран - цены бы не было. А то это окошко "давай придумаем" (сколько там?.. 100 пикселей в ширину наверно) на мониторе еле видно. Что-нибудь ответит длинное - и начинаешь в поисках концов туда-сюда окно мотать. Попросил программку на nodejs написать - текст в ширину не влазит, строки переносит, шрифт тот же - всё сливается.

Ну не удобно этим в работе пользоваться. Зачем велосипед изобретать? Сделайте как у бинг - отдельный сервис с оформлением и историей. Вся страна туда залетит нейросетку обучать.

И какая-то ерунда с ограничениями. Пишу "напиши астрологический прогноз для всех знаков". Мне в ответ "текст может содержать шокирующий контент, не буду я тебе его писать". Я считаю, что такие чаты должны быть инструментом. Пользователь инструмента уж решает что шокирует, что нет.

Зарегистрируйтесь на Хабре, чтобы оставить комментарий