Коллективное общение с ИИ, когда все участники группы видят вопросы друг-друга, — это принципиально новая идея.
Апробация идеи на студенческой группе и группе жилого комплекса показала, что ChatGPT 3.5 turbo в Telegram работает быстрее и удобнее, чем с официальной страницы, не нужна регистрация и VPN. И людям это нравится. И нравится, что это бесплатно.
Что сделано
Первым шагом Лев @Levunt1nсделал бота для группы студентов и преподавателей первого МГМУ им. И. М. Сеченова. И в группу посыпались вопросы преимущественно про апоптоз, экспрессию генов, антибиотикорезистентность, определения интеллигентности и трюки в сноубординге.
Вторым шагом Дмитрий @diprogразработал бота для группы с темами. Группа в виде форума (или «суперчата») позволяет создать в одной группе несколько параллельных веток.
Поместить бота в тему группы не очень просто. Дмитрий разработал бота, который это может. Плюс бот отвечает не очередным ответом в тему, а ответом на заданный вопрос с цитированием, это удобно.
Бот настроен так, что его нельзя "угнать" из группы. Иначе ботом будет пользоваться неограниченное число людей и любые лимиты исчерпаются.
Наблюдения за пользователями
Люди ОЧЕНЬ разные:
Как оказалось, собственных вопросов у большей части людей вообще нет. Люди добавляются в группу, но не задают ни одного вопроса. Некоторые же задают вопросы один за другим, да все разнообразные, интересные;
Кто-то задает короткий вопрос и удовлетворяется ответом; другие задают вопросы последовательно, делая выводы из предыдущих ответов и упорно двигаясь вперед;
Некоторые бросают боту короткие команды, будто приказы. Другие обращаются к машине вежливо и благодарят за ответы. Причем форма обращения и благодарности каждый раз разная, и увязана с индивидуальной историей диалога;
Одни радуются возможности спросить все, что приходит в голову; другие осторожно выясняют уровень конфиденциальности, спрашивают кто еще видит ответы, и в курсе ли «товарищ майор»;
Одни спрашивают рецепт шарлотки; другие уточняют корректность использования функции Миннаэрта в модели Блинна-Фонга.
И у всех постепенно вопросы заканчиваются. Даже самые активные спрашивать прекращают, и жизнь в чате затихает. Но время от времени пользователи возвращаются и задают вопросы уже не из любопытства, а по насущной потребности. И из диковинки нейросеть превращается просто в справочник.
О степени адекватности нейросети
ChatGPT не имеет цели и какой‑то постоянной «картины мира» в «голове». Я попытался написать для студентов методичку по статистике, используя бота. Но оказалось, что с каждым новым запросом нейросеть переходит на другие модели, методики и определения; и пользоваться такой методичкой нельзя.
Студенты пробовали решать задачи по химии, но результат плачевен — бот дает подробные и правдоподобные, но неверные ответы.
Решение нейросетью сложных задач похоже на поведение восьмиклассника, который нахватался умных слов и сочиняет правдоподобный ответ.
В некотором смысле chatGPT «без царя в голове» — сумасшедший. Обсуждая с друзьями это его свойство, мы пришли к девизу: «Сумасшедшего советчика, тренера и инструктора — в каждый дом!».
Наибольшая ценность — это люди, задающие вопросы. Открыв доступ к боту, openAI получила огромную базу вопросов. Ценную тем, что закрывает потребности большинства.
Предположительно, openAI анализирует эти вопросы и методом «principal component analysis» вычленяет основные темы, в каждой теме вычленяет основные вопросы, а затем живые сотрудники openAI рассылают эти вопросы по институтам с просьбой дать ответы, на которых обучится следующая модель. И через год новое поколение внятно и поражающе точно ответит на вопросы более чем 99% пользователей. Эти 99% будут в восторге, и только оставшийся 1% поймет, что общается с сумасшедшим.
А затем бота будут подключать к почтовым серверам компаний, чтобы он прочитал архив и смог отвечать на вопросы руководства "что у меня в компании происходит и как от людей добиться того или иного результата?". И вместо неадекватного руководства мы будем корить управляющий нами сумасшедший ИИ.
Почему Telegram?
Самый быстрый и удобный механизм с доступом через смартфон. И администратору очень просто при необходимости забанить токсичного неадеквата, и оптом стереть все того, что он попытался вылить на сообщество.
Где можно попробовать?
Студенческую группу мы решили не "светить", она драгоценная, пусть останется миром уникальных диалогов симпатичных и любознательных людей. В чате ЖК совсем грустно.
И поэтому создали общедоступную группу с отдельным ботом на выделенном сервере специально для Habr. Посмотреть что будет.
Настройки бота
ChatGPT склонен к пустословию. Когда midjourney не очень понимает задание, он рисует красивых девушек. Когда не очень понимает задание chatGPT, он пустословит и читает нотации. Для минимизации пустословия подобрали следующие параметры:
"Temperature" контролирует разнообразие ответов. Значение по‑умолчанию 1,0 уменьшено до 0,7 чтобы уменьшить объем выдачи, не относящейся к ответу.
"Top_p", также известный как "nucleus sampling", уменьшен с 1,0 до 0,5, что помогает уменьшить общий объем текста.
"Presence Penalty" и "Frequency Penalty" увеличены с 0,0 до 0,5, что уменьшает частоту использования моделью одних и тех же выражени��.
Во сколько обходится
ChatGPT 3.5 turbo расходует токены. Неограниченное количество пользователей лимит выберет, но любая активность ограниченной группы выбрать лимит не сможет.
Оплата chatGPT3.5 turbo происходит по модели pay-to-go по завершении месяца. Сколько токенов потратилось, столько с карты и спишется. Это крайне неудобно, поэтому пришлось установить месячный лимит. Предположительно, в первый месяц лимит вычерпается и нужно будет доплатить. Но судя по опыту с предыдущими группами через месяц активность пользователей значительно снизится. Через год планирую выложить здесь раскладку по расходам, сейчас она непонятна.
Также настроено ограничение длины контекста в 4 сообщения, т.к. это должно сильно сэкономить расход токенов. Начало беседы длиннее 4х сообщений (два своих сообщения и два сообщения пользователя) бот не помнит.
Для бота группы института или компании оплата за год должна быть смехотворной и можно длину контекста не ограничивать.
Как оплачиваются токены? Также как Midjourney — с помощью умельцев, берущих небольшую комиссию.
Цель
У большинства "матросов нет вопросов". Это грустная, но правда. Вопросы задает очень маленький процент людей. Эти люди невероятно ценны, их стоит читать.
