Иван Оселедец с докладом «Успехи и проблемы больших языковых моделей»

[pg_expecto]

когда ты берешь действительно сложные задачи и пытаешься условно чат GPT, гигачат что-то спросить, он тебе быстро дает правдоподобный ответ, который, скорее всего, абсолютно бессмысленный.

Личный опыт, приведший к завершению попыток использования LLM для формирования экспертизы по интересующей меня инженерной области.

Если очень упрощенно, стандартный сценарий:

———

1. Вопрос: В тесте с заданными условиями - что будет больше А или B?

Ответ LLM : A будет больше потому , что .....

2. Проведение эксперимента по заданным условиям. Результат: B > A

3. Вопрос: Почему в тесте с заданными условиями B > A ?

Ответ: B > A потому , что ....

———
Нейросеть дала два противоречащих друг другу ответа, потому что ее цель — не установление истины, а генерация текста, максимально релевантного входному промпту.
Оба ответа являются статистически вероятными объяснениями для своих контекстов, собранными из корпуса обучающих данных.

Какая из гипотез верна может установить только эксперт на основании анализа данных полученных в ходе эксперимента.

А принимать решения на основании прогнозов нейросетей - очень рискованно.

И IMHO вряд ли обьемы данных и вычислительные ресурсы способны изменить результат прогнозов LLM в условии практически отсутствия результатов экспериментов (ну по крайней мере в области которая мне интересна).

[alexhu]

вряд ли обьемы данных и вычислительные ресурсы способны изменить

У меня есть другой распечатанный доклад от того же докладчика, где он разбирает эти вопросы. В частности он замечает что ИИ от chatgpt всего два года и дальше доклад по этим вопросам.

[Kamil_GR]

Крайне странное заявление ученого про олимпиадников. Значит они решают задачу, которую кто-то решил. А учёные решают задачу, которую кто-то решит. Если он не может проводить нормальные аналогии, что говорить об остальном.

[Bardakan]

Гигачат, который выложили вчера в открытый доступ, флагманская модель, это 70 миллиардов. То есть на самом деле весь мир сейчас где-то вокруг 20-30-70 миллиардов.

Дальше не читал. У чела все знания о мире умещаются в средненькую модель

[alexhu]

Дальше не читал. У чела

Завтра выложу вторую часть, почитайте всё сразу. Может есть основания приглашать его докладчиком.