И была куча людей, которые считали что такое не взлетит потому что доставка и возврат это дорого и неудобно.
Ну тем не менее продажа по почте и всякие иллюстрированные каталоги не Амазон придумал. В этом смысле инновация там достаточно скромная.
И опять же, речь не идёт о 100% надёжных деньгах. Понятна бизнес-модель. Она может не сработать. У OpenAI бизнес-модель в принципе непонятна.
Кто и где это говорит? Особенно про бесплатные модели?
Говорят про свежий ChatGPT (который O3), бесплатные модели пока отстают. Но если мы исходим из того, что через 5 лет OpenAI будет где-то в космосе, разумно предположить, что LLaMA (ну как бы Meta, тоже не лаптем щи хлебают) будет не хуже ChatGPT пятилетней давности?
И крупные корпорации достаточно инертны и далеко не сразу адаптируют нововведения.
Ну пусть мелкие адаптируют. Им ещё важнее экономить, если и вправду продукт позволяет.
Есть же примеры типа Unity, на которой поголовно все мелкие игровые разработчики сидят, а там уже и наверх просачивается.
Вы серьёзно хотите сказать что всё это время не было скептиков, которые точно так же считали что Amazon никогда не станет прибыльным? :)
Дело не в скептиках, риск есть везде. Вопрос в том, какую бизнес-модель вам предлагают. Модель Амазона была проста и понятна: у нас есть три магазинчика, мы можем поделить копеечную прибыль с них и пойти по домам, а можем открыть ещё 27 магазинчиков, и будет уже их 30, и прибыль в 10 раз больше. Делим или вкладываем?
OpenAI предлагает другую модель: наши магазинчики в принципе не окупаются, но мы вот сейчас выкатим новый "более лучший" магазин, который купят по двойной цене, и расходы на его содержание будут ниже, чем сейчас, и покупателей будет в 100 раз больше. Почему -- а вот никто не знает, магия потому что.
Сколько сотрудников в концерне вроде Siemens? Что будет если хотя бы за половину из них начнут платить по 200$?
А зачем? Нам же говорят, что нынешний GPT уже "лучше джуна". Вы уже сейчас можете скачать бесплатную LLaMA, например. Через пять лет она всяко будет не хуже сегодняшнего GPT (который лучше джуна), ну и пользуйтесь на здоровье. Или вам в фирме только сеньёры нужны? Ну и мы до сих пор не знаем, окупает ли даже 200 долл с рыла ту воронку продаж, которая есть сейчас.
Это гораздо больше похоже на какую-нибудь мобильную игру с микротранзакциями. У вас 1000 юзеров на входе, 10 платит, 1 платит хорошо. Если платящие покрывают расходы, рост базы пользователей вас обогащает, если нет -- разоряет. Повышение конверсии в воронке -- это вообще такой священный грааль, вряд ли у OpenAI в этом деле уникальный опыт.
Амазон был убыточным 26 лет. В какой момент нужно было перестать в него инвестировать?
Я не думаю, что это разумная постановка вопроса. Амазон был убыточным 26 лет, потому что так решил его менеджмент, потому что любому инвестору было совершенно видно, как расходуются эти деньги -- в покрытие, в новые инструменты. Амазон мог выйти на прибыль, быть может, уже через пять лет, но это было бизнес решение.
OpenAI не может выйти на прибыль, как мне кажется.
Банально сколько времени прошло между появлением первых персональных компьютеров, моментом когда их стали использовать отдельные фирмы
Вот это отличный пример. Несмотря на то, что рынок PC был не так велик, а стоили компьютеры дорого, фирмы типа IBM или Compaq не работали себе в убыток. Да, им хотелось иметь в 100 раз больше клиентов, но даже та база, которая была, их кормила.
Я понимаю, что далеко не все умеют пользоваться LLM с выгодой для себя. Но это не проблема. Проблема в то, что кто умеет, готов платить макс. 200 долл с рыла (если считать, что цену OpenAI не из пальца высасывает, а хоть как-то просчитывает).
То есть семь миллиардов на R&D и минус в пять миллиардов. Получается без R&D они были бы в плюсе.
Ну это не "R&D", а тренировка AI, которая, получается, как вы сами считаете, будет длиться ещё годами, если не десятилетиями. И расходы на тренировку только растут, то есть у нас не условный R&D отдел, который отсасывает какую-то сумму ежемесячно, а постоянно растущие расходы. При этом на выходе получается продукт, за который люди даже сейчас не готовы платить.
Смотрите, я ж не против, дай им бог здоровья. Но я за reality check. У нас есть GPT-4, которая уже подавалась как "мы обгоняем джунов, шахматистов, велосипедистов". Plus подписка на это чудо стоит 20 долл в месяц, а Pro -- 200 долл в месяц. Казалось бы, джун в любой сносной стране получает, ну не знаю, хотя бы полторы, а работодателю обходится в три тысячи с учётом разных налогов?
Стало быть, по логике вещей должна стоять очередь людей, которые с удовольствием и 500 отчекрыжат, и даже с учётом любых R&D OpenAI уже должен купаться в деньгах. А так мы вполне можем прийти к ситуации через 5 лет (напр.), когда, как вы говорите, на дворе GPT-N, а подписка по-прежнему в районе 200 долл (ну 300), и клиенты валом не валят.
Ну вот смотрите, "рост и развитие" для Амазона это что? В моём понимании, инфраструктура, которая может обслуживать много клиентов.
У OpenAI это всё уже есть. Они при желании могут обслуживать сколько угодно людей, при условии, что будет прибыль. R&D это, конечно, хорошо, но это всё какой-то абстрактный маркетинговый разговор.
Уже начиная с GPT-3, а тем более, с GPT-4 постоянный поток статей -- то он обгоняет джуна, то художника, то технического писателя, то ещё кого. Стало быть, R&D этой системы уже позади, и можно спокойно продавать GPT-4 (допустим) и иметь чистую прибыль, но этого не происходит.
В моём понимании, их расходы выше доходов не потому, что они всю прибыль пускают на R&D, а именно потому, что даже безо всякого R&D расходы (с учётом бесплатных пользователей) превышают доход, получаемый от платящих клиентов.
Вот меня интересует не прибыль Амазона, а именно прибыль OpenAI или Anthropic. По-моему, у них дела совсем так себе.
Амазон мог быть убыточным, а потом вырасти именно из-за эффекта масштаба. Как уже было сказано выше, в какой-то момент любой бабке стало проще зайти на Амазон, а не в магазин на другом конце города. При этом (важно) расходы Амазона практически не выросли -- вот вам и машинка по зарабатыванию денег.
У производителей же LLM имеется чёткая воронка продаж. Закинул N денег, получил N/2 денег. Даже если их клиентская база вырастет в 10 раз, формула эта изменится не очень сильно. Ну если не считать, конечно, что они свои миллиардные расходы на зарплату пускают.
По-моему, фундаментальное отличие состоит в том, что нынешние "AI капитаны" жёстко убыточны, и несмотря на все эти победные реляции, они не могут выложить на рынок прибыльный продукт. В последнее время мне всё больше кажется странным, что все эти разговоры про бенчмарки и прочие "обходы джунов" идут от коммерческих фирм, которым надо бы хвастаться количеством клиентов и прибыльностью своих продуктов.
Но в реальности мы видим, что воронка продаж такова, что обслуживание всей этой системы обходится раза в 2-3 дороже, чем прибыль от неё. Почему так? Во-первых, бесплатный пользователь "Амазона" (пришёл посмотреть товары) почти не грузит инфраструктуру, а вот развлекающийся с ChatGPT вполне себе использует ценные GPU. Во-вторых, похоже, что этот продукт в принципе не настолько ценен, чтобы себя окупать (опять же с учётом воронки продаж, где на одного платного юзера придётся даже не знаю сколько тысяч халявщиков).
Одна из многочисленных проблем текущих LLM технологий -- их плохая масштабируемость. Один раз написали Windows или там MS Office, продали миллион копий. А тут сплошные расходы. И непонятно, чего ожидать от светлого будущего, если, как вы говорите, вот оно, уже прямо сейчас -- конвертация AI в деньги по доступной цене. Если сейчас прибыли нет, чего ещё нужно-то?..
Смысл в том, что даже первый золотой мобильный телефон был ориентирован на тех, кто это мог себе позволить, и генерировал производителю и оператору прибыль. Напротив, OpenAI тратит примерно в 2.5 раза больше, чем зарабатывает, и кроме общих рассуждений вроде тех, что вы предлагаете ("продукт станет лучше, цена ниже"), никаких конкретных идей о том, как изменить траекторию, нет.
Понятно, что в OpenAI заинтересованы "продать корову", но мы же можем смотреть не вещи несколько более рационально. У них уже давно есть продукт, который по разным меркам обходит то выпускников, то джунов, то ещё кого. Однако же им до сих пор не удалось его прилично монетизировать с учётом текущих цен и текущих возможностей этого продукта. Как так, что должно измениться? Цена ещё понизиться или продукт стать круче? Пока мы видим, что крутизна обходится очень дорого, а мы не знаем, сколько потребители за неё готовы платить реально.
Таким образом, подобные статьи действительно подхватывают рекламный нарратив OpenAI, но при всём оптимизме можно всё-таки хотя бы мелким шрифтом добавить дисклеймер: мы не знаем, что оно на практике будет уметь, сколько это будет стоит, сколько клиенты за эти навыки будут готовы заплатить, и получится ли при этом выйти на прибыль.
Ну вот мой личный опыт (в смысле общения с коллегами) совершенно иной. Я не знаю ни одного человека, который имея выбор между "улучшить учебный материал" и "улучшить тесты" будет тратить время на второе. Кембридж тоже, знаете ли, славится в первую очередь не тем, какие там замечательные экзамены.
Но, впрочем, чего уж там. Пусть голосуют ногами, будем наблюдать.
У вас нет других мест. Вы же не думаете, что в условном Кембридже профессор спит и видит, как бы ему ужесточить и улучшить процесс контроля, чтобы оценки в итоговом табеле как можно точнее отражали навыки студента?
И обратно, вы же не думаете, что заведение, которое ставит во главу угла именно эту задачу, добьётся каких-то успехов в привлечении первоклассных специалистов?
Бизнесу придётся мириться с тем, что хорошее образование дают люди, для которых важна их наука и профессия, а вовсе не организация тестирования и проблемы найма на работу.
В теории я с этим согласен, но как практикущий преподаватель, к сожалению, не могу поручиться за "зуб". Ну вот все эти тесты -- что TOEFL, что ЕГЭ, что сертификации всякие -- это же целая индустрия. По сравнению с ними любой вуз выполняет тестировочную функцию на откровенно любительском уровне. Не думаю, что это в обозримом будущем изменится. Ко всему прочему, люди в профессию идут не для того, чтобы работать цербером на экзаменах. Так что имеем то, что имеем.
Я не думаю, что тест кейс является целью обучения. Если вы хоть раз сдавали тест по английскому типа TOEFL, то знаете, что это тестирование никакого отношения не имеет к обучению английскому. Совершенно разные процессы.
В университете, к сожалению, преподаватель не может вам рассказывать математику, а потом отдавать тестирование кому-то на аутсорс. Вот он и испольует в качестве оценки качества наиболее дешёвый "прокси"-способ.
Да, это не всегда работает, но что делать. Рассмотрите ради интереса такой вариант: преподаватель ведёт занятия как и прежде, а экзаменов нет вообще. Ну то есть всем автоматом зачёт и до свидания. Тут есть определённые подводные камни, но ваша критика хотя бы при этом отпадёт.
Цена тест-кейса вообще не имеет значения. Имеет значение то, что человек по природе своей не может решить подобную задачу, не заморочившись как следует. Вы можете наблюдать аналогичные тест-кейсы на каждом углу, например, на тех самых сакраментальных собеседованиях, где надо обойти бинарное дерево.
Задача тут в том, чтобы понимая устройство человека (например, тот факт, что выучить условный китайский язык за неделю невозможно), наиболее дешёвым способом по верхушке айсберга предсказать содержимое подводной части.
Ошибки здесь возможны, но что с того. Идеал недостижим, достаточно приемлемой точности.
Вы сначала на свою аргументацию посмотрите. Точнее, на полное еë отсутствие
Я отвечаю мнением на мнение. Изначальный комментарий не подразумевал полемики, и вполне резонно ответить в том же духе. Если вы хотите просто высказаться в пользу одной из сторон, не добавляя ничего нового, достаточно поставить плюс или минус, нет?
Но куда им до великого ноунейма с хабра, о
Вы крайне напрасно переходите на личности. У меня в профиле есть хотя бы имя, фамилия и должность. А статьи по вашим ссылками написаны 1) настоящим нонеймом, буквально анонимка; 2) вероятно, копирайтором, который вообще не гуглится.
Обсуждать угрозы совершенно нормально, и я тоже готов это делать. Но не на уровне плинтуса же и не уровне статей, полностью состоящих из буллит-листов.
Ну, аргументация уровня "Бог", конечно. С обоснованием, как и полагается. Впрочем, вы не хуже меня знаете, что ваша концепция, мягко говоря, выглядит спорно, и не то что бы является общепризнанной.
Как пишет комментатор выше, LLM энциклопедия вполне имеет право на жизнь, но тем не менее, статья -- и вправду концептуально утятина, как и все остальные, где пишут про то, что LLM сдал очередные экзамены. По форме правда, по существу введение в заблуждение.
Дело в том, что экзамены сочинятся с расчётом именно на особенности человеческого интеллекта. Их задача -- с минимальными усилиями понять максимум о знаниях и умениях кандидата. Скажем, если я попрошу вас написать четверостишие собственного сочинения на китайском языке, и вы что-нибудь родите за полчаса, я буду уверен, что у вас за плечами лет десять обучения этой теме и неизбежный сопуствующий багаж, который проверять незачем. Если же то же самое напишет LLM, мне это не скажет ничего, т.к. обладая базой текстов, можно легко сгенерировать требуемое четверостишие хоть с помощью цепи Маркова (скрипт на 20 строк на чистом Питоне без доп. библиотек).
Мягко напомню, что один из самых влиятельных и почитаемых математиков (назовём его так) XX столетия Мартин Гарднер от себя в науку вообще очень мало чего добавил. Досконально разобраться в теме и перелопатить/обработать кучу литературы -- это большой и ценный труд. И напротив, если человек даже совершил прорыв в своей узкой теме, он вовсе не обязан хорошо знать историю вопроса или разбираться в соседних темах, тут нет проблем.
Кстати, я вот читаю комментарии, и не совсем понимаю, что и вправду обсуждается. Сверху -- презентация с картинками, по ссылке у Вас написано "We've published a paper on this and have more on the way", но где можно почитать подробнее? Я нашёл только статью "Predicting expert evaluations in software code reviews", но она не сказать что "published", она на arXiv, а вот обсуждаемая методика и числа пока нигде не опубликованы -- есть пока только презентация?
Ну тем не менее продажа по почте и всякие иллюстрированные каталоги не Амазон придумал. В этом смысле инновация там достаточно скромная.
И опять же, речь не идёт о 100% надёжных деньгах. Понятна бизнес-модель. Она может не сработать. У OpenAI бизнес-модель в принципе непонятна.
Говорят про свежий ChatGPT (который O3), бесплатные модели пока отстают. Но если мы исходим из того, что через 5 лет OpenAI будет где-то в космосе, разумно предположить, что LLaMA (ну как бы Meta, тоже не лаптем щи хлебают) будет не хуже ChatGPT пятилетней давности?
Ну пусть мелкие адаптируют. Им ещё важнее экономить, если и вправду продукт позволяет.
Есть же примеры типа Unity, на которой поголовно все мелкие игровые разработчики сидят, а там уже и наверх просачивается.
Дело не в скептиках, риск есть везде. Вопрос в том, какую бизнес-модель вам предлагают. Модель Амазона была проста и понятна: у нас есть три магазинчика, мы можем поделить копеечную прибыль с них и пойти по домам, а можем открыть ещё 27 магазинчиков, и будет уже их 30, и прибыль в 10 раз больше. Делим или вкладываем?
OpenAI предлагает другую модель: наши магазинчики в принципе не окупаются, но мы вот сейчас выкатим новый "более лучший" магазин, который купят по двойной цене, и расходы на его содержание будут ниже, чем сейчас, и покупателей будет в 100 раз больше. Почему -- а вот никто не знает, магия потому что.
А зачем? Нам же говорят, что нынешний GPT уже "лучше джуна". Вы уже сейчас можете скачать бесплатную LLaMA, например. Через пять лет она всяко будет не хуже сегодняшнего GPT (который лучше джуна), ну и пользуйтесь на здоровье. Или вам в фирме только сеньёры нужны? Ну и мы до сих пор не знаем, окупает ли даже 200 долл с рыла ту воронку продаж, которая есть сейчас.
Это гораздо больше похоже на какую-нибудь мобильную игру с микротранзакциями. У вас 1000 юзеров на входе, 10 платит, 1 платит хорошо. Если платящие покрывают расходы, рост базы пользователей вас обогащает, если нет -- разоряет. Повышение конверсии в воронке -- это вообще такой священный грааль, вряд ли у OpenAI в этом деле уникальный опыт.
Я не думаю, что это разумная постановка вопроса. Амазон был убыточным 26 лет, потому что так решил его менеджмент, потому что любому инвестору было совершенно видно, как расходуются эти деньги -- в покрытие, в новые инструменты. Амазон мог выйти на прибыль, быть может, уже через пять лет, но это было бизнес решение.
OpenAI не может выйти на прибыль, как мне кажется.
Вот это отличный пример. Несмотря на то, что рынок PC был не так велик, а стоили компьютеры дорого, фирмы типа IBM или Compaq не работали себе в убыток. Да, им хотелось иметь в 100 раз больше клиентов, но даже та база, которая была, их кормила.
Я понимаю, что далеко не все умеют пользоваться LLM с выгодой для себя. Но это не проблема. Проблема в то, что кто умеет, готов платить макс. 200 долл с рыла (если считать, что цену OpenAI не из пальца высасывает, а хоть как-то просчитывает).
Ну это не "R&D", а тренировка AI, которая, получается, как вы сами считаете, будет длиться ещё годами, если не десятилетиями. И расходы на тренировку только растут, то есть у нас не условный R&D отдел, который отсасывает какую-то сумму ежемесячно, а постоянно растущие расходы. При этом на выходе получается продукт, за который люди даже сейчас не готовы платить.
Смотрите, я ж не против, дай им бог здоровья. Но я за reality check. У нас есть GPT-4, которая уже подавалась как "мы обгоняем джунов, шахматистов, велосипедистов". Plus подписка на это чудо стоит 20 долл в месяц, а Pro -- 200 долл в месяц. Казалось бы, джун в любой сносной стране получает, ну не знаю, хотя бы полторы, а работодателю обходится в три тысячи с учётом разных налогов?
Стало быть, по логике вещей должна стоять очередь людей, которые с удовольствием и 500 отчекрыжат, и даже с учётом любых R&D OpenAI уже должен купаться в деньгах. А так мы вполне можем прийти к ситуации через 5 лет (напр.), когда, как вы говорите, на дворе GPT-N, а подписка по-прежнему в районе 200 долл (ну 300), и клиенты валом не валят.
Ну вот смотрите, "рост и развитие" для Амазона это что? В моём понимании, инфраструктура, которая может обслуживать много клиентов.
У OpenAI это всё уже есть. Они при желании могут обслуживать сколько угодно людей, при условии, что будет прибыль. R&D это, конечно, хорошо, но это всё какой-то абстрактный маркетинговый разговор.
Уже начиная с GPT-3, а тем более, с GPT-4 постоянный поток статей -- то он обгоняет джуна, то художника, то технического писателя, то ещё кого. Стало быть, R&D этой системы уже позади, и можно спокойно продавать GPT-4 (допустим) и иметь чистую прибыль, но этого не происходит.
В моём понимании, их расходы выше доходов не потому, что они всю прибыль пускают на R&D, а именно потому, что даже безо всякого R&D расходы (с учётом бесплатных пользователей) превышают доход, получаемый от платящих клиентов.
Вот меня интересует не прибыль Амазона, а именно прибыль OpenAI или Anthropic. По-моему, у них дела совсем так себе.
Амазон мог быть убыточным, а потом вырасти именно из-за эффекта масштаба. Как уже было сказано выше, в какой-то момент любой бабке стало проще зайти на Амазон, а не в магазин на другом конце города. При этом (важно) расходы Амазона практически не выросли -- вот вам и машинка по зарабатыванию денег.
У производителей же LLM имеется чёткая воронка продаж. Закинул N денег, получил N/2 денег. Даже если их клиентская база вырастет в 10 раз, формула эта изменится не очень сильно. Ну если не считать, конечно, что они свои миллиардные расходы на зарплату пускают.
По-моему, фундаментальное отличие состоит в том, что нынешние "AI капитаны" жёстко убыточны, и несмотря на все эти победные реляции, они не могут выложить на рынок прибыльный продукт. В последнее время мне всё больше кажется странным, что все эти разговоры про бенчмарки и прочие "обходы джунов" идут от коммерческих фирм, которым надо бы хвастаться количеством клиентов и прибыльностью своих продуктов.
Но в реальности мы видим, что воронка продаж такова, что обслуживание всей этой системы обходится раза в 2-3 дороже, чем прибыль от неё. Почему так? Во-первых, бесплатный пользователь "Амазона" (пришёл посмотреть товары) почти не грузит инфраструктуру, а вот развлекающийся с ChatGPT вполне себе использует ценные GPU. Во-вторых, похоже, что этот продукт в принципе не настолько ценен, чтобы себя окупать (опять же с учётом воронки продаж, где на одного платного юзера придётся даже не знаю сколько тысяч халявщиков).
Одна из многочисленных проблем текущих LLM технологий -- их плохая масштабируемость. Один раз написали Windows или там MS Office, продали миллион копий. А тут сплошные расходы. И непонятно, чего ожидать от светлого будущего, если, как вы говорите, вот оно, уже прямо сейчас -- конвертация AI в деньги по доступной цене. Если сейчас прибыли нет, чего ещё нужно-то?..
Смысл в том, что даже первый золотой мобильный телефон был ориентирован на тех, кто это мог себе позволить, и генерировал производителю и оператору прибыль. Напротив, OpenAI тратит примерно в 2.5 раза больше, чем зарабатывает, и кроме общих рассуждений вроде тех, что вы предлагаете ("продукт станет лучше, цена ниже"), никаких конкретных идей о том, как изменить траекторию, нет.
Понятно, что в OpenAI заинтересованы "продать корову", но мы же можем смотреть не вещи несколько более рационально. У них уже давно есть продукт, который по разным меркам обходит то выпускников, то джунов, то ещё кого. Однако же им до сих пор не удалось его прилично монетизировать с учётом текущих цен и текущих возможностей этого продукта. Как так, что должно измениться? Цена ещё понизиться или продукт стать круче? Пока мы видим, что крутизна обходится очень дорого, а мы не знаем, сколько потребители за неё готовы платить реально.
Таким образом, подобные статьи действительно подхватывают рекламный нарратив OpenAI, но при всём оптимизме можно всё-таки хотя бы мелким шрифтом добавить дисклеймер: мы не знаем, что оно на практике будет уметь, сколько это будет стоит, сколько клиенты за эти навыки будут готовы заплатить, и получится ли при этом выйти на прибыль.
Ну вот мой личный опыт (в смысле общения с коллегами) совершенно иной. Я не знаю ни одного человека, который имея выбор между "улучшить учебный материал" и "улучшить тесты" будет тратить время на второе. Кембридж тоже, знаете ли, славится в первую очередь не тем, какие там замечательные экзамены.
Но, впрочем, чего уж там. Пусть голосуют ногами, будем наблюдать.
У вас нет других мест. Вы же не думаете, что в условном Кембридже профессор спит и видит, как бы ему ужесточить и улучшить процесс контроля, чтобы оценки в итоговом табеле как можно точнее отражали навыки студента?
И обратно, вы же не думаете, что заведение, которое ставит во главу угла именно эту задачу, добьётся каких-то успехов в привлечении первоклассных специалистов?
Бизнесу придётся мириться с тем, что хорошее образование дают люди, для которых важна их наука и профессия, а вовсе не организация тестирования и проблемы найма на работу.
В теории я с этим согласен, но как практикущий преподаватель, к сожалению, не могу поручиться за "зуб". Ну вот все эти тесты -- что TOEFL, что ЕГЭ, что сертификации всякие -- это же целая индустрия. По сравнению с ними любой вуз выполняет тестировочную функцию на откровенно любительском уровне. Не думаю, что это в обозримом будущем изменится. Ко всему прочему, люди в профессию идут не для того, чтобы работать цербером на экзаменах. Так что имеем то, что имеем.
Я не думаю, что тест кейс является целью обучения. Если вы хоть раз сдавали тест по английскому типа TOEFL, то знаете, что это тестирование никакого отношения не имеет к обучению английскому. Совершенно разные процессы.
В университете, к сожалению, преподаватель не может вам рассказывать математику, а потом отдавать тестирование кому-то на аутсорс. Вот он и испольует в качестве оценки качества наиболее дешёвый "прокси"-способ.
Да, это не всегда работает, но что делать. Рассмотрите ради интереса такой вариант: преподаватель ведёт занятия как и прежде, а экзаменов нет вообще. Ну то есть всем автоматом зачёт и до свидания. Тут есть определённые подводные камни, но ваша критика хотя бы при этом отпадёт.
Цена тест-кейса вообще не имеет значения. Имеет значение то, что человек по природе своей не может решить подобную задачу, не заморочившись как следует. Вы можете наблюдать аналогичные тест-кейсы на каждом углу, например, на тех самых сакраментальных собеседованиях, где надо обойти бинарное дерево.
Задача тут в том, чтобы понимая устройство человека (например, тот факт, что выучить условный китайский язык за неделю невозможно), наиболее дешёвым способом по верхушке айсберга предсказать содержимое подводной части.
Ошибки здесь возможны, но что с того. Идеал недостижим, достаточно приемлемой точности.
Я отвечаю мнением на мнение. Изначальный комментарий не подразумевал полемики, и вполне резонно ответить в том же духе. Если вы хотите просто высказаться в пользу одной из сторон, не добавляя ничего нового, достаточно поставить плюс или минус, нет?
Вы крайне напрасно переходите на личности. У меня в профиле есть хотя бы имя, фамилия и должность. А статьи по вашим ссылками написаны 1) настоящим нонеймом, буквально анонимка; 2) вероятно, копирайтором, который вообще не гуглится.
Обсуждать угрозы совершенно нормально, и я тоже готов это делать. Но не на уровне плинтуса же и не уровне статей, полностью состоящих из буллит-листов.
Ну, аргументация уровня "Бог", конечно. С обоснованием, как и полагается. Впрочем, вы не хуже меня знаете, что ваша концепция, мягко говоря, выглядит спорно, и не то что бы является общепризнанной.
Как пишет комментатор выше, LLM энциклопедия вполне имеет право на жизнь, но тем не менее, статья -- и вправду концептуально утятина, как и все остальные, где пишут про то, что LLM сдал очередные экзамены. По форме правда, по существу введение в заблуждение.
Дело в том, что экзамены сочинятся с расчётом именно на особенности человеческого интеллекта. Их задача -- с минимальными усилиями понять максимум о знаниях и умениях кандидата. Скажем, если я попрошу вас написать четверостишие собственного сочинения на китайском языке, и вы что-нибудь родите за полчаса, я буду уверен, что у вас за плечами лет десять обучения этой теме и неизбежный сопуствующий багаж, который проверять незачем. Если же то же самое напишет LLM, мне это не скажет ничего, т.к. обладая базой текстов, можно легко сгенерировать требуемое четверостишие хоть с помощью цепи Маркова (скрипт на 20 строк на чистом Питоне без доп. библиотек).
Как одна учёная дама заметила (ох, забыл кто) -- это чисто мальчуковая тема: ах, какой кошмар, меня уделывают!
Меня вот много кто уделывает, и Вас тоже, наверняка. Вы же не баскетболист класса NBA, например? Будем жить с этим.
Мягко напомню, что один из самых влиятельных и почитаемых математиков (назовём его так) XX столетия Мартин Гарднер от себя в науку вообще очень мало чего добавил. Досконально разобраться в теме и перелопатить/обработать кучу литературы -- это большой и ценный труд. И напротив, если человек даже совершил прорыв в своей узкой теме, он вовсе не обязан хорошо знать историю вопроса или разбираться в соседних темах, тут нет проблем.
Есть, напр, https://en.m.wikipedia.org/wiki/File:Plutchik-wheel.svg
Кстати, я вот читаю комментарии, и не совсем понимаю, что и вправду обсуждается. Сверху -- презентация с картинками, по ссылке у Вас написано "We've published a paper on this and have more on the way", но где можно почитать подробнее? Я нашёл только статью "Predicting expert evaluations in software code reviews", но она не сказать что "published", она на arXiv, а вот обсуждаемая методика и числа пока нигде не опубликованы -- есть пока только презентация?