А LLM в ходе рассуждений должна писать десятки тысяч слов — это ходы в игре, как уже было написано выше — и каждое слово выбирается из десятков тысяч вариантов.
Это в чистом виде семиотическое ограничение Сепира-Уорфа, и об этой фундаментальной ограниченности писал ещё Витгенштейн («о чем невозможно говорить, о том следует молчать»). Иными словами, OpenAI всеми силами пытается построить мускулолёт, тогда как для взлёта нужен реактивный двигатель.
По-видимому, в русском языке не сложилось общеупотребительного термина, но наиболее близкий по смыслу, это система рассуждений, как калька с английского reasoning system.
Сейчас трудно найти задачу машинного обучения, для которой в лидерах не было бы трансформерных моделей.
задача регрессии на обучающих выборках малых и средних размеров
Галлюцинацией мы будем называть отдельное слово, если оно содержит информацию, никак не связанную со словами опорного пассажа.
Нет, такое определение вводит вас в заблуждение. Галлюцинация — это логическая неконсистентность. Галлюцинации заложены в архитектуру трансформеров ввиду отсутствия механизмов для символьных вычислений.
Известно, что вирусные заболевания массово лечат антибиотиками — но почему это работает? Понятно про сопутствующие бактериальные инфекции, но как это помогает против вирусов?
Простая прикидка выглядит так: основных статей расходов две, это зарплаты и железо. Возьмём штат учёных и инженеров 1000 человек, положим годовую зарплату каждого $200k, итого на зарплаты уйдёт $200M в год. Аренду железа возьмём условно 5000 серверов, каждый по $2k в месяц, итого $120M в год. Теперь положим 1B юзеров и положим, что платит каждый тысячный, в год набегает $240M, итого годовой дефицит $80M. Варьируя каждый из параметров, можно заключить, что сверхприбылей там вовсе нет, компания скорее сильно убыточна.
Очень выдающаяся и современная работа! Что думаете насчёт (а) применения стандартных форматов ML-моделей, типа ONNX, и (б) интеграции с другими хемоинформатическими онлайн-платформами, типа OpenKIM и Optimade?
Кстати, тут подсуетились американцы и фактически выдавили SAP из BASF, заменив её своими мелкомягкими, после чего немецкой индустрии заметно поплохело. Sic transit gloria mundi, так выглядят современные экономические войны.
Комментаторы выше могли бы поинтересоваться историей немецкой SAP, которая фактически выросла на заказах химического гиганта BASF. У них даже головные офисы расположены рядом, в индустриальном районе на южном Рейне.
Несмотря на общественный резонанс, работа Google в материаловедении подверглась обширной заслуженной критике и сегодня в научном коммьюнити вызывает скепсис. К сожалению, сегодняшняя наука всё ещё довольно далека от полностью теоретического предсказания новых материалов.
Чем умнее человек, тем больше он подвержен когнитивным искажениям, ибо тем эффективнее его интеллект их рационализирует.
Держу пари, либертарианство вам очень неблизко.
Это в чистом виде семиотическое ограничение Сепира-Уорфа, и об этой фундаментальной ограниченности писал ещё Витгенштейн («о чем невозможно говорить, о том следует молчать»). Иными словами, OpenAI всеми силами пытается построить мускулолёт, тогда как для взлёта нужен реактивный двигатель.
По-видимому, в русском языке не сложилось общеупотребительного термина, но наиболее близкий по смыслу, это система рассуждений, как калька с английского reasoning system.
Для интересующихся: альтернативное решение на языке семантических онтологий с выводом в питоне.
Вообще-то в статье были довольно чётко сформулированы преимущества работы в таком режиме, я напомню:
вы прокачиваетесь и растёте в звёздной команде, инвестируя в себя
вы делаете что-то гораздо бóльшее, чем завинчивать синие гайки
у вас появляется доля в бизнесе (напомню, все инженеры телеграма миллионеры)
Если для вас это «ездить по ушам», то да, ваш удел, это Сбер.
Ну вот именно, что «вроде работает», это вы совершенно правильно подметили, вроде работает, а вроде и не работает, хрен его разберёт, да?
Понимаете, с GDPR хотели как лучше, а получилось как всегда.
задача регрессии на обучающих выборках малых и средних размеров
Нет, такое определение вводит вас в заблуждение. Галлюцинация — это логическая неконсистентность. Галлюцинации заложены в архитектуру трансформеров ввиду отсутствия механизмов для символьных вычислений.
Известно, что вирусные заболевания массово лечат антибиотиками — но почему это работает? Понятно про сопутствующие бактериальные инфекции, но как это помогает против вирусов?
Простая прикидка выглядит так: основных статей расходов две, это зарплаты и железо. Возьмём штат учёных и инженеров 1000 человек, положим годовую зарплату каждого $200k, итого на зарплаты уйдёт $200M в год. Аренду железа возьмём условно 5000 серверов, каждый по $2k в месяц, итого $120M в год. Теперь положим 1B юзеров и положим, что платит каждый тысячный, в год набегает $240M, итого годовой дефицит $80M. Варьируя каждый из параметров, можно заключить, что сверхприбылей там вовсе нет, компания скорее сильно убыточна.
Очень выдающаяся и современная работа! Что думаете насчёт (а) применения стандартных форматов ML-моделей, типа ONNX, и (б) интеграции с другими хемоинформатическими онлайн-платформами, типа OpenKIM и Optimade?
Ничего не мешает колонизировать Марс с Венерой более-менее одновременно, как это, например, уже происходило в нашей истории с Америкой и Австралией.
Пожалуйста, вы бы не могли ответить по существу? Это небезынтересная дискуссия, я поставил вам плюс.
Это довольно неожиданно. По-вашему, выходит, что донастройка CPU позволяет добиться лучших результатов, чем GPU. С чем это связано, слабая видеокарта?
А вас не смущают возможные галлюцинации? В любой момент эта штуковина может на серьёзных щах выдать вам бред сивой кобылы.
Кстати, тут подсуетились американцы и фактически выдавили SAP из BASF, заменив её своими мелкомягкими, после чего немецкой индустрии заметно поплохело. Sic transit gloria mundi, так выглядят современные экономические войны.
Комментаторы выше могли бы поинтересоваться историей немецкой SAP, которая фактически выросла на заказах химического гиганта BASF. У них даже головные офисы расположены рядом, в индустриальном районе на южном Рейне.
Очень хорошо, но как это будет работать, скажем, с классическим датасетом MNIST?
Несмотря на общественный резонанс, работа Google в материаловедении подверглась обширной заслуженной критике и сегодня в научном коммьюнити вызывает скепсис. К сожалению, сегодняшняя наука всё ещё довольно далека от полностью теоретического предсказания новых материалов.