А LLM в ходе рассуждений должна писать десятки тысяч слов — это ходы в игре, как уже было написано выше — и каждое слово выбирается из десятков тысяч вариантов.
Это в чистом виде семиотическое ограничение Сепира-Уорфа, и об этой фундаментальной ограниченности писал ещё Витгенштейн («о чем невозможно говорить, о том следует молчать»). Иными словами, OpenAI всеми силами пытается построить мускулолёт, тогда как для взлёта нужен реактивный двигатель.
По-видимому, в русском языке не сложилось общеупотребительного термина, но наиболее близкий по смыслу, это система рассуждений, как калька с английского reasoning system.
Сейчас трудно найти задачу машинного обучения, для которой в лидерах не было бы трансформерных моделей.
задача регрессии на обучающих выборках малых и средних размеров
Галлюцинацией мы будем называть отдельное слово, если оно содержит информацию, никак не связанную со словами опорного пассажа.
Нет, такое определение вводит вас в заблуждение. Галлюцинация — это логическая неконсистентность. Галлюцинации заложены в архитектуру трансформеров ввиду отсутствия механизмов для символьных вычислений.
Известно, что вирусные заболевания массово лечат антибиотиками — но почему это работает? Понятно про сопутствующие бактериальные инфекции, но как это помогает против вирусов?
Простая прикидка выглядит так: основных статей расходов две, это зарплаты и железо. Возьмём штат учёных и инженеров 1000 человек, положим годовую зарплату каждого $200k, итого на зарплаты уйдёт $200M в год. Аренду железа возьмём условно 5000 серверов, каждый по $2k в месяц, итого $120M в год. Теперь положим 1B юзеров и положим, что платит каждый тысячный, в год набегает $240M, итого годовой дефицит $80M. Варьируя каждый из параметров, можно заключить, что сверхприбылей там вовсе нет, компания скорее сильно убыточна.
Очень выдающаяся и современная работа! Что думаете насчёт (а) применения стандартных форматов ML-моделей, типа ONNX, и (б) интеграции с другими хемоинформатическими онлайн-платформами, типа OpenKIM и Optimade?
нет, там живут оверрайдеры и тринадцатые
Именно поэтому колонизация Марса должна быть стратегической целью номер один.
см. картинку номер один вот тут
управляющая система совсем не обязана быть сложнее управляемой, это важнейший тезис AI alignment
Чем умнее человек, тем больше он подвержен когнитивным искажениям, ибо тем эффективнее его интеллект их рационализирует.
Держу пари, либертарианство вам очень неблизко.
Это в чистом виде семиотическое ограничение Сепира-Уорфа, и об этой фундаментальной ограниченности писал ещё Витгенштейн («о чем невозможно говорить, о том следует молчать»). Иными словами, OpenAI всеми силами пытается построить мускулолёт, тогда как для взлёта нужен реактивный двигатель.
По-видимому, в русском языке не сложилось общеупотребительного термина, но наиболее близкий по смыслу, это система рассуждений, как калька с английского reasoning system.
Для интересующихся: альтернативное решение на языке семантических онтологий с выводом в питоне.
Вообще-то в статье были довольно чётко сформулированы преимущества работы в таком режиме, я напомню:
вы прокачиваетесь и растёте в звёздной команде, инвестируя в себя
вы делаете что-то гораздо бóльшее, чем завинчивать синие гайки
у вас появляется доля в бизнесе (напомню, все инженеры телеграма миллионеры)
Если для вас это «ездить по ушам», то да, ваш удел, это Сбер.
Ну вот именно, что «вроде работает», это вы совершенно правильно подметили, вроде работает, а вроде и не работает, хрен его разберёт, да?
Понимаете, с GDPR хотели как лучше, а получилось как всегда.
задача регрессии на обучающих выборках малых и средних размеров
Нет, такое определение вводит вас в заблуждение. Галлюцинация — это логическая неконсистентность. Галлюцинации заложены в архитектуру трансформеров ввиду отсутствия механизмов для символьных вычислений.
Известно, что вирусные заболевания массово лечат антибиотиками — но почему это работает? Понятно про сопутствующие бактериальные инфекции, но как это помогает против вирусов?
Простая прикидка выглядит так: основных статей расходов две, это зарплаты и железо. Возьмём штат учёных и инженеров 1000 человек, положим годовую зарплату каждого $200k, итого на зарплаты уйдёт $200M в год. Аренду железа возьмём условно 5000 серверов, каждый по $2k в месяц, итого $120M в год. Теперь положим 1B юзеров и положим, что платит каждый тысячный, в год набегает $240M, итого годовой дефицит $80M. Варьируя каждый из параметров, можно заключить, что сверхприбылей там вовсе нет, компания скорее сильно убыточна.
Очень выдающаяся и современная работа! Что думаете насчёт (а) применения стандартных форматов ML-моделей, типа ONNX, и (б) интеграции с другими хемоинформатическими онлайн-платформами, типа OpenKIM и Optimade?
Ничего не мешает колонизировать Марс с Венерой более-менее одновременно, как это, например, уже происходило в нашей истории с Америкой и Австралией.
Пожалуйста, вы бы не могли ответить по существу? Это небезынтересная дискуссия, я поставил вам плюс.
Это довольно неожиданно. По-вашему, выходит, что донастройка CPU позволяет добиться лучших результатов, чем GPU. С чем это связано, слабая видеокарта?
А вас не смущают возможные галлюцинации? В любой момент эта штуковина может на серьёзных щах выдать вам бред сивой кобылы.