Кстати, последние модели вроде могут использовать Python скрипты в процессе ответа на вопрос. Возможно сначала определяется тип задачи, если выясняется, что задача счетная, то используется соответствующий инструмент.
Ну что же - вполне себе вариант, и заодно попросить его тогда смотаться в прошлое и сгенерировать нашу Вселенную...
Сомневаюсь, что интеллект, какой бы он ни был, осилит такое (пока в физике не открыто ничего фундаментального, что позволяло бы такое осуществлять практически).
Это только в теории? А на практике у вас получаются одинаковые ответы для константного сида и нулевой температуры, для каких моделей? В вашей же статье есть ответ (и в комментарии выше):
Be aware that even if you set a temperature of 0 and a seed, outputs are not guaranteed to be identical. Providers might change model configurations that might impact the output. For OpenAI models, you can monitor such changes by keeping track of the system_fingerprint provided in the responses.
Помимо сида и температуры есть еще как минимум многопоточность, которая тоже может влиять на детерминистичность (здесь уже влияет состояние ОС, на которой запущен инференс). Если запускать LLM на одном потоке, то это очень медленно и непрактично (особенно применительно к GPU).
Это неверно уже просто по определению - шахматы элементарно можно "посчитать" комбинаторикой. Да, количество вариантов огромно, но зато отсутствует принципиальная невозможность - надо просто подождать когда вычислительные мощности подрастут.
Элементарно комбинации не посчитать и вообще не посчитать до конца даже с существующими технологиями. Дело не в количестве вариантов, а в том, что критерий выигрыша формализован, в отличие от реальных задач типа научных открытий, в котором не понятно, что является критерием выигрыша, от которого можно строить все остальное.
Познавать окружающий мир они могут сейчас только через человека: сталкивать элементарные частицы, смотреть на далекие галактики, исследовать свойства материалов, наблюдать за животными и т.д. А нужно, чтобы нейросети могли это делать самостоятельно и в нужном количестве (как сами решат), причем еще и обучались методикам измерений, чтобы с каждым разом делали это более качественно и тратили меньше ресурсов.
Я кажется понял, что вы неправильно употребили термин. Вы имели в виду то, что текущие LLM неизменяемы (hardcoded), но при этом они недетерминированные (тем более алгоритм, что было в изначальном сообщении), потому что полагаются на рандом. И даже без рандома с нулевым сидом совсем не факт что они будут отвечать на вопросы одинаково, потому что настоящий детерминизм на самом деле очень сложно достижим: Non-determinism in GPT-4 is caused by Sparse MoE.
Кстати, изменяемые, но при этом детерминированные нейросети тоже теоретически могут существовать.
Но во-первых, если речь идёт о сравнительно небольшой таблице вроде сводной, то здесь вполне может пригодиться способность LLM находить паттерны и взаимосвязи, а ещё можно немного облегчить жизнь офисному планктону генерацией отчётов по этим сводным.
Если речь идет о сравнительно небольшой таблице, то особо не важно какой формат используется - любая влезет в контекст, подойдет формат, который лучше всего сочетается с остальным документом.
Одновременное расширение пространства во всех направлениях. Ну т.е. получается, что вселенная бесконечная, хотя имеет смысл говорить только о наблюдаемой вселенной, потому что неизвестно что скрывается за границами?
Потому что центр может быть только у тел в пространстве. А Вселенная и есть суть пространство (даже пространство-время).
Можно взять ограниченную область пространства и посчитать его центр - не вижу проблемы. Однако это не работает, если эта область пространства бесконечная или замкнутая.
Космология исходит из принципа что реликтовый фон изотропен и что позиция любого наблюдатели относительно него - эквивалентна (это уже Эйнштейн).
Только она не исходит из принципе, что вселенная конечна. И позиция для наблюдения реликтового фона в настоящее время очень ограничена - это солнечная система максимум.
Иначе бы получалось что "окраинные галактики" именно вываливаются за горизонт событий, в то время как центральная масса иерархически "сильнее"...
Да и эффективность под вопросом, в сравнении с Java, особенно если посмотреть декомпиллированный код.
Разве что под вопросом, потому что сравнивать надо на реальных бенчмарках, а сам байт-код мало что дает, поскольку он сильно оптимизируется джитом.
Все эти "вкусности", внутренни часто решаются через рефлексию, там где по сути не могло б не быть.
Можно пример такого поведения? В Котлине наоборот есть вещи, которые недоступны в Java: value классы с одним полем, синтаксический инлайнинг, reified типовые параметры. Скоро еще появится более продвинутая compile time reflection.
Я с Kotlin работал крайне мало, и даже тогда меня застали в расплох методы, описываемые вне класса
Субъективное мнение. Вас застали врасплох, а кого-то, наоборот, порадовали.
а в одном месте я получил ошибку, которую я смог найти только после декомпиляции байткода, т.к. она проявлялась в рантайме в сгенерированом кодое, с рефлексией.
Как давно это было и опять-таки не помешал пример этой ошибки.
Кстати, последние модели вроде могут использовать Python скрипты в процессе ответа на вопрос. Возможно сначала определяется тип задачи, если выясняется, что задача счетная, то используется соответствующий инструмент.
Ну я бога не верю, так что нет)
Сомневаюсь, что интеллект, какой бы он ни был, осилит такое (пока в физике не открыто ничего фундаментального, что позволяло бы такое осуществлять практически).
Такие, о которых вы писали ранее:
Это только в теории? А на практике у вас получаются одинаковые ответы для константного сида и нулевой температуры, для каких моделей? В вашей же статье есть ответ (и в комментарии выше):
Помимо сида и температуры есть еще как минимум многопоточность, которая тоже может влиять на детерминистичность (здесь уже влияет состояние ОС, на которой запущен инференс). Если запускать LLM на одном потоке, то это очень медленно и непрактично (особенно применительно к GPU).
Или помешало бы - не факт, что любимые ходы - хорошие ходы с точки зрения сверхчеловеческого уровня.
Элементарно комбинации не посчитать и вообще не посчитать до конца даже с существующими технологиями. Дело не в количестве вариантов, а в том, что критерий выигрыша формализован, в отличие от реальных задач типа научных открытий, в котором не понятно, что является критерием выигрыша, от которого можно строить все остальное.
Познавать окружающий мир они могут сейчас только через человека: сталкивать элементарные частицы, смотреть на далекие галактики, исследовать свойства материалов, наблюдать за животными и т.д. А нужно, чтобы нейросети могли это делать самостоятельно и в нужном количестве (как сами решат), причем еще и обучались методикам измерений, чтобы с каждым разом делали это более качественно и тратили меньше ресурсов.
Это потому что они пока не очень хорошо интегрированы в окружающий физический мир.
Это похоже на проблему компилятора Swift, а не проблему самого XCode.
В таком случае жизнь на Земле исчезнет еще намного быстрее
Зачем такой корабль, если Земля по сути сама превратится в такой корабль, летящий куда-то по галактике со скоростью 220 км/с
Я кажется понял, что вы неправильно употребили термин. Вы имели в виду то, что текущие LLM неизменяемы (hardcoded), но при этом они недетерминированные (тем более алгоритм, что было в изначальном сообщении), потому что полагаются на рандом. И даже без рандома с нулевым сидом совсем не факт что они будут отвечать на вопросы одинаково, потому что настоящий детерминизм на самом деле очень сложно достижим: Non-determinism in GPT-4 is caused by Sparse MoE.
Кстати, изменяемые, но при этом детерминированные нейросети тоже теоретически могут существовать.
Там используется генератор случайных чисел и фидбек от пользователей, значит уже не детерминированный.
Ответ можно найти в статье по ссылке: точность нейросети при использовании CSV низкая.
Если речь идет о сравнительно небольшой таблице, то особо не важно какой формат используется - любая влезет в контекст, подойдет формат, который лучше всего сочетается с остальным документом.
Одновременное расширение пространства во всех направлениях. Ну т.е. получается, что вселенная бесконечная, хотя имеет смысл говорить только о наблюдаемой вселенной, потому что неизвестно что скрывается за границами?
Можно взять ограниченную область пространства и посчитать его центр - не вижу проблемы. Однако это не работает, если эта область пространства бесконечная или замкнутая.
Только она не исходит из принципе, что вселенная конечна. И позиция для наблюдения реликтового фона в настоящее время очень ограничена - это солнечная система максимум.
Либо на то, что центр где-то рядом.
Тогда как это работает, если вселенная ограничена? Ну в смысле отсутствие геометрического центра.
Я правильно понимаю, что если вселенная конечная и не замкнутая, то у нее должен быть центр?
Разве что под вопросом, потому что сравнивать надо на реальных бенчмарках, а сам байт-код мало что дает, поскольку он сильно оптимизируется джитом.
Можно пример такого поведения? В Котлине наоборот есть вещи, которые недоступны в Java: value классы с одним полем, синтаксический инлайнинг, reified типовые параметры. Скоро еще появится более продвинутая compile time reflection.
Субъективное мнение. Вас застали врасплох, а кого-то, наоборот, порадовали.
Как давно это было и опять-таки не помешал пример этой ошибки.
Может здесь как раз целесообразно использовать нейросетевой алгоритм с обученным пониманием прекрасного?