Если весь вопрос в безопасной работы с памятью, то зачем делать для этого новый язык не совместимый ни с каким другим и не проще ли взять уже существующий (например С++) и дополнить его тем же самым статическим анализом AST?
Не хуже, а становится выше вероятность галюцинаций и увеличивается время выявления ошибки в рассуждениях.
Например в контексте программирования, LLM может начать использовать не существующий API и на его основе реализовать заданный алгоритм. А после выдачи результата попытаться скомпилировать код, выяснить что он не работает и только после этого, уже при следующей итерации во время анализы причины проблемы, LLM вам сообщит "извините, я использовал не существующий API, сейчас сделаю как нужно".
Смотрите не компьютерный ИБП, а для газовых котлов с внешними АКБ. У них и мощность бывает нормальная и качество выходного напряжения - чистая синусоида и внешний АКБ может быть практически любой емкости.
Я знаю, что термин "открытый" не является синонимом "свободный", поэтому у вас получилась небольшая каша из терминологии, так как код действительно может быть открытым без предоставления права на его использование, кроме как в ознакомительных или не коммерческих целях и от этого он открытым быть не перестанет.
Не понял. Вы хотите сказать, что каждому сочетанию температура+seed соответствует один и только один ответ сети?
Да, если все остальные входные данные так же остаются неизменными.
Алгоритм вычисления LLM фиксированный и определяется только конфигурацией её слоев. Чистая математика, которую при желании можно посчитать на калькуляторе (только будет очень долго), тогда как вариативность ответов обеспечивается входными данными и слоями, в которых используются случайные числа.
Если вы фиксируете seed, то убираете случайную составляющую между разными вызовами и при одинаковых входных данных всегда будете получать один и тот же результат.
При фиксированном seed, температура не будет влиять на воспроизводимость , т.е. для разных значений температуры ответы хоть и будут разные, но они будут всегда повторяться, тогда как если seed при каждом запросе будут меняться, то при при одной и той же температуре воспроизводимости уже не будет.
PyTorch это фактически Pyton обертка над C++ API библиотеки LibTorch, которую можно использовать напрямую из низкоуровневых языков, тогда как Keras, это Python библиотека, которую в С++ или Java не встроишь :-(
Вам с таким подходом можно, например, торговать на бирже. Делаете 50 прогнозов развития динамики стоимости акций, отбрасываете 49 плохих прогнозов и вкладываетесь по оставшемуся верному. Наверно тоже должно окупиться :-)
Я писал не о "повторяемости кода", а о "повторяемости выполнения промптов". Это включает в себя "повторяемость кода" (так как код тоже является результатом выполнения промпта), но не ограничивается только им.
А смысл повторяемость в том, чтобы один и тот же рабочий проипт всегда выдавал рабочий код. Если вы сможете обеспечить гарантировнанную на 100% работоспособность разного кода, тогда вопросов нет. Однако практика показывает, что LLM как черный ящик не может даже просто повторить, что раньше уже корректно работало.
Если весь вопрос в безопасной работы с памятью, то зачем делать для этого новый язык не совместимый ни с каким другим и не проще ли взять уже существующий (например С++) и дополнить его тем же самым статическим анализом AST?
Приватность данных никак не связана с алгоритмом шифрования
Для них бизнес, это корпораты и тендеры на госзаказы, а частные пользователи им вообще не нужны.
Не хуже, а становится выше вероятность галюцинаций и увеличивается время выявления ошибки в рассуждениях.
Например в контексте программирования, LLM может начать использовать не существующий API и на его основе реализовать заданный алгоритм. А после выдачи результата попытаться скомпилировать код, выяснить что он не работает и только после этого, уже при следующей итерации во время анализы причины проблемы, LLM вам сообщит "извините, я использовал не существующий API, сейчас сделаю как нужно".
Так кроме котла в контуре отопления есть еще и насос, который тоже должен работать
Могу прислать через 1-2 месяца как доделаю
Смотрите не компьютерный ИБП, а для газовых котлов с внешними АКБ. У них и мощность бывает нормальная и качество выходного напряжения - чистая синусоида и внешний АКБ может быть практически любой емкости.
Чтобы получить совет, достаточно написать на Хабре. От советчиков в комментариях отбоя не будет :-)
И чем у вас привлекательнее, чем непосредственно на GitHub или каком нибудь https://dev.to/ ?
Я знаю, что термин "открытый" не является синонимом "свободный", поэтому у вас получилась небольшая каша из терминологии, так как код действительно может быть открытым без предоставления права на его использование, кроме как в ознакомительных или не коммерческих целях и от этого он открытым быть не перестанет.
Вот только перевести забыли
Подтверждение чего? Что вычисления детерминированы или что фиксирования seeed убирают случайную составляющую?
Да, если все остальные входные данные так же остаются неизменными.
Алгоритм вычисления LLM фиксированный и определяется только конфигурацией её слоев. Чистая математика, которую при желании можно посчитать на калькуляторе (только будет очень долго), тогда как вариативность ответов обеспечивается входными данными и слоями, в которых используются случайные числа.
Если вы фиксируете seed, то убираете случайную составляющую между разными вызовами и при одинаковых входных данных всегда будете получать один и тот же результат.
При фиксированном seed, температура не будет влиять на воспроизводимость , т.е. для разных значений температуры ответы хоть и будут разные, но они будут всегда повторяться, тогда как если seed при каждом запросе будут меняться, то при при одной и той же температуре воспроизводимости уже не будет.
Вы забыли написать самое главное.
PyTorch это фактически Pyton обертка над C++ API библиотеки LibTorch, которую можно использовать напрямую из низкоуровневых языков, тогда как Keras, это Python библиотека, которую в С++ или Java не встроишь :-(
Вам с таким подходом можно, например, торговать на бирже. Делаете 50 прогнозов развития динамики стоимости акций, отбрасываете 49 плохих прогнозов и вкладываетесь по оставшемуся верному. Наверно тоже должно окупиться :-)
Температура это "креативность" ответа и вероятность возникновения LLM галюцинаций, но это никак не влияете на его повторяемость (воспровизводимость).
Я писал не о "повторяемости кода", а о "повторяемости выполнения промптов". Это включает в себя "повторяемость кода" (так как код тоже является результатом выполнения промпта), но не ограничивается только им.
А смысл повторяемость в том, чтобы один и тот же рабочий проипт всегда выдавал рабочий код. Если вы сможете обеспечить гарантировнанную на 100% работоспособность разного кода, тогда вопросов нет. Однако практика показывает, что LLM как черный ящик не может даже просто повторить, что раньше уже корректно работало.
Да чего уж мелочиться. Путь огни сами и тикеты создают. Тогда им и пользователи вообще будут не нужны :-)