Я знаю, что термин "открытый" не является синонимом "свободный", поэтому у вас получилась небольшая каша из терминологии, так как код действительно может быть открытым без предоставления права на его использование, кроме как в ознакомительных или не коммерческих целях и от этого он открытым быть не перестанет.
Не понял. Вы хотите сказать, что каждому сочетанию температура+seed соответствует один и только один ответ сети?
Да, если все остальные входные данные так же остаются неизменными.
Алгоритм вычисления LLM фиксированный и определяется только конфигурацией её слоев. Чистая математика, которую при желании можно посчитать на калькуляторе (только будет очень долго), тогда как вариативность ответов обеспечивается входными данными и слоями, в которых используются случайные числа.
Если вы фиксируете seed, то убираете случайную составляющую между разными вызовами и при одинаковых входных данных всегда будете получать один и тот же результат.
При фиксированном seed, температура не будет влиять на воспроизводимость , т.е. для разных значений температуры ответы хоть и будут разные, но они будут всегда повторяться, тогда как если seed при каждом запросе будут меняться, то при при одной и той же температуре воспроизводимости уже не будет.
PyTorch это фактически Pyton обертка над C++ API библиотеки LibTorch, которую можно использовать напрямую из низкоуровневых языков, тогда как Keras, это Python библиотека, которую в С++ или Java не встроишь :-(
Вам с таким подходом можно, например, торговать на бирже. Делаете 50 прогнозов развития динамики стоимости акций, отбрасываете 49 плохих прогнозов и вкладываетесь по оставшемуся верному. Наверно тоже должно окупиться :-)
Я писал не о "повторяемости кода", а о "повторяемости выполнения промптов". Это включает в себя "повторяемость кода" (так как код тоже является результатом выполнения промпта), но не ограничивается только им.
А смысл повторяемость в том, чтобы один и тот же рабочий проипт всегда выдавал рабочий код. Если вы сможете обеспечить гарантировнанную на 100% работоспособность разного кода, тогда вопросов нет. Однако практика показывает, что LLM как черный ящик не может даже просто повторить, что раньше уже корректно работало.
Вы не поняли. Если у вас нет повторяемости кода и он меняется от запроса к запросу, то к коду тестов это тоже относиться. А если у вас плавает не только код программы, но и код тестов, то это чистое шаманство, и не важно как вы такие тесты называете.
Так тесты, это же тоже код. А как вы писали, для кода повторяемость не важна, важен результат! Тогда удачи вам в постоянном переписывании тестов и подгонке результатов их работы под новые версии кода. :-)
Если вас устраивает пляски с бубном без возможности воспроизвести полученный ранее результат (например, заказчик оплачивает время), то можно и без нее.
Представьте, что менеджер по продажам в оптовом продавце электроники, заключил с вами договор на 100 мл. на поставку товара в котором предусмотрена скидка. Вы этот договор оплатили, но постом вам сказали, что договор неправильный, и продавец его выполнять его не будет, после чего вам вернули по нему деньги.
Любой договор можно отменить (на то есть условия его расторжения), но вопрос не в этом, можно или нельзя, а кто за это несет ответственность и компенсирует расходы, связанные с расторжением договора (если покупатель юрлицо) или при нарушении ЗЗПП, если покупатель физик.
Пипец, теперь понятно, почему начались проблемы на сайте clang.org при просмотре документации. Без VPN соединение обрывается не загрузив и половину страницы "Время ожидания соединения истекло".
Просто нет культурных слов. Это какая-то правовая импотенция судебной системы, когда нет никаких законных способов повлиять на подобный беспредел блокировок.
Чтобы получить совет, достаточно написать на Хабре. От советчиков в комментариях отбоя не будет :-)
И чем у вас привлекательнее, чем непосредственно на GitHub или каком нибудь https://dev.to/ ?
Я знаю, что термин "открытый" не является синонимом "свободный", поэтому у вас получилась небольшая каша из терминологии, так как код действительно может быть открытым без предоставления права на его использование, кроме как в ознакомительных или не коммерческих целях и от этого он открытым быть не перестанет.
Вот только перевести забыли
Подтверждение чего? Что вычисления детерминированы или что фиксирования seeed убирают случайную составляющую?
Да, если все остальные входные данные так же остаются неизменными.
Алгоритм вычисления LLM фиксированный и определяется только конфигурацией её слоев. Чистая математика, которую при желании можно посчитать на калькуляторе (только будет очень долго), тогда как вариативность ответов обеспечивается входными данными и слоями, в которых используются случайные числа.
Если вы фиксируете seed, то убираете случайную составляющую между разными вызовами и при одинаковых входных данных всегда будете получать один и тот же результат.
При фиксированном seed, температура не будет влиять на воспроизводимость , т.е. для разных значений температуры ответы хоть и будут разные, но они будут всегда повторяться, тогда как если seed при каждом запросе будут меняться, то при при одной и той же температуре воспроизводимости уже не будет.
Вы забыли написать самое главное.
PyTorch это фактически Pyton обертка над C++ API библиотеки LibTorch, которую можно использовать напрямую из низкоуровневых языков, тогда как Keras, это Python библиотека, которую в С++ или Java не встроишь :-(
Вам с таким подходом можно, например, торговать на бирже. Делаете 50 прогнозов развития динамики стоимости акций, отбрасываете 49 плохих прогнозов и вкладываетесь по оставшемуся верному. Наверно тоже должно окупиться :-)
Температура это "креативность" ответа и вероятность возникновения LLM галюцинаций, но это никак не влияете на его повторяемость (воспровизводимость).
Я писал не о "повторяемости кода", а о "повторяемости выполнения промптов". Это включает в себя "повторяемость кода" (так как код тоже является результатом выполнения промпта), но не ограничивается только им.
А смысл повторяемость в том, чтобы один и тот же рабочий проипт всегда выдавал рабочий код. Если вы сможете обеспечить гарантировнанную на 100% работоспособность разного кода, тогда вопросов нет. Однако практика показывает, что LLM как черный ящик не может даже просто повторить, что раньше уже корректно работало.
Да чего уж мелочиться. Путь огни сами и тикеты создают. Тогда им и пользователи вообще будут не нужны :-)
Вы не поняли. Если у вас нет повторяемости кода и он меняется от запроса к запросу, то к коду тестов это тоже относиться. А если у вас плавает не только код программы, но и код тестов, то это чистое шаманство, и не важно как вы такие тесты называете.
Так тесты, это же тоже код. А как вы писали, для кода повторяемость не важна, важен результат! Тогда удачи вам в постоянном переписывании тестов и подгонке результатов их работы под новые версии кода. :-)
Не только предсказательностью, но и воспроизводимостью.
Однако автору про это кажется неизвестно :-)
Если вас устраивает пляски с бубном без возможности воспроизвести полученный ранее результат (например, заказчик оплачивает время), то можно и без нее.
Вы всегда будете гадать на кофейной гуще, если не можете обеспечить повторяемость.
Социальной инженерии в чате с LLM? Вы сами поняли, что написали?
Представьте, что менеджер по продажам в оптовом продавце электроники, заключил с вами договор на 100 мл. на поставку товара в котором предусмотрена скидка. Вы этот договор оплатили, но постом вам сказали, что договор неправильный, и продавец его выполнять его не будет, после чего вам вернули по нему деньги.
Любой договор можно отменить (на то есть условия его расторжения), но вопрос не в этом, можно или нельзя, а кто за это несет ответственность и компенсирует расходы, связанные с расторжением договора (если покупатель юрлицо) или при нарушении ЗЗПП, если покупатель физик.
Пипец, теперь понятно, почему начались проблемы на сайте clang.org при просмотре документации. Без VPN соединение обрывается не загрузив и половину страницы "Время ожидания соединения истекло".
Просто нет культурных слов. Это какая-то правовая импотенция судебной системы, когда нет никаких законных способов повлиять на подобный беспредел блокировок.