Вот тут соглашусь, отладка на локальных моделях отличный подход.
Но главное с чем соглашусь - "проблему нужно логировать и жёстко разгребать". ESA как раз и создана для этого - всё, что происходит в системе уже в логе. Нужен перезапуск с другими параметрами? Да сколько влезет, причём нет нужды прогонять заново вообще все шаги, их можно спокойно переиспользовать.
Ну и сама нулевая температура, есть кейсы где она актуальна (классификация, json собирать), но что если нужен живой диалог? Написание кода? Исследование?
Ну и в целом, ESA не про это - он не про воспроизводимость именно конкретного ответа, он про воспроизводимость всей системы.
Согласен, мне кажется это естественный процесс, когда спагетти-код одолевает все бегут к понятным контрактам. Так же было как раз в DE, когда на смену огромным ETL пришёл dbt
Прямо в точку. Про проверку входного состояния - идеальная формулировка, лучше моей.
Вот тут соглашусь, отладка на локальных моделях отличный подход.
Но главное с чем соглашусь - "проблему нужно логировать и жёстко разгребать". ESA как раз и создана для этого - всё, что происходит в системе уже в логе. Нужен перезапуск с другими параметрами? Да сколько влезет, причём нет нужды прогонять заново вообще все шаги, их можно спокойно переиспользовать.
К сожалению seed не дает полного детерминизма - OpenAI пишет «mostly deterministic».
Есть на эту тему исследование от Thinking Machine.
Ну и сама нулевая температура, есть кейсы где она актуальна (классификация, json собирать), но что если нужен живой диалог? Написание кода? Исследование?
Ну и в целом, ESA не про это - он не про воспроизводимость именно конкретного ответа, он про воспроизводимость всей системы.
Согласен, мне кажется это естественный процесс, когда спагетти-код одолевает все бегут к понятным контрактам. Так же было как раз в DE, когда на смену огромным ETL пришёл dbt