Протестировал эти запросы на моделях 8 и 70b. На 70 ответила примерно тоже самое с небольшими изменениями, но точность не пострадала. Ответ про автобус только был другой, там она сообщила, что недостаточно данных, но минимум 5 (примерно, как у claude). Ну а 8b модель лажала во всех трёх заданиях: код делает вообще не то, кирпич 1,5 кило, людей в автобусе 8, хотя по рассуждениям сумма другая, а в рецепте просто заменила слово "приготовление" на "сборка" и рецепт это был не борща ))
В общем, модель на 70B справилась не хуже с этими задачами. Но в целом, после некоторого опыта использования могу сказать, что она значительно хуже Chat GPT 4o. Модель на 400B как следует проверить не удалось - запускал пару раз на hugging face chat, но там проблема с доступностью модели. Но ответы были на уровне Chat GPT 4o.
Вот уже 2,5 года занимаюсь подобным, просто однажды установил приложение на телефон и привык учитывать всё своё время. Основные выводы, к которым я пришёл:
Сам по себе учёт времени не дисциплинирует, если занимаешься фигнёй весь день, по привычке заносишь её в трекер и на этом всё.
Лучше дисциплинирует обратный процесс — сначала намечаешь план, чем и в какое время будешь заниматься весь день, а затем следуешь этому плану.
Т.е. учёт времени может служить инструментом для проверки следования плану, а также для анализа адекватности плана. Но не дисциплинирует, никак.
Ещё заметил, что у меня в сутках оказывается 3-4 часа неучтённого времени, правда я не учитываю такие мелочи, как умыться, сходить в туалет, дойти от машины до рабочего места, одеться и прочее, что занимает менее, чем 5-10 минут.
Протестировал эти запросы на моделях 8 и 70b. На 70 ответила примерно тоже самое с небольшими изменениями, но точность не пострадала. Ответ про автобус только был другой, там она сообщила, что недостаточно данных, но минимум 5 (примерно, как у claude). Ну а 8b модель лажала во всех трёх заданиях: код делает вообще не то, кирпич 1,5 кило, людей в автобусе 8, хотя по рассуждениям сумма другая, а в рецепте просто заменила слово "приготовление" на "сборка" и рецепт это был не борща ))
В общем, модель на 70B справилась не хуже с этими задачами. Но в целом, после некоторого опыта использования могу сказать, что она значительно хуже Chat GPT 4o. Модель на 400B как следует проверить не удалось - запускал пару раз на hugging face chat, но там проблема с доступностью модели. Но ответы были на уровне Chat GPT 4o.
Т.е. учёт времени может служить инструментом для проверки следования плану, а также для анализа адекватности плана. Но не дисциплинирует, никак.
Ещё заметил, что у меня в сутках оказывается 3-4 часа неучтённого времени, правда я не учитываю такие мелочи, как умыться, сходить в туалет, дойти от машины до рабочего места, одеться и прочее, что занимает менее, чем 5-10 минут.