На днях OpenAI выпустила GPT-4o-mini — новую флагманскую модель для дешёвого сегмента, так сказать.
Говорят, работает «почти как» GPT-4o, а иногда даже круче GPT-4.
Почти в 3 раза дешевле GPT-3.5-turbo.
Размер контекста 128k токенов, против 16k у GPT-3.5-turbo.
Конечно я сразу побежал переводить на эту модель свою читалку новостей.
Если кратко подвести итоги, то это крутая замена GPT-3.5-turbo. У меня получилось сходу, не меняя промпты, заменить двух LLM агентов на одного и суммарно удешевить работу читалки раз в 5 без потери качества.
Но потом я полез тюнить промпт, чтобы сделать ещё круче, и начал сталкиваться с нюансами. Например, с замыливанием контекста и проблемами с большими запросами. Об этом можно прочитать у меня в блоге.
