Нет, я прочитал заголовок и первые бенчмарки без актуальных моделей и они не соответствуют реальности. Дальше читать желания не появилось, если автор на кликбейте.
Ну вот поэтому к сожалению для меня все эти миллионные контексты бесполезны. Я его для переводов БОЛЬШИХ текстов испольую на другие языки и мне приходится отдавать ему текст на переводы кусками по 16К токенов, чтобы вывод был примерно такойже, соответственно для него каждая отправка нового запроса - это новый "сеанс" в котором он не видит предыдущего текста и теряет логику происходяшего, а отправлять кусками в рамках одного "сеанса" с сохранением контекста это капец как дорого, потому что он каждый запрос внутри одного контекста заново обрабатывает весь "контекст" который был до этого в диалоге, в итоге каждый следующий кусок я оплачиваю как повторную обработку ВСЕГО контекста, что есть в диалоге, ценник растёт в геометрической прогрессии. Чтобы перевести 100К токенов, надо оплатить не 100К токенов, а миллионов 20 токенов. Полный бред...
Вот вы сидите сейчас и постите какую-то коммунистическую пропаганду, про плохих капиталистов. Только вы делаете это на процессоре Intel или Apple, а связь построена на оборудовани Cisco и Siemens... Вам кажется лично никто этого не втюхивал и уж точно вы не обязаны были на это соглашаться. Но вы пользуетесь плодами чужого труда для коммуникации что является безусловным "благом" для вас и для любого айтишника. Я уж молчу, сколько в мире медицинского оборудования задействовано, чтобы вылечить в случае чего вас и вашего ребенка. Но у вас почему-то всё "втюхали", "акции", "бизнес модель" всё в негативном свете, хотя это и акции и безнес модель - это то что позволяет вам получить те блага которым вы пользуетесь. Прочитайте басню "Свинья под дубом". Там про вас.
Это не так работает. Производители оборудования связи и медицинского оборудования и вакцин и всего того, что делает нашу жизнь гуманнее, справедливее и безопаснее, и т.д. тоже никто из них не преследует альтруистичных целей. Все работают в первую очередь для себя. А всеобщее счастье наступает опосредованно когда мы меняем произведенные нами блага, на блага произведенные другими людьми.
Нет, я прочитал заголовок и первые бенчмарки без актуальных моделей и они не соответствуют реальности. Дальше читать желания не появилось, если автор на кликбейте.
Ну вот поэтому к сожалению для меня все эти миллионные контексты бесполезны. Я его для переводов БОЛЬШИХ текстов испольую на другие языки и мне приходится отдавать ему текст на переводы кусками по 16К токенов, чтобы вывод был примерно такойже, соответственно для него каждая отправка нового запроса - это новый "сеанс" в котором он не видит предыдущего текста и теряет логику происходяшего, а отправлять кусками в рамках одного "сеанса" с сохранением контекста это капец как дорого, потому что он каждый запрос внутри одного контекста заново обрабатывает весь "контекст" который был до этого в диалоге, в итоге каждый следующий кусок я оплачиваю как повторную обработку ВСЕГО контекста, что есть в диалоге, ценник растёт в геометрической прогрессии. Чтобы перевести 100К токенов, надо оплатить не 100К токенов, а миллионов 20 токенов. Полный бред...
Хмм, может быть это разные вещи... Может и правда контекст 1КК, а максимальная длинна входных данных и ответа 16К, что как будто бы довольно мало.
А один миллион токенов точно есть? Я просто смотрел в плейграунде и там 64к всего.
А мне кажется прикольно. Попробую
Вот вы сидите сейчас и постите какую-то коммунистическую пропаганду, про плохих капиталистов. Только вы делаете это на процессоре Intel или Apple, а связь построена на оборудовани Cisco и Siemens... Вам кажется лично никто этого не втюхивал и уж точно вы не обязаны были на это соглашаться. Но вы пользуетесь плодами чужого труда для коммуникации что является безусловным "благом" для вас и для любого айтишника. Я уж молчу, сколько в мире медицинского оборудования задействовано, чтобы вылечить в случае чего вас и вашего ребенка. Но у вас почему-то всё "втюхали", "акции", "бизнес модель" всё в негативном свете, хотя это и акции и безнес модель - это то что позволяет вам получить те блага которым вы пользуетесь. Прочитайте басню "Свинья под дубом". Там про вас.
Это не так работает. Производители оборудования связи и медицинского оборудования и вакцин и всего того, что делает нашу жизнь гуманнее, справедливее и безопаснее, и т.д. тоже никто из них не преследует альтруистичных целей. Все работают в первую очередь для себя. А всеобщее счастье наступает опосредованно когда мы меняем произведенные нами блага, на блага произведенные другими людьми.