потратила 2к, чтоб вам не пришлось) А так, с одной стороны да, но мне хотелось предметно пощупать как обновились модели, тк в последнее время не генерила полноценных роликов. Да и странно писать статью с неким экспериментом, при этом его не проводить
Через Lean (по крайней мере на момент написания статьи) свое исследование не публиковали математики, поэтому в любом случае все надо проверять, а скорее всего и сравнивать.
Да и в целом, Lean штука надежная, но я бы дождалась подтверждений от человеков. А сколько на это уйдет времени, не предположу даже, учитывая, что это задача тысячелетия)
Ждем математиков в комментариях, которые смогут сказать точнее
В будущей модели Astra OpenAI использует архитектурный прием recurrent depth, также известный как looped transformer. Вместо того чтобы каждый слой обрабатывать вход один раз, модель многократно прогоняет представление через одни и те же вычислительные блоки перед генерацией следующего токена. Это позволяет увеличить «глубину вычислений» без пропорционального наращивания числа параметров.
У подхода есть два очевидных преимущества. Меньшая по размеру модель может выполнять больше вычислений над сложной задачей, а повторное использование одних и тех же слоев позволяет сократить требования к памяти и пропускной способности по сравнению с простым увеличением размера модели. Исследования подобных методов уже показывали улучшения на задачах программирования и математики.
Но есть и проблема с наблюдаемостью размышлений (reasoning). В обычных «думающих» моделях значительная часть рассуждений выражается в виде текстовой цепочки мыслей. При recurrent depth дополнительные вычисления происходят внутри повторяющихся проходов по скрытым представлениям, поэтому значительная часть процесса оказывается менее доступна для внешнего анализа.
У меня уже у самой дежавю, как долго длится этот сериал) Честно, не ресерчила статьи на эту тему пока писала. Да и вывод здесь весьма очевидный. Можно уйти глубоко в теории, что это все пиар, но и это уже звучит странно и вторично)
А за обратную связь спасибо, согласна во многом. Умственные способности, как на скрине — уже особенность гпт
Так в чем собственно вопрос? Как работает кэширование в BotHub? Как проходит оптимизация контекста в тарифах Eco и Pro? На что отвечать-то?) Тема не особо раскрыта, согласна. Скажите, что уточнить, попробую ответить)
На момент написания были тольковые результаты от разработчиков. Посмотрим, как модель покажет себя на реальных задачах. Да и последние модели больше заточены под ангентные сценарии
На Eco мы используем подписочные аккаунты моделей — берём у них ответ по тому же принципу и отдаём вам. Это те же самые модели, просто не через официальное API, поэтому и выходит значительно дешевле.
На Pro — прямое официальное API, максимальная скорость и 100% точность.
Никакой подмены на «тупые» модели нет. Проверить легко: прогоните сложный запрос у нас и в официальном приложении, сравните ответы.
На Eco мы используем подписочные аккаунты моделей — берём у них ответ по тому же принципу и отдаём вам. Это те же самые модели, просто не через официальное API, поэтому и выходит значительно дешевле.
На Pro — прямое официальное API, максимальная скорость и 100% точность.
Никакой подмены на «тупые» модели нет. Проверить легко: прогоните сложный запрос у нас и в официальном приложении, сравните ответы.
На чём мы зарабатываем — это оптимизация инфраструктуры и объёмы. Детали маршрутизации и договорённостей с поставщиками мощностей мы не раскрываем – это, как и у любого сервиса, коммерческая тайна.
Но раскрывать схему и не нужно, потому что есть то, что вы можете проверить сами, не веря нам на слово.
Мы принципиально не подменяем флагманы на «тупенькие» модели. Как это проверить: возьмите любой сложный запрос (логика, работа с большим документом, код), прогоните его у нас и параллельно в официальном приложении Claude / GPT / Gemini. Сравните ответы. Это самый честный тест.
Мы сами гоняем каждого поставщика через жёсткие тесты на подмену, обрезку контекста и скорость – и тех, кто мухлюет, в сервис не пускаем.
Вопрос по факту, спасибо, что прямой. Со скепсисом тож согласны, рынок и правда полон историй с подменой моделей, и относиться к цене критически правильно.
Отвечу по существу.
На чём мы зарабатываем — это оптимизация инфраструктуры и объёмы. Детали маршрутизации и договорённостей с поставщиками мощностей мы не раскрываем – это, как и у любого сервиса, коммерческая тайна.
Но раскрывать схему и не нужно, потому что есть то, что вы можете проверить сами, не веря нам на слово.
Мы принципиально не подменяем флагманы на «тупенькие» модели. Как это проверить: возьмите любой сложный запрос (логика, работа с большим документом, код), прогоните его у нас и параллельно в официальном приложении Claude / GPT / Gemini. Сравните ответы. Это самый честный тест.
Про Eco отдельно: это не «другая модель», это та же модель, но по оптимизированному маршруту. Плата за экономию – возможные задержки в пик и суммаризация очень длинного контекста. Мы об этом пишем прямо в описании режима, ничего не прячем.
Нужна 100% точность памяти повышенная скорость – есть Pro. Он обычно наравне с OpenRouter. (Иногда у них скидки, иногда у нас, иногда у нас дороже, не скрываем)
Мы сами гоняем каждого поставщика через жёсткие тесты на подмену, обрезку контекста и скорость – и тех, кто мухлюет, в сервис не пускаем.
У нас лежит статья с результатами работы за последние полгода. Она, конечно, не техническая, но подойдет, если хочется разобраться как у нас что устроено
Здорово,тут опенреутер молодцы) Про бесплатные модели, на самом деле, реально особо не думали, тк мало кто идет за ними, как будто большинству проще напрямую заходить, но видимо нет.
Да и это такая непостоянная штука, как ее сравнивать не ясно: только в моменте, либо год следить какие были бесплатные и кто сыпет больше халявы. Тут Опенреутер. С другой стороны, у них нет бесплатных кредитов. А как оценить что выгоднее: капсы на любые llm или ряд бесплатных моделей? Будет все-равно предвзято, что не выбери. Да и здесь хотелось все-таки сравнить платформы, а не их маркетологов.
Но здорово, что написали такой коммент, этот вопрос я что-то реально упустила и не подсветила)
На комментарий выше отвечу отдельно и подробнее. По поводу батча: он есть, с OpenRouter не сравнивали, потому что:
У OpenRouter он находится в бете, поэтому сравнивать было бы не совсем корректно. Но если интересно, сделаем отдельную статью на эту тему, где учтём все нюансы. Банально потому, что их решение ещё не в финальной версии — странно сравнивать, так как оно может уступать хотя бы в стабильности работы.
Пока они предлагают похожую скидку, поэтому пока нет так много различий, чтобы содержательно поговорить про батчи
потратила 2к, чтоб вам не пришлось) А так, с одной стороны да, но мне хотелось предметно пощупать как обновились модели, тк в последнее время не генерила полноценных роликов. Да и странно писать статью с неким экспериментом, при этом его не проводить
Через Lean (по крайней мере на момент написания статьи) свое исследование не публиковали математики, поэтому в любом случае все надо проверять, а скорее всего и сравнивать.
Да и в целом, Lean штука надежная, но я бы дождалась подтверждений от человеков. А сколько на это уйдет времени, не предположу даже, учитывая, что это задача тысячелетия)
Ждем математиков в комментариях, которые смогут сказать точнее
Да, апдейтнула
AGI обещают чуть ли не каждый апдейт, а его все нет. Лучше бы выполнили обещание назвать GPT 6-7 (сиксевен).
В каком-то смысле да 🤷 все равно работа должна стать комфортнее
Astra использует рекуррентную глубину — и это осложняет аудит модели
https://habr.com/ru/companies/bothub/news/1078066/
В будущей модели Astra OpenAI использует архитектурный прием recurrent depth, также известный как looped transformer. Вместо того чтобы каждый слой обрабатывать вход один раз, модель многократно прогоняет представление через одни и те же вычислительные блоки перед генерацией следующего токена. Это позволяет увеличить «глубину вычислений» без пропорционального наращивания числа параметров.
У подхода есть два очевидных преимущества. Меньшая по размеру модель может выполнять больше вычислений над сложной задачей, а повторное использование одних и тех же слоев позволяет сократить требования к памяти и пропускной способности по сравнению с простым увеличением размера модели. Исследования подобных методов уже показывали улучшения на задачах программирования и математики.
Но есть и проблема с наблюдаемостью размышлений (reasoning). В обычных «думающих» моделях значительная часть рассуждений выражается в виде текстовой цепочки мыслей. При recurrent depth дополнительные вычисления происходят внутри повторяющихся проходов по скрытым представлениям, поэтому значительная часть процесса оказывается менее доступна для внешнего анализа.
У меня уже у самой дежавю, как долго длится этот сериал) Честно, не ресерчила статьи на эту тему пока писала. Да и вывод здесь весьма очевидный. Можно уйти глубоко в теории, что это все пиар, но и это уже звучит странно и вторично)
А за обратную связь спасибо, согласна во многом. Умственные способности, как на скрине — уже особенность гпт
Так в чем собственно вопрос? Как работает кэширование в BotHub? Как проходит оптимизация контекста в тарифах Eco и Pro? На что отвечать-то?) Тема не особо раскрыта, согласна. Скажите, что уточнить, попробую ответить)
На момент написания были тольковые результаты от разработчиков. Посмотрим, как модель покажет себя на реальных задачах. Да и последние модели больше заточены под ангентные сценарии
На Eco мы используем подписочные аккаунты моделей — берём у них ответ по тому же принципу и отдаём вам. Это те же самые модели, просто не через официальное API, поэтому и выходит значительно дешевле.
На Pro — прямое официальное API, максимальная скорость и 100% точность.
Никакой подмены на «тупые» модели нет. Проверить легко: прогоните сложный запрос у нас и в официальном приложении, сравните ответы.
На Eco мы используем подписочные аккаунты моделей — берём у них ответ по тому же принципу и отдаём вам. Это те же самые модели, просто не через официальное API, поэтому и выходит значительно дешевле.
На Pro — прямое официальное API, максимальная скорость и 100% точность.
Никакой подмены на «тупые» модели нет. Проверить легко: прогоните сложный запрос у нас и в официальном приложении, сравните ответы.
Выше был ответ
Ответила выше про то, на чем мы зарабатываем
Вопрос по факту, спасибо, что прямой. Со скепсисом тож согласны, рынок и правда полон историй с подменой моделей, и относиться к цене критически правильно.
Отвечу по существу.
На чём мы зарабатываем — это оптимизация инфраструктуры и объёмы. Детали маршрутизации и договорённостей с поставщиками мощностей мы не раскрываем – это, как и у любого сервиса, коммерческая тайна.
Но раскрывать схему и не нужно, потому что есть то, что вы можете проверить сами, не веря нам на слово.
Мы принципиально не подменяем флагманы на «тупенькие» модели. Как это проверить: возьмите любой сложный запрос (логика, работа с большим документом, код), прогоните его у нас и параллельно в официальном приложении Claude / GPT / Gemini. Сравните ответы. Это самый честный тест.
Про Eco отдельно: это не «другая модель», это та же модель, но по оптимизированному маршруту. Плата за экономию – возможные задержки в пик и суммаризация очень длинного контекста. Мы об этом пишем прямо в описании режима, ничего не прячем.
Нужна 100% точность памяти повышенная скорость – есть Pro. Он обычно наравне с OpenRouter. (Иногда у них скидки, иногда у нас, иногда у нас дороже, не скрываем)
Мы сами гоняем каждого поставщика через жёсткие тесты на подмену, обрезку контекста и скорость – и тех, кто мухлюет, в сервис не пускаем.
У нас лежит статья с результатами работы за последние полгода. Она, конечно, не техническая, но подойдет, если хочется разобраться как у нас что устроено
Здорово,тут опенреутер молодцы) Про бесплатные модели, на самом деле, реально особо не думали, тк мало кто идет за ними, как будто большинству проще напрямую заходить, но видимо нет.
Да и это такая непостоянная штука, как ее сравнивать не ясно: только в моменте, либо год следить какие были бесплатные и кто сыпет больше халявы. Тут Опенреутер. С другой стороны, у них нет бесплатных кредитов. А как оценить что выгоднее: капсы на любые llm или ряд бесплатных моделей? Будет все-равно предвзято, что не выбери. Да и здесь хотелось все-таки сравнить платформы, а не их маркетологов.
Но здорово, что написали такой коммент, этот вопрос я что-то реально упустила и не подсветила)
Которые есть в списке они и так бесплатные, за них не списывают капсы. Капсы просто зачисляются на акк и их можно тратить на любые модели.
Бесплатные модели есть + для читателей Хабра есть 300тыс. капсов в подарок
На комментарий выше отвечу отдельно и подробнее. По поводу батча: он есть, с OpenRouter не сравнивали, потому что:
У OpenRouter он находится в бете, поэтому сравнивать было бы не совсем корректно. Но если интересно, сделаем отдельную статью на эту тему, где учтём все нюансы. Банально потому, что их решение ещё не в финальной версии — странно сравнивать, так как оно может уступать хотя бы в стабильности работы.
Пока они предлагают похожую скидку, поэтому пока нет так много различий, чтобы содержательно поговорить про батчи
Сейчас еще с десяток ботов напишет об этом)
Да и релиз актуальный и важный
Скорее заключение про тренд/тенденцию в сторону агентных сценариев)