Пожалуй буду съезжать с этого Orbstack, глюки начались, долго думал из за чего, но видимо из-за него. распределенный софт дает ошибки java.lang.IllegalArgumentException: value is negative - что говорит о рассинхронизации времени на хосте и подах. Пока это гипотеза, но съехать на какое то время нужно. Вернусь на подман.
Какие медели запускаете в Open Web UI внешние или только внутренние? есть же сервис проксирования, не пользуетесь ими? Для загрузки файлов настроили docling или что то еще?
Хорошо бы еще рассмотреть разные новые концепции типа bi as a code и тп. фрейворки для этого типа streamlit, evidence.dev, может быть cube.dev ( семантический слой ). Отдельное слово менеджменту, раньше были концепции bsc, kpi, okr и тп. А что сейчас? 10тыс дашбордов достаточно бизнесу? Погоня за скоростью приводит к потере смысла зачастую.
Есть российские прокси с ЭДО и другими плюшками для корпораций или. типа openrouter агрегаторов, еще скоро зеленый большой друг сделает облачный инференс на базе моделей из Hugging Face. Альтернативы появляются, но завязывать свои ключевые процессы на него конечно рискованно. Только свои запускать на своем gpu.
Мне кажется у них там куча всего облачного, зверинец новый, snowflake, starburst, AWS Athena, databend можно почти бесконечно продолжать. Можно погуглить пару статей на тему modern data stack и сравнить. http://mattturck.com/wp-content/uploads/2021/12/2021-MAD-Landscape-v3.pdf В то время еще происходил так называемый кембрийский взрыв дата инструментов. В целом очень похоже, но может он еще идет))
Спасибо за то, что подняли тему, уже несколько дней изучаю ее. Приятно, что коллективное сознание тоже подключилось)), буду рад комментариям гостей на тему графов и GPU вычислений по ним.
от себя добавлю пару ссылок:
http://www.colfax-intl.com/nd/ — разводят породистых «коней» с большим кол-ом GPU и не только.
http://www.cirrascale.com/ — тоже GPU «кони», но есть облачные.
T-pro 2.0 🚀 поделитесь потом результатами :)
Пожалуй буду съезжать с этого Orbstack, глюки начались, долго думал из за чего, но видимо из-за него. распределенный софт дает ошибки java.lang.IllegalArgumentException: value is negative - что говорит о рассинхронизации времени на хосте и подах. Пока это гипотеза, но съехать на какое то время нужно. Вернусь на подман.
Trino надо добавить :) конечно он сам не хранит, а хранит на s3, но sql дает.
Какие медели запускаете в Open Web UI внешние или только внутренние? есть же сервис проксирования, не пользуетесь ими? Для загрузки файлов настроили docling или что то еще?
Хорошо бы еще рассмотреть разные новые концепции типа bi as a code и тп. фрейворки для этого типа streamlit, evidence.dev, может быть cube.dev ( семантический слой ). Отдельное слово менеджменту, раньше были концепции bsc, kpi, okr и тп. А что сейчас? 10тыс дашбордов достаточно бизнесу? Погоня за скоростью приводит к потере смысла зачастую.
Есть российские прокси с ЭДО и другими плюшками для корпораций или. типа openrouter агрегаторов, еще скоро зеленый большой друг сделает облачный инференс на базе моделей из Hugging Face. Альтернативы появляются, но завязывать свои ключевые процессы на него конечно рискованно. Только свои запускать на своем gpu.
Мы через proxyapi.ru там свои апишки, но методы должны быть схожи
Не, так не получается. Там ему нужен метод models на роуте /v1 но найшлись плагины в сообществе через пайплайны, вроде работает но иногда глючит http2
А не подскажите, пробовали ли по api внешнюю deepseek добавлять? Не пойму как это лучше сделать
Мне кажется у них там куча всего облачного, зверинец новый, snowflake, starburst, AWS Athena, databend можно почти бесконечно продолжать. Можно погуглить пару статей на тему modern data stack и сравнить. http://mattturck.com/wp-content/uploads/2021/12/2021-MAD-Landscape-v3.pdf В то время еще происходил так называемый кембрийский взрыв дата инструментов. В целом очень похоже, но может он еще идет))
Еще можно добавить ip адрес как доп проверка на этапе аутентификации
Спасибо, хороший кейс
Мой метод называется «метод мертвого сурка» :) когда сурок умирает он не думает и не шевелится, потому как он мертвый.
А как же akhq? Тоже хорошая альтернатива
от себя добавлю пару ссылок:
http://www.colfax-intl.com/nd/ — разводят породистых «коней» с большим кол-ом GPU и не только.
http://www.cirrascale.com/ — тоже GPU «кони», но есть облачные.