При уважении к желанию Сэма (автора), есть прекрасный тост (из известного фильма) про желания и возможности. Если изначально UI либы созданы и поставляются как наборы DLL и ресурсов, то желание запихнуть все в один EXE-шник, а затем динамически распаковывать звучит так себе. Получается: либо свое, либо узкий набор решений.
Opus3 хорош для работы с текстом и кодом (text summarizaion, code generation, code migration). После выхода GPT4o качество GPT улучшилось и Opus3 перестал использовать.
Сегодня попробовал Sonnet 3.5 в чате и API для работы с текстами (80к токенов summarize to 800 токенов). Сложно сказать. Нужно еще сравнивать качество с GPT4o, но пока придерживаюсь GPT4o. По цене (сегодняшние тесты): -- $1 за 300тыс токенов на Sonnet 3.5. -- GPT4o получилось $10 за 2млн токенов. Это в основном input tokens.
Тут только A100 покупать. Что сильно больно по деньгам.
Э-э-э, спасибо за совет. Я спрашивал у ребят совет на базе существующего железа. Херакнуть $30k+ не планировал. Проще продолжать с OpenAI API. В месяц сущие копейки, а технологии меняются ежемесячно.
Согласно вашего комментария (finetuning vs inference) насколько экономически выгодно рентовать железо для finetuning, вместо покупки ? А уже inference выполнять на обычном компе с 16 gb VRAM.
А где можно узнать про конфигурацию для автономного выполнения скриптов использующих локальные LLM?
Т.е. я хочу хостить у себя допустим LLaMA (??B), векторизировать корпоративные документы и дальше выполнять запросы через API против дообученой модели.
Какое железо нужно и что влияет на скорость выполнения?
Умничать не вижу смысла, лишь сделал для себя do and don't выводы. Кстати, тоже пользуюсь GPT для трансляции, интерпретации и визуализации логики кода.
5 копеек: - не бойтесь амбициозных задач, даже если не шарите изначально; - не бойтесь начинать с нуля. И, да, для долгой дороги обеспечьте постоянный доход, желательно смежная занятость. 30+ в разрабе. Хех.
Успокоению от чего? Когда кодите, ваш мозг утомляется. Нужна смена активности (сон, зал, пр.). Если приходится успокаиваться, это плохая рабочая атмосфера, совсем иное.
Таки да - недавно смотрел на Postgres Pro и их функционал по масштабируемости, обеспечению надежности и мониторингу чем-то похож на ваш. Вопрос - а зачем переходить на ваше решение, если Postgres Pro уже имеет продукт и репутацию?
Одним из таких инструментов повышения производительности труда является технология низкого уровня кодирования (англ. low-code)
Вообще, низкий уровень - assembler, машинные коды. Высокоуровневые языки: C, C++, Python, etc.
А Low-code - это буквально "мало кода", когда приложение создается визуально, с небольшими вставками кода.
Что касается вашего продукта на базе Multi-D (без названия, кстати), то какой смысл хвалиться, если это закрытый продукт без выхода на рынок и без тех. подробностей?
При уважении к желанию Сэма (автора), есть прекрасный тост (из известного фильма) про желания и возможности.
Если изначально UI либы созданы и поставляются как наборы DLL и ресурсов, то желание запихнуть все в один EXE-шник, а затем динамически распаковывать звучит так себе.
Получается: либо свое, либо узкий набор решений.
Ну, при желании и не так можно, хотя тоже шедеврально
Пользовался GPT4 пока не появился Opus3.
Opus3 хорош для работы с текстом и кодом (text summarizaion, code generation, code migration).
После выхода GPT4o качество GPT улучшилось и Opus3 перестал использовать.
Сегодня попробовал Sonnet 3.5 в чате и API для работы с текстами (80к токенов summarize to 800 токенов).
Сложно сказать. Нужно еще сравнивать качество с GPT4o, но пока придерживаюсь GPT4o.
По цене (сегодняшние тесты):
-- $1 за 300тыс токенов на Sonnet 3.5.
-- GPT4o получилось $10 за 2млн токенов.
Это в основном input tokens.
У нас в добавок еще и SQL CLR в хранимках и функциях, которые придется кодить/переносить на PG.
Значит, SQL Server Foreva! :)
Плюсую за вежливый и красивый ответ. :)
Э-э-э, спасибо за совет.
Я спрашивал у ребят совет на базе существующего железа.
Херакнуть $30k+ не планировал.
Проще продолжать с OpenAI API. В месяц сущие копейки, а технологии меняются ежемесячно.
Случайно не завалялся опыт с MSSQL Server?
Насколько сложно переносить базу из MSSQL Server на PostgreSQL?
Пользуюсь Joplin.
Ключевое для меня
Выглядит так:
Согласно вашего комментария (finetuning vs inference) насколько экономически выгодно рентовать железо для finetuning, вместо покупки ?
А уже inference выполнять на обычном компе с 16 gb VRAM.
Посмотрел конфигурацию для llama3-70b.
Получается, можно поднять, хотя будет не так шустро как с VRAM.
Попробую с flowise.
Благодарю за ответ.
Пара практических вопросов:
Есть 96гб RAM на i7 Gen 12.
Насколько критичен размер видео RAM?
У меня стоит 4гб VRAM (rtx a2000).
Есть-ли смысл upgrade на nvidia rtx a5000?
Есть несколько одинаковых ноутов 96гб RAM, i7, rtx a2000
Есть ли смысл и возможность запускать параллельно?
А где можно узнать про конфигурацию для автономного выполнения скриптов использующих локальные LLM?
Т.е. я хочу хостить у себя допустим LLaMA (??B), векторизировать корпоративные документы и дальше выполнять запросы через API против дообученой модели.
Какое железо нужно и что влияет на скорость выполнения?
Статья про надежность массивов дисков.
Мы же не игровую систему обсуждаем.
RAID6 в массы!
А RAID6 не спасет?
RAID0? Серьезно?
Умничать не вижу смысла, лишь сделал для себя do and don't выводы.
Кстати, тоже пользуюсь GPT для трансляции, интерпретации и визуализации логики кода.
5 копеек:
- не бойтесь амбициозных задач, даже если не шарите изначально;
- не бойтесь начинать с нуля.
И, да, для долгой дороги обеспечьте постоянный доход, желательно смежная занятость.
30+ в разрабе. Хех.
Успокоению от чего?
Когда кодите, ваш мозг утомляется. Нужна смена активности (сон, зал, пр.).
Если приходится успокаиваться, это плохая рабочая атмосфера, совсем иное.
Таки да - недавно смотрел на Postgres Pro и их функционал по масштабируемости, обеспечению надежности и мониторингу чем-то похож на ваш.
Вопрос - а зачем переходить на ваше решение, если Postgres Pro уже имеет продукт и репутацию?
Вообще, низкий уровень - assembler, машинные коды. Высокоуровневые языки: C, C++, Python, etc.
А Low-code - это буквально "мало кода", когда приложение создается визуально, с небольшими вставками кода.
Что касается вашего продукта на базе Multi-D (без названия, кстати), то какой смысл хвалиться, если это закрытый продукт без выхода на рынок и без тех. подробностей?