Как стать автором
Обновить
4
0.4
Vasiliy Goncharenko @vagon333

Разработчик

Отправить сообщение

Пользовался GPT4 пока не появился Opus3.

Opus3 хорош для работы с текстом и кодом (text summarizaion, code generation, code migration).
После выхода GPT4o качество GPT улучшилось и Opus3 перестал использовать.

Сегодня попробовал Sonnet 3.5 в чате и API для работы с текстами (80к токенов summarize to 800 токенов).
Сложно сказать. Нужно еще сравнивать качество с GPT4o, но пока придерживаюсь GPT4o.
По цене (сегодняшние тесты):
-- $1 за 300тыс токенов на Sonnet 3.5.
-- GPT4o получилось $10 за 2млн токенов.
Это в основном input tokens.

У нас в добавок еще и SQL CLR в хранимках и функциях, которые придется кодить/переносить на PG.
Значит, SQL Server Foreva! :)

Плюсую за вежливый и красивый ответ. :)

Тут только A100 покупать. Что сильно больно по деньгам.

Э-э-э, спасибо за совет.
Я спрашивал у ребят совет на базе существующего железа.
Херакнуть $30k+ не планировал.
Проще продолжать с OpenAI API. В месяц сущие копейки, а технологии меняются ежемесячно.

Случайно не завалялся опыт с MSSQL Server?
Насколько сложно переносить базу из MSSQL Server на PostgreSQL?

Пользуюсь Joplin.

Ключевое для меня

Выглядит так:

Согласно вашего комментария (finetuning vs inference) насколько экономически выгодно рентовать железо для finetuning, вместо покупки ?
А уже inference выполнять на обычном компе с 16 gb VRAM.

Посмотрел конфигурацию для llama3-70b.
Получается, можно поднять, хотя будет не так шустро как с VRAM.
Попробую с flowise.

Благодарю за ответ.

Пара практических вопросов:

  • Есть 96гб RAM на i7 Gen 12.
    Насколько критичен размер видео RAM?
    У меня стоит 4гб VRAM (rtx a2000).
    Есть-ли смысл upgrade на nvidia rtx a5000?

  • Есть несколько одинаковых ноутов 96гб RAM, i7, rtx a2000
    Есть ли смысл и возможность запускать параллельно?

А где можно узнать про конфигурацию для автономного выполнения скриптов использующих локальные LLM?

Т.е. я хочу хостить у себя допустим LLaMA (??B), векторизировать корпоративные документы и дальше выполнять запросы через API против дообученой модели.

Какое железо нужно и что влияет на скорость выполнения?

Есть разные задачи, под своп можно и нужно страйпы

Статья про надежность массивов дисков.
Мы же не игровую систему обсуждаем.

RAID6 в массы!

... в рэйд5, потом один сдох, а заменить его я уже не успел :-)
С тех пор стараюсь собирать дисковую систему в рэйд0 или рэйд1

А RAID6 не спасет?

RAID0? Серьезно?

Умничать не вижу смысла, лишь сделал для себя do and don't выводы.
Кстати, тоже пользуюсь GPT для трансляции, интерпретации и визуализации логики кода.

5 копеек:
- не бойтесь амбициозных задач, даже если не шарите изначально;
- не бойтесь начинать с нуля.
И, да, для долгой дороги обеспечьте постоянный доход, желательно смежная занятость.
30+ в разрабе. Хех.

Успокоению от чего?
Когда кодите, ваш мозг утомляется. Нужна смена активности (сон, зал, пр.).
Если приходится успокаиваться, это плохая рабочая атмосфера, совсем иное.

Таки да - недавно смотрел на Postgres Pro и их функционал по масштабируемости, обеспечению надежности и мониторингу чем-то похож на ваш.
Вопрос - а зачем переходить на ваше решение, если Postgres Pro уже имеет продукт и репутацию?

Одним из таких инструментов повышения производительности труда является технология низкого уровня кодирования (англ. low-code)

Вообще, низкий уровень - assembler, машинные коды. Высокоуровневые языки: C, C++, Python, etc.

А Low-code - это буквально "мало кода", когда приложение создается визуально, с небольшими вставками кода.

Что касается вашего продукта на базе Multi-D (без названия, кстати), то какой смысл хвалиться, если это закрытый продукт без выхода на рынок и без тех. подробностей?

CREATE TABLE BugsComments ( ... PRIMARY KEY (issue_id, comment_id), ...);

Несмотря на разумное решение с composite primary key в M:M junction table (issue_id, comment_id), все равно в своих дизайнах схемы настаиваю на правиле - первичный ключ должен быть всегда int/bigint (в данном случае bug_comment_id).
Согласен, лишнее поле, но в своих решениях не допускаю Primary Key Composition.

Но есть случаи, когда виртуальный сервер удобнее домашнего.

Виртуальный сервер вполне может хоститься дома.
Есть масса решений виртуализации серверов: Proxmox, VMWare ...

1
23 ...

Информация

В рейтинге
1 762-й
Откуда
Pompano Beach, Florida, США
Дата рождения
Зарегистрирован
Активность