Pull to refresh
4
0.5
Vasiliy Goncharenko @vagon333

Разработчик

Send message

Ага.
И с клише "блокчейн"="крипта" очень сложно объяснять другие области применения блокчейн.

В моем случае прохождение - документов через несколько участников.
Как только упоминаешь "блокчейн" для защиты от исправлений, сразу оскомина на лицах. :)

Шел 2024 ...
Ну, рядом с домом летает дерижабль (Pompano Beach) - рекламу показывает, экзотика для туристов, а так, больше ничего.
Хотя, еще напоминает про фильм Полет Навигатора (1986). Красивая леталка.

Все ваши примеры - это как не надо программировать.
И речь даже не о localStorage, а о ненадежном программировании.

Ключевой вопрос "Нужно ли нам хранить все?"
Прежде чем хранить, нужно определить категории данных, требующие хранения.
Сразу выяснится, что массы шлака можно легко скипнуть, и требования к размеру снизилось на порядок или два.

Наивно винить компанию, виноваты всегда мы.
Оглядываясь на 2 неудачные попытки уверен, это была моя вина.
Но что стресс на работе => проблемы в семье, а компании пофиг - это факт.

В США 32-часовую неделю предлагают закрепить законодательно:

США в последнюю очередь перейдет на 32-часовую неделю т.к. здесь главное - деньги.
И ритм жизни очень высокий - перестал работать и быстро в минус. Потому и в субботу масса народа работает.
В Европе еще что-то о качестве жизни, в штатах it's all about money.
Личное мнение, после 25 лет жизни в штатах.

Это эмоции.
Пол-года назад в соседском доме хозяин приехал с работы и прямо на парковке застрелился. Приехала полиция с медиками, забрали тело, сняли показания.
Горе семье, пофиг компании.

При уважении к желанию Сэма (автора), есть прекрасный тост (из известного фильма) про желания и возможности.
Если изначально UI либы созданы и поставляются как наборы DLL и ресурсов, то желание запихнуть все в один EXE-шник, а затем динамически распаковывать звучит так себе.
Получается: либо свое, либо узкий набор решений.

Ну, при желании и не так можно, хотя тоже шедеврально

Пользовался GPT4 пока не появился Opus3.

Opus3 хорош для работы с текстом и кодом (text summarizaion, code generation, code migration).
После выхода GPT4o качество GPT улучшилось и Opus3 перестал использовать.

Сегодня попробовал Sonnet 3.5 в чате и API для работы с текстами (80к токенов summarize to 800 токенов).
Сложно сказать. Нужно еще сравнивать качество с GPT4o, но пока придерживаюсь GPT4o.
По цене (сегодняшние тесты):
-- $1 за 300тыс токенов на Sonnet 3.5.
-- GPT4o получилось $10 за 2млн токенов.
Это в основном input tokens.

У нас в добавок еще и SQL CLR в хранимках и функциях, которые придется кодить/переносить на PG.
Значит, SQL Server Foreva! :)

Плюсую за вежливый и красивый ответ. :)

Тут только A100 покупать. Что сильно больно по деньгам.

Э-э-э, спасибо за совет.
Я спрашивал у ребят совет на базе существующего железа.
Херакнуть $30k+ не планировал.
Проще продолжать с OpenAI API. В месяц сущие копейки, а технологии меняются ежемесячно.

Случайно не завалялся опыт с MSSQL Server?
Насколько сложно переносить базу из MSSQL Server на PostgreSQL?

Согласно вашего комментария (finetuning vs inference) насколько экономически выгодно рентовать железо для finetuning, вместо покупки ?
А уже inference выполнять на обычном компе с 16 gb VRAM.

Посмотрел конфигурацию для llama3-70b.
Получается, можно поднять, хотя будет не так шустро как с VRAM.
Попробую с flowise.

Благодарю за ответ.

Пара практических вопросов:

  • Есть 96гб RAM на i7 Gen 12.
    Насколько критичен размер видео RAM?
    У меня стоит 4гб VRAM (rtx a2000).
    Есть-ли смысл upgrade на nvidia rtx a5000?

  • Есть несколько одинаковых ноутов 96гб RAM, i7, rtx a2000
    Есть ли смысл и возможность запускать параллельно?

А где можно узнать про конфигурацию для автономного выполнения скриптов использующих локальные LLM?

Т.е. я хочу хостить у себя допустим LLaMA (??B), векторизировать корпоративные документы и дальше выполнять запросы через API против дообученой модели.

Какое железо нужно и что влияет на скорость выполнения?

Есть разные задачи, под своп можно и нужно страйпы

Статья про надежность массивов дисков.
Мы же не игровую систему обсуждаем.

1
23 ...

Information

Rating
1,793-rd
Location
Pompano Beach, Florida, США
Date of birth
Registered
Activity