Фрилансер рассказал про контракт, в рамках которого за $35 тыс. развернёт ИИ-решение на Llama 3 70B

[puchuu]

В славном городе Дубайск я покупал из амазона 2 карты сапфир радеон 7900 xtx по 24 гб каждая по 1200 долларов за штуку. Бесплатная доставка до отеля. Этого достаточно чтобы крутить llama3.3:70B-INSTRUCT-Q4_K_M.

Недавно мы делали деплой одной модели в продакшен и использовали ovh cloud машина t2-le-90. Стоит 1270 долларов в месяц, имеет 2 теслы v100s по 32 гб каждая.

[Krypt]

Оно вполне себе... ползало на Tesla P40 + RTX 4060Ti (пока с P40 проблемы не начались)
llama 3 70b врёт не заикаясь, и с хотя с причинно-следственными связами у неё лучше, чем у llama 2, её ничего нельзя доверить. Даже "поменяй пожалуйста формат этих данных"

[Krypt]

Ок, АИ таки хайп и пузырь который лопнет, Llama 3 70B совершенно непригодна ни для чего серьёзного, я её тут на локальном компе пинаю...

[AlexRihter9690]

Лучше уж 3.3, имхо, считаю её вершиной моделей меты, так как 4 полностью провальная

[combo_breaker]

Хотя облачные компоненты присутствуют, сторонние API не используются, из-за чего удаётся добиться соответствия строгим политикам обработки юридических данных.

Не хотят совать свои данные в API облачного ИИ, но суют в облачный Google Drive и облачный же ИИ-сервер конторы CoreWeave. Странные политики данных.

Они не доверяют крупным поставщикам ИИ, но некоему фрилансеру доверили создание своей системы, где данные лежат.

[molnij]

В оригинальном треде на реддите было очень много довольно обоснованных сомнений в том, что автор сделал и сделал ли что-нибудь. Ну и вообще там сабреддит n8n больше про успешный успех, а не про IT, так что я бы очень осторожно относился к информации оттуда.