Вы точно подметили, что я не слишком удачно выразился в выводе. Сам по себе архитектурный каркас оптимизированный и не дорогой.
Проблема стоимости упирается в экстремальную специфику SOC, где объемы сырых данных огромны и 99% из них – шум. Даже с предварительной фильтрацией по маркерам и вырезанием контекста (чем опасно злоупотреблять, чтобы не упала точность), на LLM всё равно тратится куча входных токенов. Без своего железа деньги улетают провайдеру за сканирование тривиальных событий.
Именно поэтому я сделал акцент на других сферах (модерация, отзывы). В них объемы в разы меньше, а частота полезного сигнала выше. Там эта архитектура может окупиться быстро, потому что на выходе всегда будет полезное действие (классификация + возможное решение).
Что касается локального стека: под сильные LLM нужно мощное железо. Для корпоративного использования на дистанции это в любом случае станет дешевле, чем платить облачным провайдерам за терабайты токенов.
Спасибо за оценку архитектуры!
Вы точно подметили, что я не слишком удачно выразился в выводе. Сам по себе архитектурный каркас оптимизированный и не дорогой.
Проблема стоимости упирается в экстремальную специфику SOC, где объемы сырых данных огромны и 99% из них – шум. Даже с предварительной фильтрацией по маркерам и вырезанием контекста (чем опасно злоупотреблять, чтобы не упала точность), на LLM всё равно тратится куча входных токенов. Без своего железа деньги улетают провайдеру за сканирование тривиальных событий.
Именно поэтому я сделал акцент на других сферах (модерация, отзывы). В них объемы в разы меньше, а частота полезного сигнала выше. Там эта архитектура может окупиться быстро, потому что на выходе всегда будет полезное действие (классификация + возможное решение).
Что касается локального стека: под сильные LLM нужно мощное железо. Для корпоративного использования на дистанции это в любом случае станет дешевле, чем платить облачным провайдерам за терабайты токенов.