Comments 5
Главный вопрос вселенной - почему НЛО это пропустило?
извините, я не понял главный посыл - это mistral 7B написал? в этом прикол?
потому что естественный интеллект так плохо не напишет - либо он вообще не понимает пока, что такое ИИ(в школе учится), либо уже умеет грамотно излагать мысли на русском языке (с пунктуацией вообще беда )
>>с пунктуацией вообще беда
наоборот, вот вам и доказательство, что вот этими вот руками из мяса написан текст)
Согласен с вами по части посыла, очень много сумбура было вчера, но я попытался как минимум передать мысль и направление движения с преодолением сложностей возникших на пути. Надеюсь, те кто столкнется с той же проблемой смогут взять из статьи что-то полезное для себя
Когда я понял, что поиском по смыслу в базе данных куда я положил все мои записи из лга не дает мне нужной мне точности
Сначала нужно обучить AI. Первоначальная задача AI заключается в сортировке записей (используя LLM), и объединении их в группы по родственным синтетическим признакам (параметрам). В результате оператор увидит список названий групп. Название группы должно отражать содержание тех записей, которые AI объединил в группу. Оператор видит список групп, и статистику по каждой группе. Определить смысл, общий для всех записей в данной группе - это уже задача оператора. Открывая каждую группу, и просматривая записи, оператор решает насколько верно AI определил их схожесть. Чтобы смысл (который видит оператор) и набор синтетических признаков (которые видит AI) совпадали - нужно обучение.
После обучения, используя обобщенные имена событий, можно будет формулировать запросы к AI в произвольной форме. AI идентифицирует события зафиксированные в логах, вычислит статистику, и выполнит скрипт для обработки данных. Скрипт лучше написать самому. Можно конечно обучить AI на реальных логах, но обучение может занять много времени, и очень высок риск галлюцинаций. И кроме того, все возможные события которые AI должен будет определять, должны быть зафиксированы в логах на момент обучения.
LLM оправдано применять для парсинга логов только если записи в логах не стандартизированы, и выполняются в произвольной форме.
Вашу мысль про обучение я не совсем понял, возможно вы намного опытнее меня в этой части, либо мы немного о разном говорим. Я делал первые попытки fine tuning-а, когда я немного разобрался с prompt engineering-ом появилось ощущение, что еще надо хороший датасет (в моем случае специфичный для моей задачи) создать, еще до того как дело дойдет до тюнинга. Как операторы могут видеть что происходит внутри ЛЛМ, это мне к сожалению не ведомо.
>>AI идентифицирует события зафиксированные в логах
Тут как раз кроется проблема (см. RAG), впихать больше 32к токенов не получится в модель, надо придумывать другие подходы.
>>LLM оправдано применять для парсинга логов только если записи в логах не стандартизированы
во многом соглашусь с этой мыслью, у меня есть дополнительные мысли на эту тему, но это уже детали
Проанализируй меня если сможешь! Мета вопрос, или как я не перестал бояться и полюбил большие языковые модели