Как я пытался сделать нейросеть аналитиком: провалы и уроки

Ллм с неструктурированными данными практически не работают.

В вашем случае, если прям совсем не хочется разбираться как оно работает, можно просто загрузить данные в пандас или в sql. А llm просить сгенерировать запрос. Проку будет больше