Интеграция LLM в корпоративное хранилище данных

[janvarev]

import g4f

1. Коротко - не используйте g4f в продакшне.

g4f основан на реверс инжиниринге публичных точек доступа к GPT - и вы а) никогда не знаете, куда и как он отсылает ваши данные, б) не знаете, какой у него размер контекста, какие ограничения, и что вам придет в результате, в) не знаете, когда точки доступа отвалятся.

Используйте официальный API ChatGPT или лучше Claude 3 Haiku - последняя - сеть с довольно большим контекстом - 128 000 - и дешевой обработкой, дешевле, чем у GPT-3.5; я писал об этом в статье.

2. Не рекомендуется заставлять сети выполнять процентные вычисления "сколько отзывов какого-то типа" - как правило, это не очень хорошая идея (сети плохо умеют в математику). Лучше пусть установят категории, а затем ручками посчитать.

3. При вызове API часть сетей поддерживают response_format: "json", который, кроме все прочего, заставит сеть вернуть корректный JSON.

[pashovpa]

Привет! С большей частью согласен. Данный код больше был предложен в качестве примера, тем более, что он до сих пор у них там так и крутится, несмотря на то, что писал я его на коленке за пару часов :)

[Fardeadok]

Клево. На хабр начали выкладывать курсовые

[pashovpa]

Это тебя так референсы смутили?)

[ssmaslov]

Вопрос не ко мне но поясню. Половина текста бла-бла про dwh являющиеся основой чего то там, что было актуально лет 20 назад. Через фразу "в совремкнных условиях важнейшей..." Ну и как результат после всех слов 1) никакой интеграции (приведенный код это просто обработка датафрейма как он получен без разницы) 2) никаких хранилищ данных тоже нет (табличка с сырыми данными это не кхд) ну и вишнека на торте список статей из которых к теме относятся две и у Вас из них ничего не применено вообще. Курсовик детектед