Приветствую читателей.
Мы пытались построить LLM-чат для продакшена.
Через месяц у нас был 20k-токенный prompt, 50 тулзов и ответы по 2 минуты.
В итоге пришлось отказаться от ReAct и перейти на LLMCompiler.

А начали мы с того что компания захотела поекспериментировать с созданием чата

Для начала освежим память как вообще работает llm и react архитектура.
С точки зрения разработчика, ллм - это функция, которая принимает на вход строку и отдает другую строку, входящая строка может прораммировать то, какой ответ будет, например, вы можете попросить ллм вести себя как чат, далее хранить историю входов и выходов и передавать ее опять в ллм.

Простейший пример чата.

Здравствуйте, дорогие читатели. Хочу поделиться сокровенными знаниями о том, как я довожу до конца большинство запланированных дел. Если быть точным, это мой подход к использованию методов, описанных в книге Atomic Habits. Если вас заинтересует этот пост, всячески советую ее прочитать.

Начнем с базовых утверждений, на основании которых мы будем строить стратегию. Многие вещи я буду сильно упрощать, чтобы уместить их в формат поста.

В дополнение к прошлому посту о тренировках считаю необходимым добавить информацию о питании. Моя картина мира трансформировалась от "ем что хочу" до вполне конкретного протокола: что, когда и сколько я ем. Внимание: питание - инструмент, его нужно подбирать под ваши требования, предпочтения и особенности организма.

Изначальные параметры были следующие - рост 196, вес 85. Но после того как я бросил курить, за 3 месяца на животе образовалась одна большая круглая проблема: вес увеличился до 105, а позже и 108. Стало ясно, что с этим нужно что-то делать. Еще на протяжении 4 месяцев мне казалось, что если я просто буду продолжать ходить в зал, то живот уйдет. Не ушел.

Передо мной появились проблемы: одышка, невозможность что-либо делать после обеда - я мог только уснуть на полтора часа, депрессивное настроение и плохое отражение в зеркале.

Достаточно быстро я смог сформировать для себя требования к питанию и тренировкам - вкусно и много есть и при этом похудеть.

Ретроспективно, вспоминая сладкие времена для разработчиков в 2019 году, можно понять, что решения, которые были сделаны 7 лет назад, догоняют нас до сих пор.

Предлагаю пройтись по истории, осознать ее, увидеть, к чему это все привело, переосмыслить свои ценности и выстроить для себя четкий план действий на будущее.

Covid-19

Началось все со вспышки COVID-19: людей закрыли дома, передвижение по улице было возможно только в маске, соблюдая дистанцию между людьми не менее 3 метров, а публичные мероприятия воспринимались так же ужасно, как утопление новорожденных котят. Бизнес был вынужден искать способы выжить в новой реальности.

Не в завидной ситуации оказались и фонды: стоимость акций традиционных компаний начала стремиться к нулю. За период с 19 февраля по 23 марта индекс MSCI, отслеживающий производительность 1300 компаний в 23 развитых странах, упал на 34%, а S&P 500, отслеживающий производительность 500 крупнейших публичных компаний США, на 20%.