Последние пару лет я много экспериментировал с LLM на разных железках от GPU-кластеров в облаке до маленьких Raspberry Pi. И вот одна из любимых задачек-провокаций: «А можно ли запустить модель на Pi 4, 5?» Если коротко: можно попробовать, но физика тут сильнее хайпа. У платы есть 8-16 ГБ памяти, у модели десятки гигабайт даже в самых «жестких» квантовках. В лоб это не работает, но зато эксперимент дает интересный результат: мы понимаем, где проходят границы устройства и какие архитектурные схемы реально полезны.

На мой взгляд, будущее не за гигантскими fine-tuned моделями, а за умными комбинациями из «малых» моделей, RAG и грамотной оркестрации. Fine-tuning остается инструментом для узкоспециализированных задач. В большинстве случаев куда выгоднее гибридная схема: данные хранятся и обрабатываются локально (например, на Raspberry Pi), а ресурсоемкая генерация передается в облако. Реализовал такой подход на инфраструктуре Cloud.ru Evolution: там живут большие LLM, а локальный Raspberry Pi выступает в роли приватного узла для индексации и предобработки данных. Этот гайд посвящен именно локальной части — превращению «малинки» в автономного AI-ассистента.

Еще недавно поиск в Google или Яндекс был главным инструментом инженера. Сегодня все изменилось: AI-помощники вроде ChatGPT, Gemini или Claude, понимающие запросы на естественном языке, кардинально меняют подход к работе. Однако их использование упирается в серьезные преграды: вопросы конфиденциальности корпоративных данных, географические блокировки и лимиты бесплатных тарифов стали новой головной болью.

Что, если получить все преимущества мощной языковой модели, но без этих недостатков? Решение — развернуть собственную модель на своих серверах. Эта статья —практический гид по созданию автономного чат-бота, который не уходит в облако, работает без интернета и полностью защищает данные. Я пройду путь от теории до работающего локального прототипа.

Как и любого уважающего себя молодого человека меня нередко преследуют мысли об открытии своего собственного технологического стартапа, ну или хотя бы магазина рыболовных приспособлений у метро. Но каждый раз все разбивается о суровые реалии нашего мира. Любое дело подразумевает наличие команды, учет товаров, обслуживание клиентов и многое другое. 

А как обслужить клиента и удобно хранить информацию о нем? Для этого существует CRM — система управления отношениями с клиентами, которая помогает бизнесу собирать, хранить и использовать данные о клиентах, автоматизировать продажи и улучшать обслуживание. 

Многие существующие на рынке CRM-решения выставляют огромный ценник и, на фоне не всегда высокой маржинальности реализуемой услуги или товара, многие идеи теряют свою актуальность в силу существенных издержек, ведь нередко поддержание работоспособности подобных программных решений занимает значимую часть общих расходов компании. Однако нет большей неудачи, чем перестать пытаться. В гонке за сокращением расходов существующей только в моем воображении компании, был найден следующий выход.

Активное развитие AI не позволяет остаться в стороне почти никому. Будучи студентом одного из хороших факультетов в области CS, я не мог остаться в стороне и был вынужден начать погружаться в данный вопрос с головой. Во-первых, тематика перекликается с учебными вопросами, а во-вторых — актуальна в рамках рабочих задач. С учетом моего небольшого, но прицельного опыта работы, сформировалось стойкое впечатление, что в ближайшее время AI радикально изменит процессы в компаниях и к этому нужно быть готовым. Вопрос хорошо это или плохо — философский.

Если хочешь разобраться в теме — попробуй сделать что-то на практике. Наверняка многие уже наслышаны про RAG. Вот, например, отличные на мой взгляд статьи — 1 и 2. Я же решил написать небольшую инструкцию, без технических деталей, следуя который любой сможет познакомиться с данной технологией, определить для себя ее ценность и начать более детальное изучение. Попробуем от и до реализовать небольшого ассистента, который будет отвечать на ваши вопросы с учетом базы знаний. Нередко такое может пригодиться при подготовке к экзамену, когда один и тот же курс читается по-разному даже в соседних группах, а преподаватель не приемлет ответы, расходящиеся с его конспектами. Было бы круто иметь инструмент, который отвечает строго по тексту ;)

Допустим, у вашей организации есть внутренний сервис с большим объемом накопленных документов, тикетов и комментариев, и все это ведется в Jira. Представьте, если при клиентском запросе или взаимодействии с контрагентом, можно было бы обращаться к AI-ассистенту и получать максимально релевантные ответы, дополняя существующую в вашей системе информацию данными из внешних источников. Очевидно, что это позитивно отразилось бы на конверсии в продажи за счет персонализированного подхода, увеличило бы уровень удовлетворенности сервисом у клиентов, да и менеджерам бы облегчило жизнь!

Если вы руководитель отдела или ведете собственный бизнес, вы наверняка подумаете «наверное, это дорогая технология, которая требует больших затрат и найма техспециалистов для разработки». Когда-то это было так, но теперь нет.

В этой статье я опишу короткую инструкцию, как реализовать что-то похожее на описанный функционал без особых навыков. Лучшие умы человечества могут уличить меня в том, что моя предлагаемая реализация максимально проста и наивна. И да, это так. Целью я ставил — показать массовому читателю прикольную штуку, а не задушнить ;-)