Всем привет, недавно я собрал и сейчас активно использую ПК для локального запуска хоть сколько-то серьезных LLM, и захотелось поделиться этим опытом с сообществом. На статью меня сподвигло то, что в рунете до обидного мало информации на тему, как собрать ПК на несколько GPU не на майнерском, не на серверном или не на HEDT, а именно на пользовательском железе. Поговорим, про сложности, про возможности домашнего инференса и про опыт использования локальной LLM

Привет, я Азат Хакимов, аналитик данных команды «ИИ для ИТ Поддержки» в Т1 Иннотех. Мы разрабатываем интеллектуальные системы помощи и автоматизации для команд поддержки. В этой статье я расскажу про одну из задач анализа текстов, с которой столкнулась команда в ходе разработки системы для нулевой линии поддержки.

Задачу, которую пытались решить - наполнение базы готовых решений для RAG сервиса простыми и легкими, с точки зрения ресурсоемкости, методами