Вы уверены, что для внедрения корпоративного ИИ в закрытом контуре нужны суперкомпьютеры? Мы решили это проверить и добиться вменяемого качества от крошечной модели в максимально жестких условиях. CPU вместо GPU, закрытый контур.
Кейс – научить крошечную LLM отвечать на вопросы по программе газификации РФ. В статье пошаговый разбор, код LLLaMBA для автоматизации бенчмарка и готовые конфиги. Повторите эксперимент на своих данных!
Привет, Хабр! На связи снова Всеволод Зайковский, заместитель руководителя проекта в «Газпром ЦПС».
В прошлый раз я рассказывал, как мы научили нашу систему «АФИДА» распознавать и раскладывать по полочкам тысячи строительных актов с помощью компьютерного зрения. Хаос был побежден, документы оцифрованы, лежали в нужных папках, и их даже можно было найти. Казалось бы — живи и радуйся, но аппетит приходит во время еды. Мы поняли, что система «видит» текст, и задали логичный вопрос: «А можно просто спросить у нее, какую марку бетона использовали для заливки фундамента, и она ответит?». Подумали и решили, что можно.
Тогда нам казалось, что прикрутить LLM к нашему архиву, чтобы она работала как умный поисковик, очень просто. Но все оказалось не так радужно. Первая версия нашего «строительного чат-бота» галлюцинировала так, что путала проектную документацию с веб-дизайном, а ответы генерировались по три минуты.
Это история о том, как мы прошли путь от игрушечного чат-бота до полноценной RAG-системы в закрытом контуре. Расскажу, как мы запускали нейросети на CPU, почему в нашем сравнительном тесте победил Qwen, и как мы оценивали качество ответов в Excel, когда поняли, что стандартные бенчмарки нам не подходят. Статья будет полезна архитекторам, ML-инженерам, и руководителям, которые ищут рабочие on-premise решения. Если вы тоже пытаетесь внедрить LLM в энтерпрайз без бюджета и тысячи видеокарт — этот кейс для вас.
Привет, Хабр! Меня зовут Всеволод Зайковский, я заместитель руководителя проекта в «Газпром ЦПС».
Есть рутинные задачи, которые отнимают много времени и трудовых ресурсов. В проектах, с которыми работала компания, такой задачей была каталогизация исполнительной документации. Кто не знает, что это такое, тому очень в жизни повезло исполнительная документация – это документы, которые подтверждают фактическое выполнение работ на стройке. Вырыли траншею? Составили акт. Закопали траншею? Составили акт – и так далее. В конце среднего размера стройки мы получаем десятки тысяч актов, протоколов и схем, которые нужно вручную разобрать, хорошо отсканировать и вручную разнести по нужным папка. А затем поиск нужного документа все равно превращается в монотонный квест на несколько часов.
Добрый день, уважаемые читатели! Не так давно я проводил внутрикорпоративное мероприятие о том, как правильно применять чат-ботов, чтобы немного ускорить офисную рутину. Мероприятие очень понравилось аудитории, поэтому я решил переработать презентационный материал в статью - вдруг он принесет пользу еще кому-нибудь?
Если вы уже используете приемы промт-инжиниринга - то, скорее всего, вы не найдете для себя ничего нового. Статья больше рассчитана на тех новичков, которые лишь «что-то слышали» о больших языковых моделях, но не используют их в работе, поскольку это «что-то на ITшном», «не понятно, как это может мне помочь», «я слишком занят, чтобы разбираться самому». Можете переслать эту статью вашим офисным коллегам 💼.
Итак, поехали!
Пока вы смотрите на обновляемую в реальном времени иконку курьера, который едет к вам с хлебом и колбасой, оплачиваете в 1 клик подписку для просмотра любимых сериалов в день их выхода и генерируете неповторимое поздравление на Новый Год с помощью LLM в пару нажатий кнопок на клавиатуре - мои коллеги пишут синей ручкой бесконечные записи в бумажные журналы, звонят друг другу по стационарному телефону с вопросом "Что выполнено за сегодня?" и спрашивают у коллег-водителей, как доехать до места работы и реально ли вообще это сделать на конкретной машине в текущих погодных условиях.