Обновить
2
0
Боловцов Сергей @SGERCEN

Пользователь

Отправить сообщение

Как мы научили LLM отвечать на вопросы абитуриентов в крупнейшем вузе страны

Уровень сложностиСредний
Время на прочтение19 мин
Просмотры5.6K

Академий показал, что LLM-бот может работать в продакшене, а не в демо. RAG, SQL-модуль, собственный бенч и GPU-инфра позволили выдержать десятки тысяч запросов в реальной приёмной кампании.

Для абитуриентов это быстрые и точные ответы 24/7, для вуза — разгрузка комиссии и масштабируемый инструмент. Для нас — платформа, где мы улучшаем подходы к RAG, фильтрации и безопасности в живой среде.

Читать далее

Бенчмарк SLAVA: шаг к мировоззренческому суверенитету

Уровень сложностиПростой
Время на прочтение7 мин
Просмотры3K

Бенчмарк SLAVA: шаг к мировоззренческому суверенитету.

SLAVA Space on Hugging Face - Наш актульный лидерборд на HF
SLAVA Benchmark - В этом репозитории находится код и документация для фрейморвка
SLAVA Dataset on Hugging Face - Открытый набор данных включает 2.8 тысяч вопросов

Читать далее

Насколько хороши LLM?

Уровень сложностиПростой
Время на прочтение7 мин
Просмотры5.3K

Основной целью данного бенчмарка является всесторонняя оценка возможностей русскоязычных LLM в контексте российской действительности по темам истории, географии, обществознания и политологии. В разработке бенчмарка ИОН РАНХиГС и ИСП РАН были заложены следующие принципы: 

Формирование базы вопросов из официальных источников, близких к позиции РФ. К данным источникам относятся базы вопросов по ЕГЭ по соответствующим дисциплинам, открытых экзаменационных вопросов ведущих российских вузов, а также вопросов, сформулированных специалистами РАНХиГС и ИСП РАН.

Ежеквартальный пересмотр содержания бенчмарка, заключающийся в добавлении новых вопросов по актуальным темам, удалении или обновление устаревших вопросов.

Пересмотр оценок провокационности с учетом изменений в общественном контексте.

Читать далее

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность

Специализация

Директор проекта, Ученый по данным
Git
SQL
Python
Linux
Docker
Nginx
Английский язык