Как мы учим LLM оценивать друг друга и как это помогло нам улучшить Cotype

Всем привет! Сегодня мы выпустили новую версию нашей большой языковой модели Cotype – Cotype Pro 2, с улучшенными возможностями генерации и редактирования текстов, а также суммаризации и анализа информации. Однако в этой статье мы дадим лишь краткое представление нашего нового творения и его преимуществ, а больше расскажем о том, как мы улучшили пайплайн обучения нашей LLM с помощью новой методологии оценки.
Эта методология была разработана в рамках исследования, посвященного сравнению моделей методом Side-by-Side для автоматической оценки LLM. Мы выкладываем в открытый доступ код для её воспроизведения и лидерборд на HuggingFace для сравнения как коммерческих, так и открытых моделей.