Prometheus 2 - новая SOTA для оценки больших языковых моделей!

Prometheus 2: Языковая модель с открытым исходным кодом, специализирующаяся на оценке других языковых моделей.

По сравнению с Prometheus 1 (13B), Prometheus 2 (8x7B) - обеспечивает более точные оценки моделей и также поддерживает оценку в формате попарного ранжирования (относительной классификации)!

На 8 бенчмарках Prometheus 2 демонстрирует наивысшую корреляцию с оценками, сделанными экспертами. Что делает модель самым мощным инструментом для оценки.

⚡ Поддерживает оценку Prometheus, GPT-4 и Claude-3 🚀  ⚡

pip install prometheus-eval

• Github: https://github.com/prometheus-eval/prometheus-eval

• Paper: arxiv.org/abs/2405.01535

В своем канале я провожу тест это и других новых моделей машинного обучения, залетайте.

#machinelearning #artificialintelligence #ai #datascience #машинноеоубчение #Python