mr-pickles Jul 24 2023 at 12:30

Качественный набор данных от Microsoft для обучения компактных, но мощных языковых моделей, генерирующих код

Medium

4 min

Wunder Fund corporate blogProgramming*Algorithms*Artificial Intelligence

Translation

+13

Comments 4

ar1ur Jul 24 2023 at 22:03

Строго говоря, phi-1 не превосходит "то, на что способны самые совершенные большие языковые модели" - в одном тесте (HumanEval - Pass@1) результат хуже, чем у GPT-4 (51% vs 67%), а по другому тесту (MBPP - Pass@1) результаты GPT-4 отсутствуют.

anzay911 Jul 25 2023 at 05:23

Смысл в том, что компактные модели ненамного хуже суперпуперских в хороших руках.

olegkusov Jul 25 2023 at 23:06

зачем передергивать. результат все равно офигеть какой. она превосходит 3.5 у которого 175 млрд

berng Jul 27 2023 at 11:34

Только я заметил, что промпт для создания программы значительно длиннее ее кода?