Инъекция от синдрома выученной беспомощности для ChatGPT: или как промтами (почти) выиграть NeurIPS соревнование IGLU

[akakoychenko]

Интересно, победители RL это люди, которые таки умудряются обучить ИИ, или все сводится к куче эвристик?

[Tviskaron]

В первой версии соревнования (2021 год) и правда победило решение, которое использовало только эвристики + небольшая NLP составляющая, для выбора цвета блоков. В этом году (NeurIPS 2022) лучшее решение –  end-2-end RL, с транформером и кучей дополнительных loss функций.

[berng]

Заменить требуемое NLP решение интерфесом к чужому проекту с закрытым кодом - это класс.

[Tviskaron]

Резонное замечание! Удивительно, что сейчас мало кто обращает на это внимание. Особенно в Minecraft, где любая новая статья – это подцели с помощью проприетарных LLM-ок. В наше оправдание скажу, что этим блогом мы хотели показать, как можно решить задачу максимально просто. У нас есть и другое решение – файнтюн Flan-T5 (large), которое показывает результаты лучше чем инференс ChatGPT.

[berng]

Вот про finetune было-бы интересно послушать.

А задачка не решена, если вы не укладываетесь в ТЗ (i.e. решение не работает без подключения к инету).