Комментарии 14
Мне кажется, что ИИ просто не имеют логики и поэтому они продвинутые поисковики. Вышла нейросеть ChatGPT 4о. Я протестировал ее в математики и уже какую-то логику обнаружил, но, может ее просто обучили прям хорошо.
Прочитав заголовок, я хотел раскритиковать автора за то, что он пытается использовать тиски в качестве разводного ключа, поскольку llm явно не инструмент для игры в шахматы. Но прочитав статью, я понял, что он это и сам понимает и делает это осознанно. А это уже тема про троллейбус из буханки — такое я на Хабре люблю — это уважаемо)
Такое ощущение, что работа с ИИ сейчас где-то примерно на уровне алхимии средних веков. Заклинания и "а что если долить этого и потыкать палочкой, может тогда джинн сделает то, что надо".
Lmm - это эхо от существующей информации. Шахматные дебюты хорошо разобраны и их много в интернете, поэтом ии бодро стартует, нр очень быстро заводит "диалог" в состояние миддлшпиля, где инфы по данному вопросу нет, просто нет. Лмм не может продолжить игру, так как это китайская комната, где часть стелажей просто нет.
Вот и начинает пытаться "продолжить" игру на токенах которые ведут в другие ветки ходов, не понимая что "пошаговые игры " так не работают.
Отсюда и возникает что первые 10-15 ходов нейронка бодро ходит , помнит положенин фигур, а потом начинается треш: телепортация , дубливровние пожирание своих фигур.
Но по идее последняя версия gpt-4o может "думать", итеративно отвечать на вопрос. Но не понятно, можно ли использовать это свойство для перебора позиций, типа симуляции Monte Carlo tree search.
В статье как раз говорится об обратном, LLM "понимает" логику шахмат, но может делать редкие ошибки. Ошибки думаю связаны с тем, что LLM не обучают/не тюнят специально по шахматам, а также с природой самой сетки, которая может галлюцинировать или выдавать более рандомные ответы (особенно при высокой температуре).
Минутка юмора
каково это играть с нейросеткой в шахматы
Просто llm в принципе не могут играть в шахматы. Слишком много несвязанных вариантов продолжений. Ходов в шахматах гораздо больше, чем способов продолжить фразу на человеческом языке.
Это не слова подбирать чтобы было "на умном"
В шахматах, так же есть проблема с выборкой данных, которая препятствует обучению моделей: https://habr.com/ru/companies/meanotek/articles/690668/
Непонятно, как они посчитали, что ЭЛО сетки 1750. Соперник Стокфиш на начальных уровнях (1,2..) играет явно слабее, и против него несложно получить точность >90%.
Почему LLM так плохо играют в шахматы (и что с этим делать)