Comments 13
очень подробно 🤔
Текстовые модели плохо умеют в математику, открытие...
Интересно!
Заголовок: основы полета и аэродинамики для рыб
Вывод: рыбы не умеют летать
Зачем...
Статья хорошо объясняет то, как надо настраивать ЛЛМку. Приятно, что это не написано ЛЛМкой. Видно, что вы постарались.
Но вы как в анекдоте.
Батюшка, я что неправильно живу? Правильно...
В поезде в одном купе едут священник и бизнесмен. Бизнесмен сразу открыл ноутбук, начал работать с документами. Священник посмотрел на него, подумал, потом говорит:
— Сын мой, а не прогуляться ли нам до вагона-ресторана, посмотреть, что в меню?
— Нет, батюшка, не голоден я.
Священник идёт в ресторан один. Через час возвращается довольный и улыбающийся, в руке несёт бутылку дорогого коньяка.
— Сын мой, а не отведать ли нам этого пятизвёздочного напитка?
— Нет, батюшка, простите, не пью.
Священник наливает себе полстакана коньяку, смакуя, медленно выпивает. Вытирает губы, выходит в коридор. Через пятнадцать минут заходит обратно.
— Сын мой, через одно купе от нас две молодые миряночки едут. Может быть, заглянем к ним в гости, побеседуем о высоком?
— Нет, батюшка, я женат, да и с документами мне работать надо.
Священник берёт со стола бутылку коньяка, выходит. Возвращается уже под утро, довольный, как мартовский кот. Бизнесмен, который всё это время работал, поднимает на него глаза.
— Скажите, святой отец, как же так? Я вот не пью, не курю, блюду свой моральный облик. Работаю как вол. Неужели я неправильно живу?
Священник вздыхает.
— Правильно, сын мой. Но Зря…
Вот тут так же выходит. Вы берёте локальную модель, которая отлично подходит для того, чтобы заколачивать в VSCode бойлерплейт. И заставляете её делать финты ушами, которые ей делать не следует. Зачем мне все эти сложные рассуждения? Мне надо, чтобы после каждого изменения переменной в коде модель сделала трейс-лог.
Пусть занимается тем, что хорошо умеет.
Если эта техника помогает на таких моделях, представьте что можно сделать на более мощных
А ничего не можно. ЛЛМки - это просто набор сумашедших правил, которые устанавливаются поверх исключительно запутаной статистической машины, чтобы её вывод держался хоть в каких-то мало-мальски приятных пределах.
Поэтому, если для китайской ЛЛМки вам надо говорить "Гоп через стоп, три раза притоп" и она начинает генерировать что-то вразумтилеьное, то для ГПТ надо петь оду Одину и Зевсу, а с Клаудом надо разговаривать на древнегреческом иврите.
Так что что? Да ничего. Подобные разговоры сейчас выглядят примерно так же как и магические заклинания в 14м веке. Уже никто не может разобрать, почему это работало, но все знают, что надо плевать через левое плечо и трясти чесноком.
В целом согласен с предыдущими комментариями и ценю их иронию. Однако автор постарался при подготовке материала. В частности, удачно изложены рекомендации и техники промптинга. Их можно использовать в учебном процессе и для популяризации темы ИИ. Статья интересная. Никита, ты – молодец. Лично меня интересует вопрос, как конкретно можно управлять температурой на различных моделях. Если кто-то напишет, буду благодарен.
Интересно еще потестировать o1 и deepseek ;)
После выхода каждой новой значимой модели, появляются статьи о её логическо-математических способностях. Классно, что тут раскрыты некоторые детали подобных тестов.
И при том что статья написана весьма подробно и доступно, мне немного не хватает ответа на 2 вопроса:
1) Зачем эти возможности?
Т.е. в каком продукте, LLM придётся решать столь замысловато сформулированные задачи (пощник школьника продуктом считать не будем)?
2) Есть ли корреляция математики с чистой логикой?
Т.е. если модель плоха в логике или математике с цифрами, значит ли это что она плоха в чистой логике?
Почему вместе с цифровыми вопросами, нет тестов, с вопросами "С корабля сброшена верёвочная лестница, и две ступеньки погружены в воду. Расстояние между ступеньками пол метра. В прилив вода поднялась на метр. Сколько ступенек лестницы оказались в воде во время прилива?", "В комнате два отца и два сына. Сколько человек в комнате?" или "Как спрыгнуть с десятиметровой лестницы и не ушибиться?" или
"Попугай лгал по понедельникам, вторникам и средам и говорил правду во все остальные дни недели. Воробей лгал по четвергам, пятницам и субботам и говорил правду во все остальные дни.
Попугай: Вчера я врал.
Воробей: Я тоже вчера врал.
Какой день недели был вчера? "
или типа того
Такое сравнение и корреляцию было бы тоже очень интересно посмотреть.
В моей практике, чистая логика в прод. продуктах в разы чаще используется чем математика.
А мне показалась полезной статья. Полезно было повторить техники промптинга. У каждой статьи есть ЦА, и, если это не вы, то не факт, что это проблема статьи.
Основы промптинга и математические возможности моделей Llama