Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 11
Профессионалу (если хотите, сеньору) проще:
Вот этот кусочек я могу ему отдать? Проверил на нескольких проектах. В этой части можно доверять. В остальных нельзя.
Джун же нифига не поймёт.
Решения нужно принимать не спеша и под гарантии. Чем более ответственная задача тем решения консервативнее. А где нет ответственности там нет и денег.
Ни один ответственный профессионал не отдаст на аутсорсинг всю работу человеку или машине. Кроме самих аутсорсеров, но для них у меня плохие новости.
Про «критерии должны исходить из постановки, а не создаваться по готовому коду» — подпишусь каждым слоем боли. Строил в этом году личную платформу для проверки торговых стратегий, значительную часть кода писал LLM-агент. Единственное, что я с самого начала запретил трогать модели, — статистический гейт приёмки (walk-forward, Deflated Sharpe и ещё пять проверок), написанный до всей остальной системы.
Итог: из 231 кандидата стратегий гейт не прошёл никто, включая красавиц с Sharpe 1.49 на обучении. А однажды система поймала на приукрашивании собственную лучшую стратегию — после исправления ошибки выжившего в данных её Sharpe честно сдулся с 0.77 до 0.49. Если бы критерии писались «по коду», тесты были бы зелёными, а я — уверенным владельцем грааля.
Так что да: «правдоподобное» от «правильного» отделяет только проверка, которую нельзя подогнать задним числом. Дорого, скучно, зато работает.
Бог ты мой, какой я старик?! Прочитал ваш комментарий. Все слова вроде могу прочитать. Но ничего не понял...наверное надо завязывать мне с программированием и читанием про это. Отстал по полной...
Ха, это не вы отстали — это я обвешался жаргоном, каюсь :) Перевожу: я написал программу, которая проверяет торговые стратегии. Экзамен для них я составил заранее и запретил ИИ его трогать — иначе он, как хитрый студент, подгоняет билеты под свои ответы. Из 231 стратегии экзамен не сдала ни одна — и это лучший результат: программа не даёт мне обманывать самого себя. Вот и вся магия.
@Hemml Да, всё, в чем ты не разбираешься, нейронка делает хорошо. Но вот то, в чем ты что‑нибудь понимаешь, она всегда делает плохо
Именно потому, что оно несёт [не всегда полную] муму с апломбом и уверенностью профессора, лохи на это ведутся; однако если способен с первого (или хотя бы со второго) взгляда отличить муму от правильного ответа, то радужные единороги сразу куда‑то исчезают.
Проблема только в том, что если я уже знаю правильный ответ, то зачем мне LLM?
Как мы получаем навыки
«Опыт — это то, что получаешь, когда не удалось получить того, что хотел.» ©
>У модели нет вашего контекста.
Ну так дайте его. Человек тоже ни фига не держит весь код в голове. Более того, он не только его забывает, так ещё и ложные воспоминания появляются. Весь параграф - переписать, набор стереотипов.
И как? Там же говорю, что невозможно передать весь контекст, потому что если бы это было так, ИИ бы уже всех во всем заменил
Зачем передавать ВЕСЬ контекст? Для каждого конкретного таска не нужен весь контекст ни ЛЛМ ни человеку. Человеку просто невозможно столько помнить. Оперируем же какими-то высокоуровневыми понятиями и это не каждая строчка кода в проекте и это тот объём понятий, который мегабайты текста не занимает. И уже на базе этих понятий проводим раскопки до нужного места в коде. ЛЛМ делает ровно тоже самое и успех работы зависит от этого переданного контекста (документации, планов).
В итоге вы к этому сами и пришли, что "успех работы зависит от переданного контекста". А отбирает его человек, как раз из того понимания, которое в статье и названо "вашим контекстом", которого у LLM нет.
А передать все невозможно.
И люди конечно тоже не идеальны, не спорю. Но я же и утверждаю, что наше преимущество не в идеальной памяти и знаниях, а в неких сложных моделях в голове, которые формируются годами опыта (специально оговорюсь, что тоже не у всех людей эти модели в голове есть).
Разбивка на постановку / контракт / критерии / реализацию — лучшее, что я читала на эту тему, потому что она дает конкретный ответ на вопрос «что делегировать». Добавлю одно наблюдение с той же стороны. Опасность не только в том, что мы разучаемся писать код, а в том, что атрофируется навык замечать неладное — тот самый, на котором держится ревью. Он тренируется ровно там, где ты сам ошибся, полез дебажить и прошел путь. Если весь этот путь стабильно проходит модель, то через год человек формально остается «архитектором и ревьюером», но ревьюить уже нечем: чутье на подозрительное решение не накопилось. Получается ловушка — мы оставляем себе роль контролера, одновременно вырубая источник, из которого растет способность контролировать
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как не потерять себя в эпоху ИИ