Кажется, что большинство комментаторов использовали какие-то старые версии LLM. За те два года, что я использую LLM в программировании я вижу очень большой прогресс. В GPT 3.5 даже на небольших задачах часто были галлюцинации. С o1/o3-mini-high, а иногда и с Claude 3.5 Sonnet я могу накинуть сразу несколько файлов для контекста, скопировать задачу из Jira и сказать "пиши". В большом проценте случаев ИИ напишет с первого раза как надо.
Да, LLM может что-то не учесть или использовать старую библиотеку, но это больше вопрос к промпту. Да, иногда было такое, что LLM с самого начала предлагала не самое оптимальное решение, и на его разбор мне приходилось тратить больше времени, чем если бы я написал сам. Но в основном нейросети мне в ежедневном режиме очень экономят время. Да, нужно ревьювить каждую строчку, но это в любом случае надо делать. А исправлять приходится всё меньше и меньше. Тут и нейросети вышли на новый уровень и я научился что, как и в каких случаях у них запрашивать.
Я не вижу причин, почему эта тенденция должна остановиться. Пока есть проблемы с большим контекстом и связкой с пользовательским опытом (LLM видит только код, но не интефейс продукта в динамике), но это не выглядит нерешаемым.
В краткосроке наверное ничего страшного не произойдёт. Программисты будут эффективнее, но задач много, можно будет просто начать делать те задачи, которые раньше не сходились по экономике, а теперь начнут сходиться.
Но в дальнейшем LLM вполне могут заменить не только джунов и мидлов, но и тимлидов, PM и т.д. Эта работа требует большей квалификации, происходит на более высоком уровне абстракции, но в целом такая же работа с данными, во что LLM умеют. Пока не так хорошо, как работать с атомарными задачами, но посмотрим что будет дальше.
Качество и реалистичность сильно лучше, чем у конкурентов, но да, странности видны почти в каждом ролике. Всё-таки, представления о мире у модели весьма своеобразные. Но движения в основном очень естественные.
Нагенерил несколько роликов, все оказались очень далеки от того, что я хотел, хотя и смотрелись качественно. Видимо, как и с Suno, чтобы получить что-то, что тебе действительно надо, нужны сотни попыток.
Я поймал себя на том, что 90% нового кода на одном из проектов я пишу через o1/Claude. Claude для каких-то мелких задач, o1 для более крупных.
Схема подходит не для всех проектов, чем больше связности и легаси, тем сложнее. Но если проект хорошо разбит на компоненты, то выглядит так:
накидываю классов для контекста, ставлю задачу
предлагаю продумать алгоритм, пока без кода
либо соглашаюсь с ним,либо корректирую, либо предлагаю свой
прошу o1 сгенерить все файлы
потом проверка, и опционально несколько итераций правок
прохожусь по тем вещам, которые либо модель не учла, либо мне проще сделать руками, чем объяснять модели
Чем крута o1, тем что здорово держит контекст и понимает задачу. Если задача хорошо описана, порой можно обходиться вовсе без правок. После примерно 10-го сообщения в диалоге качество кода становится хуже. До o1 я так спокойно доверять моделям не мог.
За два года я прошёл от "мне проще написать самому, чем вычитывать глюки модели и пытаться объяснить чего я хочу" до "выдаче модели в целом доверяю, правок минимум, быстрее даже те вещи, которые ты отлично знаешь быстрее написать с помощью модели, чем руками".
Мне нейронки время от времени выдают что-то совсем вне контекста. Например, Claude бывало перескакивал с темы на тему. Просто обычно пользователи при таком поведении просто либо поправляют ЛЛМ, либо начинают новый чат. А тут пришлось в тему и завирусилось.
Ок, предположим, просто глюк. Окей, подождём несколько лет, когда появятся AGI и агентные модели. Что если так же переглючит модель, выполняющую действия в реальном мире?
Для меня в плане обучения сейчас ИИ скорее больше в плюс. Я решаю задачи по тем же рельсам, на которых я всегда их решал, а ИИ время от времени может привнести неожиданное, и часто более эффективное решение, о котором я раньше не думал. Если что-то непонятно - можно не копировать код сразу, а попросить сперва объяснить что там происходит. В плане того, что больше времени тратишь на ревью - возможно так и было поначалу, но теперь и LLM стали лучше, и я лучше научился и писать промпты и быстрее понимать, если ИИ пошёл куда-то не в ту степь.Опять же, вдумчивый код ревью порой даёт тебе больше знаний, чем написание кода самостоятельно, без обращения к нейросетям и гуглу.
И я не особо боюсь, если какие-то навыки потеряются. Когда-то я знал ассемблер, при работе с вебом, не могу сказать, что эти знания мне хоть как-то помогают.
Отличается. Об этом и статья. Во-первых, сейчас власти и крупным структурам люди нужны, и им приходится так или иначе считаться с интересами граждан. Иначе бы коррупция была повсеместной. Во-вторых, сейчас нет таких инструментов контроля, которые могут появиться во времена Powerful AI (но постепенно появляются и без него).
С кнопкой тоже всё непросто, если количество игроков с сильным ИИ больше одного. Они должны будут прийти к консенсусу что ИИ нужно отключить, и как-то проконтролировать, что все другие стороны действительно его отключили. Если конкурент отключать свой ИИ не будет, то и самим отключать нет смысла.
ИИ (речь не про гипотетический самоосознающий себя ИИ типа Скайнет) будет обладать теми ценностями, которые будут в него запрограммированы создателями.
Окей, во-первых, как запрограммировать эти ценности? Мы занимаемся конечно AI Alignment, но точно мы можем учесть всё? И вообще насколько мы будем способны алайнить следующие поколения AI? Ну и плюс у разных групп ценности отличаются. Китайские разработчики например могут изначально не встраивать в алайнмент права и свободы человека.
И наверняка в нем будет механизм внешнего контроля и аварийного отключения.
Если от ИИ будут страдать права и свободы отдельных людей, но при этом у тех, кто владеет рубильником будет всё хорошо, то зачем им отключать такой ИИ?
Для "настоящего" ИИ (который, возможно, никогда не будет создан) люди могут стать аналогом домашних животных.
И вдогонку. Это не такая уж и гипербола. С блокпостами каждые несколько кварталов, камерами везде и специальными приложениями на телефонах, можно отслеживать перемещения уйгуров с очень большой точностью.
Тем не менее, консенсус в среде компаний, которые занимаются разработкой LLM именно такой. Powerful AI - это термин Дарио Амадея (в статье он объясняет, почему он использовал именно его, а не традиционные AGI/ASI), и он утверждает, что такой AI появится в ближайшие несколько лет. Конечно можно контрагументировать тем, что это всё обман для привлечения инвесторов. Но мы ещё только в самом начале пути.
Ну и плюс, что такое создание нового? Код, который LLM создаёт конкретно под мою задачу - это не новое? Даже если похожие решения уже использовались и содержались в обучающей выборке, то в контексте моего проекта они не применялись. Сама статья выше - это не новое? Не является ли большей частью умственной деятельности людей такая же обработка уже известной информации. Если для вас новое - это например новые физические открытия, то во-первых большинство людей их никогда не делает и не сделает, а во-вторых, люди работают над ними итерациями и годами. И это мы сравниваем с тем, что современные нейронки выдают за минуты. Что будет, когда ЛЛМ обретут агентность и смогут рассуждать дольше?
Ну да, если мы воспротивимся ношению паспортов и оплате налогов, и попробуем поднять восстание по этому поводу, то нам практически невозможно будет заручиться широкой поддержкой. Это стало нормой. Я уверен, что в обществе есть куча странностей и перекосов, которые делают индивида менее свободным и счастливым, которые мы даже не осознаём. Это так же обычно, как раньше было ходить по воскресеньям в церковь. Но посыл статьи в другом. Сейчас у нас есть пусть кривые-косые, но инструменты влияния на власть и крупные структуры, хоть и сильно отличающиеся в разных странах. Пока в нас самих есть ценность, власть не может творить с нами совсем что угодно. Но что будет если убрать эту ценность и полностью отнять инструменты влияния.
Claude не идеален, да, и время от времени он вставлял и жёлтые абзацы и много всего неточного. Но мне показалось забавным дать AI написать статью про AI (я фактически только задал тему) и запостить её без единой правки, даже если меня какие-то моменты и смущают. Если не цепляться к отдельным формулировкам, в целом я и со структурой статьи в общем и с аргументацией согласен.
В России, если ты работаешь в белую, использовать значительную часть ИИ-решений не так-то просто. Нам, например, юристы зарубили функционал по аналитике данных через ChatGPT. Так как получается трансграничная передача данных, в любых данных могут оказаться персональные данные, а так как формулировки ПД размыты - гарантировать что их там точно не будет нельзя. А следовательно запрет на трансграничную передачу. Получается, можем использовать или локальные модели на наших серверах, или всякие недоllm типа ЯндексGPT.
По последним популярным обзорам научных публикаций, что я читал, на развитие миопии влияет не непосредственно пользования гаджетами, а процент нахождения на солнечном свете в детском/подростковом возрасте. Например, https://www.aaojournal.org/article/S0161-6420(07)01364-4/abstract
Те, пользование гаджетами может влиять, но опосредованно: дети больше сидят в гаджетах, соответственно меньше гуляют, соответственно получают меньше солнечной радиации, что влияет на формирование глаза.
И это отлично коррелирует с тем, что в околоэкваториальных странах процент миопии сильно меньше (хотя и не во всех). Возможно, образ жизни тоже сказывается, например у жителей азиатских стран больше фокуса на учёбу, а в Европе работает популяризация спорта/активного образа жизни.
Попытки измерить количество часов, проводимых за чтением, не показали никакой корреляции с близорукостью. Более того: даже группы, целиком лишенные гаджетов, – как ультрарелигиозные общины в Израиле, например, – могут иметь частоту близорукости выше, чем у тех, чьи дети проводят за электроникой много времени.
Если это так, то правило 20-20-20 не факт, что будет полезным.
Кажется, что большинство комментаторов использовали какие-то старые версии LLM. За те два года, что я использую LLM в программировании я вижу очень большой прогресс. В GPT 3.5 даже на небольших задачах часто были галлюцинации. С o1/o3-mini-high, а иногда и с Claude 3.5 Sonnet я могу накинуть сразу несколько файлов для контекста, скопировать задачу из Jira и сказать "пиши". В большом проценте случаев ИИ напишет с первого раза как надо.
Да, LLM может что-то не учесть или использовать старую библиотеку, но это больше вопрос к промпту. Да, иногда было такое, что LLM с самого начала предлагала не самое оптимальное решение, и на его разбор мне приходилось тратить больше времени, чем если бы я написал сам. Но в основном нейросети мне в ежедневном режиме очень экономят время. Да, нужно ревьювить каждую строчку, но это в любом случае надо делать. А исправлять приходится всё меньше и меньше. Тут и нейросети вышли на новый уровень и я научился что, как и в каких случаях у них запрашивать.
Я не вижу причин, почему эта тенденция должна остановиться. Пока есть проблемы с большим контекстом и связкой с пользовательским опытом (LLM видит только код, но не интефейс продукта в динамике), но это не выглядит нерешаемым.
В краткосроке наверное ничего страшного не произойдёт. Программисты будут эффективнее, но задач много, можно будет просто начать делать те задачи, которые раньше не сходились по экономике, а теперь начнут сходиться.
Но в дальнейшем LLM вполне могут заменить не только джунов и мидлов, но и тимлидов, PM и т.д. Эта работа требует большей квалификации, происходит на более высоком уровне абстракции, но в целом такая же работа с данными, во что LLM умеют. Пока не так хорошо, как работать с атомарными задачами, но посмотрим что будет дальше.
Ни Claude ни Gemini ни ChatGPT самостоятельно, без подсказок, к нужной ассоциации не пришли.
попробовал сгенерить картинку с другими цифрами. Нейросети тоже справляются.
Решают и Gemini и Claude и ChatGPT. Но может просто помнят.
Качество и реалистичность сильно лучше, чем у конкурентов, но да, странности видны почти в каждом ролике. Всё-таки, представления о мире у модели весьма своеобразные. Но движения в основном очень естественные.
Нагенерил несколько роликов, все оказались очень далеки от того, что я хотел, хотя и смотрелись качественно. Видимо, как и с Suno, чтобы получить что-то, что тебе действительно надо, нужны сотни попыток.
Я поймал себя на том, что 90% нового кода на одном из проектов я пишу через o1/Claude. Claude для каких-то мелких задач, o1 для более крупных.
Схема подходит не для всех проектов, чем больше связности и легаси, тем сложнее. Но если проект хорошо разбит на компоненты, то выглядит так:
накидываю классов для контекста, ставлю задачу
предлагаю продумать алгоритм, пока без кода
либо соглашаюсь с ним,либо корректирую, либо предлагаю свой
прошу o1 сгенерить все файлы
потом проверка, и опционально несколько итераций правок
прохожусь по тем вещам, которые либо модель не учла, либо мне проще сделать руками, чем объяснять модели
Чем крута o1, тем что здорово держит контекст и понимает задачу. Если задача хорошо описана, порой можно обходиться вовсе без правок. После примерно 10-го сообщения в диалоге качество кода становится хуже. До o1 я так спокойно доверять моделям не мог.
За два года я прошёл от "мне проще написать самому, чем вычитывать глюки модели и пытаться объяснить чего я хочу" до "выдаче модели в целом доверяю, правок минимум, быстрее даже те вещи, которые ты отлично знаешь быстрее написать с помощью модели, чем руками".
Claude понял сразу
Мне нейронки время от времени выдают что-то совсем вне контекста. Например, Claude бывало перескакивал с темы на тему. Просто обычно пользователи при таком поведении просто либо поправляют ЛЛМ, либо начинают новый чат. А тут пришлось в тему и завирусилось.
Ок, предположим, просто глюк. Окей, подождём несколько лет, когда появятся AGI и агентные модели. Что если так же переглючит модель, выполняющую действия в реальном мире?
Для меня в плане обучения сейчас ИИ скорее больше в плюс. Я решаю задачи по тем же рельсам, на которых я всегда их решал, а ИИ время от времени может привнести неожиданное, и часто более эффективное решение, о котором я раньше не думал. Если что-то непонятно - можно не копировать код сразу, а попросить сперва объяснить что там происходит. В плане того, что больше времени тратишь на ревью - возможно так и было поначалу, но теперь и LLM стали лучше, и я лучше научился и писать промпты и быстрее понимать, если ИИ пошёл куда-то не в ту степь.Опять же, вдумчивый код ревью порой даёт тебе больше знаний, чем написание кода самостоятельно, без обращения к нейросетям и гуглу.
И я не особо боюсь, если какие-то навыки потеряются. Когда-то я знал ассемблер, при работе с вебом, не могу сказать, что эти знания мне хоть как-то помогают.
Отличается. Об этом и статья. Во-первых, сейчас власти и крупным структурам люди нужны, и им приходится так или иначе считаться с интересами граждан. Иначе бы коррупция была повсеместной. Во-вторых, сейчас нет таких инструментов контроля, которые могут появиться во времена Powerful AI (но постепенно появляются и без него).
С кнопкой тоже всё непросто, если количество игроков с сильным ИИ больше одного. Они должны будут прийти к консенсусу что ИИ нужно отключить, и как-то проконтролировать, что все другие стороны действительно его отключили. Если конкурент отключать свой ИИ не будет, то и самим отключать нет смысла.
Окей, во-первых, как запрограммировать эти ценности? Мы занимаемся конечно AI Alignment, но точно мы можем учесть всё? И вообще насколько мы будем способны алайнить следующие поколения AI? Ну и плюс у разных групп ценности отличаются. Китайские разработчики например могут изначально не встраивать в алайнмент права и свободы человека.
Если от ИИ будут страдать права и свободы отдельных людей, но при этом у тех, кто владеет рубильником будет всё хорошо, то зачем им отключать такой ИИ?
А могут и не стать.
И вдогонку. Это не такая уж и гипербола. С блокпостами каждые несколько кварталов, камерами везде и специальными приложениями на телефонах, можно отслеживать перемещения уйгуров с очень большой точностью.
Тем не менее, консенсус в среде компаний, которые занимаются разработкой LLM именно такой. Powerful AI - это термин Дарио Амадея (в статье он объясняет, почему он использовал именно его, а не традиционные AGI/ASI), и он утверждает, что такой AI появится в ближайшие несколько лет. Конечно можно контрагументировать тем, что это всё обман для привлечения инвесторов. Но мы ещё только в самом начале пути.
Ну и плюс, что такое создание нового? Код, который LLM создаёт конкретно под мою задачу - это не новое? Даже если похожие решения уже использовались и содержались в обучающей выборке, то в контексте моего проекта они не применялись. Сама статья выше - это не новое? Не является ли большей частью умственной деятельности людей такая же обработка уже известной информации. Если для вас новое - это например новые физические открытия, то во-первых большинство людей их никогда не делает и не сделает, а во-вторых, люди работают над ними итерациями и годами. И это мы сравниваем с тем, что современные нейронки выдают за минуты. Что будет, когда ЛЛМ обретут агентность и смогут рассуждать дольше?
Ну да, если мы воспротивимся ношению паспортов и оплате налогов, и попробуем поднять восстание по этому поводу, то нам практически невозможно будет заручиться широкой поддержкой. Это стало нормой. Я уверен, что в обществе есть куча странностей и перекосов, которые делают индивида менее свободным и счастливым, которые мы даже не осознаём. Это так же обычно, как раньше было ходить по воскресеньям в церковь. Но посыл статьи в другом. Сейчас у нас есть пусть кривые-косые, но инструменты влияния на власть и крупные структуры, хоть и сильно отличающиеся в разных странах. Пока в нас самих есть ценность, власть не может творить с нами совсем что угодно. Но что будет если убрать эту ценность и полностью отнять инструменты влияния.
Claude не идеален, да, и время от времени он вставлял и жёлтые абзацы и много всего неточного. Но мне показалось забавным дать AI написать статью про AI (я фактически только задал тему) и запостить её без единой правки, даже если меня какие-то моменты и смущают. Если не цепляться к отдельным формулировкам, в целом я и со структурой статьи в общем и с аргументацией согласен.
Ещё одна попытка пообщаться с Claude на те же темы: https://www.doc.ic.ac.uk/~mpsha/conversation_with_claude_march_2024_1.pdf
Такое ощущение, что написано нейросетью по промпту "тезис А(с)модея - контртезис почему он не прав". Может, из-за этого Асмодей и вылез.
В России, если ты работаешь в белую, использовать значительную часть ИИ-решений не так-то просто. Нам, например, юристы зарубили функционал по аналитике данных через ChatGPT. Так как получается трансграничная передача данных, в любых данных могут оказаться персональные данные, а так как формулировки ПД размыты - гарантировать что их там точно не будет нельзя. А следовательно запрет на трансграничную передачу. Получается, можем использовать или локальные модели на наших серверах, или всякие недоllm типа ЯндексGPT.
По последним популярным обзорам научных публикаций, что я читал, на развитие миопии влияет не непосредственно пользования гаджетами, а процент нахождения на солнечном свете в детском/подростковом возрасте. Например, https://www.aaojournal.org/article/S0161-6420(07)01364-4/abstract
Те, пользование гаджетами может влиять, но опосредованно: дети больше сидят в гаджетах, соответственно меньше гуляют, соответственно получают меньше солнечной радиации, что влияет на формирование глаза.
И это отлично коррелирует с тем, что в околоэкваториальных странах процент миопии сильно меньше (хотя и не во всех). Возможно, образ жизни тоже сказывается, например у жителей азиатских стран больше фокуса на учёбу, а в Европе работает популяризация спорта/активного образа жизни.
Попытки измерить количество часов, проводимых за чтением, не показали никакой корреляции с близорукостью. Более того: даже группы, целиком лишенные гаджетов, – как ультрарелигиозные общины в Израиле, например, – могут иметь частоту близорукости выше, чем у тех, чьи дети проводят за электроникой много времени.
Если это так, то правило 20-20-20 не факт, что будет полезным.