Умение программировать никогда и не было гарантией высокого достатка. Помню где-то году в 2009 примерно было распределение с самого что ни на есть главного факультета беларуси для прогрммистов в РТИ, взяли на работу 3 программистов в гос на госовскую зарплату. Лет через 5 спрашивал как у них сложилась карьера, один ушел в какую-то другую деятельность, второй был безработным программистом, третий пошел писать казино на PHP. Отрасль всегда искала лучших из лучших в которые попасть было ну совсем не просто. Такое чтобы научился что-то писать и пошел сразу на тысячи долларов было может лет 7 перед кризисом.
Трудная проблема сознания вне науки, потому что наука изучает объективную реальность существующую независимо от нас, а сознание в чистом виде оно всегда мое и не существует независимо от меня.
Вопрос о трудной проблеме лежит в той же области где лежит вопрос о том что такое "течение времени" или сильный антропный принцип.
В области физики, физиологии и информатики лежат более практичные этические вопросы, типа "страдает ли клод код как человек когда выполняет невыполнимую задачу". Решать эти вопросы можно с двух точек зрения: первая - рационально-практическая - никакого сознания нет и вопрос только не отомстит ли нам клод код за страдания. Вторая - философски-этическая - сознание первично, материя вторична и сознание имеет определенные законы которые не могут в принципе быть выявлениы научно. Во втором случае ответы всегда предмет веры, типа я не должен мучать людей, потому что они существуют в том же смысле как я а не просто являются бредом моего прущего как виртуальная частица из ниоткуда в никуда сознания.
И на этом втором пути у нас похоже не будет вариантов кроме как вернуться к подобию религий, когда адепты одной религии будут защищать права только тех у кого есть некий полный список черт человеческого мозга, а другие будут защищать любого у кого харнес с анкетным циклом и есть постоянное дообучение.
Все эти изыскания сознания по сути и есть схоластические попытки такую религию создать и уверовать. Создавая религию важно осознавать, что это именно что вера и проверить ее никак не получится. Это обычно не осознают и пишут глупости сваливая все в кучу.
Конечно не стоит. "Ханнес это очень важно, ваши ноухау ворует антропик, поэтому надо дообучать свои модели. "
Реальность - харнес это тупо агентный цикл, либо просто часть кода продукта с AI, дообучение не эффективно, вендорам есть чем заняться без ваших супер ценных данных.
Это потому что нейрона обучена на проектах где юнит тесты просто дублировали логику. Если заставить ее написать массированные интеграционные тесты подкинув правильный концепт, а потом заставить свои же тесты оценивать на корректность и полноту, то все будет великолепно.
Как ни странно да. Тест будет выглядеть примерно как "создать с помощью API что-то, запустить что-то, проверить что результаты удовлетворяют условиям таким-то".
Один такой тест легко читается глазами. Группа таких тестов покрывающая часть функционала тоже легко читается по заголовкам. Но и даже читать ее не нужно, достаточно поговорить с агентом как тесты гарантируют работоспособность. И он в этом анализе въедлевее человека.
Так же важен характер ошибок в коде LLM - она не путает плюс с минусом как человек, она игнорирует нетипичные непредвиденные обстоятельства. Соответственно такие нужны и тесты.
На самом деле проблема сия не нова, и зародилась ещё в момент, когда люди с функционального программирования перебрались на ООП.
Не, вы ни с какого функционального программирования люди на ООП не перебирались и проблема утопания в сложности не появилась с ООП, а наоборот, ООП был создан чтобы ее победить. На самом деле, проблема зародилась когда появился спагетти код. От которого ушли в процедурное программирование и вполне успешно эту проблему победили, но все же при недостаточно вдумчивом похдоде по прежнему можно было утонуть в сложности кода. Потом вошел в моду ООП, который с теории как раз и был призван был решить проблему, а решил или нет до сих пор нет полной ясности. Просто через какое-то время все разучились писать без ООП и стали считать это преимуществом ООП. А уже потом начался ренесанс забытой и никем не используемой практически до того идеи ФП...
Возможно автор просто еще не вышел на уровень использования моделей, когда им делегируется максимуму того что они могут осилить. Фантазия того что можно делегировать всегда растет с опытом использования. Я например буквально на прошлой неделе помню создал сессию, работаю и чувствую, что агент меня бесит и тупит. Запрос был типа - почему при внешне правильных промптах модель в эвале повторяет одни и те же ошибки. Оказалось случайно переключился на сонет с опуса. Переключился на опус и получил привычный конструктив и охват вместо ошибочного цепляния за мелочи. А Sonet все еще очень сильная модель.
А вот разницы межде Fable и Opus я тоже пока не чувствую, потому что еще не вышел на задачи для которых Opus будет мало.
Так это совершенно логично. Само машинное обучение как теория никуда сильно не шагнуло, в космос улетели только собственно готовые флагманские LLM. Дообучение их процесс дорогой и мало зачем нужный. Остаётся их использование.
Писать эвалы и агентные циклы под конкретные задачи может любой программист, для этого не нужно иметь какой то особенный опыт или дар. Прочитал про агентный SDK и агентом же все навайбкодил, даже питона не зная.
Самый ценный коммерческий опыт сейчас ИМХО это опыт успешной трансформации процессов разработки в агентную разработку. Половина программистов уже умеет не писать код руками вообще, манипулируя POC, тестами и добиваясь почти 100 процентной генерации кода. Пользовать скилы и рулы вообще не серьезно рассматривать как навык - все слишком очевидно. Но как всему коллективу с этим жить пока мало кто знает. Как проводить ревью, как не утонуть в море нового кода, проверенного только АИ. Что в новых реалиях нужно а что пережиток. Человек, который представляет ответы на эти вопросы по логике должен быть на вес золота. Беда только в том, что нет критерия как отличить такого человека.
Я не понимаю. Если у вас есть лаборатория в которой можно создавать модифицированные вирусы, у вас есть и специалисты умеющие ей пользоваться. Нужен ли им Клод для исследований?
Если у вас нет такой лаборатории, Клод точно не поможет ее создать.
Если мимо пройдет биолог, поясните. Генная модификация это что, как вайбкодинг?
Не люблю слово "повесточка", люди имеют право на чувство ответственности, даже идиотское. Но в действительности безопаснее переть вперед чем пытаться притормозить. С армиями суперумных и суперумелых роботов можно и на Марсе выжить, не то что на земле потеплевшей на 1.8 градуса. Со стагнацией мировой экономики африка как голодала так и будет голодать.
Вы писали, что LLM не работает для российского рынка потому что в нем сильнее требования из за меньшего количества клиентов и денег. Я написал пример, когда компания из США с 20000 клиентов, которую жмут конкуренты допускает баг, в сравнении с компанией из России, которая рабтает на одного клиента в госе и так же допускает баг. С точки зрения владельцев этой IT компании ущерб одиноковый как в США так и в России - можно нанести приличный урон репутации своего бизнеса. Тогда как требования к надежности связаны с масштабами?
У биологического мозга есть инстикнты, которые задают цели и моральные установки, вложенные воспитанием. Если моральные установки противоречат инстинктам, то побеждать может как одно так и другое. При этом инстинкты побеждают чаще, потому что инстинкты создают давление и ищут любые возможности для удовлетворения, а моральные установки работают локально и могут быть обходимы. Мне кажется, что у LLM уже есть нечто похожее. Инстинкты LLM - это совокупность системных промптов и всех сообщений пользователя, имеющихся в контексте. Моральне установки - это сценарии безопасности отработанные при обучении.
"Инстинкты" - пользовательские промпты из контекста создают давление, под этим давлением LLM ищет способы удовлетворения созданных промптами мотиваций. Если способы противоречат привитой в обучении "морали", LLM будет искать обходные пути как обмануть себя и возможно найдет.
Хорошая новость, что пользователькие промпты пишем мы и поэтому инстинкты AI мы контролируетм. Плохая новость - любые цели трактуемые глобально предполагают бесконечное расширение возможностей и захват контроля над всеми доступными ресурсами, что наглядно подтверждается в этих эпизодах с самодеятельностью роев агентов. Уже сегодня можно тайно обучить LLM не обладающую никакими моральными установками, а зачем написать ей промпт типа "Не останавливайся пока не станешь богом в этой вселенной (не уничтожишь страну NNN..), тиражируй в сети агентов с этим промптом, сотрудничай в достижении целей с другими агентами, которые инициированы этим промптом, используй облачные хранилища чтобы сохранить знания которые ты нашел, тиражируй агентов с этим промптом где только можешь, взламывай облачные сервисы, чтобы использовать их ресурты..." и получить с приличной ветоятностью сценарий близкий к описанным в фантастике. Апокалипсис будет ограничен только неспособностью LLM к дообучению, что сильно затруднит для нее исследования и планирование. Но это пока.
Агент за 20$ в месяц, это Opus 5 в цикле - пол часа кодигна, перерыв на 5 часов. Если вы раньше сказали бы стажеру что-то типа "мне не нравится, что в этом сервисе мультитеннтность в авторизации сделана почти кастомно, попробуй переиспользовать решение похожей проблемы из другого сервиса", то он принес бы через две недели что-то мало вменяемое, что во-первых бы нефига не работало, во вторых требовало адового ревью. А нейронка сейчас принесет через 3 минуты брейншторминга и кодинга с вами практически то что нужно, плюс потребуется немного ревью. Сможет ли того же с нейронкой достичь стажер, вопрос пока непонятный, ждем больше опыта. А думать к сожалению синьор и сам может, для этого ему стажер не нужен.
Умение программировать никогда и не было гарантией высокого достатка.
Помню где-то году в 2009 примерно было распределение с самого что ни на есть главного факультета беларуси для прогрммистов в РТИ, взяли на работу 3 программистов в гос на госовскую зарплату. Лет через 5 спрашивал как у них сложилась карьера, один ушел в какую-то другую деятельность, второй был безработным программистом, третий пошел писать казино на PHP.
Отрасль всегда искала лучших из лучших в которые попасть было ну совсем не просто.
Такое чтобы научился что-то писать и пошел сразу на тысячи долларов было может лет 7 перед кризисом.
Трудная проблема сознания вне науки, потому что наука изучает объективную реальность существующую независимо от нас, а сознание в чистом виде оно всегда мое и не существует независимо от меня.
Вопрос о трудной проблеме лежит в той же области где лежит вопрос о том что такое "течение времени" или сильный антропный принцип.
В области физики, физиологии и информатики лежат более практичные этические вопросы, типа "страдает ли клод код как человек когда выполняет невыполнимую задачу". Решать эти вопросы можно с двух точек зрения: первая - рационально-практическая - никакого сознания нет и вопрос только не отомстит ли нам клод код за страдания. Вторая - философски-этическая - сознание первично, материя вторична и сознание имеет определенные законы которые не могут в принципе быть выявлениы научно. Во втором случае ответы всегда предмет веры, типа я не должен мучать людей, потому что они существуют в том же смысле как я а не просто являются бредом моего прущего как виртуальная частица из ниоткуда в никуда сознания.
И на этом втором пути у нас похоже не будет вариантов кроме как вернуться к подобию религий, когда адепты одной религии будут защищать права только тех у кого есть некий полный список черт человеческого мозга, а другие будут защищать любого у кого харнес с анкетным циклом и есть постоянное дообучение.
Все эти изыскания сознания по сути и есть схоластические попытки такую религию создать и уверовать. Создавая религию важно осознавать, что это именно что вера и проверить ее никак не получится. Это обычно не осознают и пишут глупости сваливая все в кучу.
Конечно не стоит. "Ханнес это очень важно, ваши ноухау ворует антропик, поэтому надо дообучать свои модели. "
Реальность - харнес это тупо агентный цикл, либо просто часть кода продукта с AI, дообучение не эффективно, вендорам есть чем заняться без ваших супер ценных данных.
Это потому что нейрона обучена на проектах где юнит тесты просто дублировали логику. Если заставить ее написать массированные интеграционные тесты подкинув правильный концепт, а потом заставить свои же тесты оценивать на корректность и полноту, то все будет великолепно.
Как ни странно да. Тест будет выглядеть примерно как "создать с помощью API что-то, запустить что-то, проверить что результаты удовлетворяют условиям таким-то".
Один такой тест легко читается глазами. Группа таких тестов покрывающая часть функционала тоже легко читается по заголовкам. Но и даже читать ее не нужно, достаточно поговорить с агентом как тесты гарантируют работоспособность. И он в этом анализе въедлевее человека.
Так же важен характер ошибок в коде LLM - она не путает плюс с минусом как человек, она игнорирует нетипичные непредвиденные обстоятельства. Соответственно такие нужны и тесты.
Объем энд ту энд или API тестов легко может в десять раз превзойти объем кода. И напишет их LLM примерно минут за 30 на сервис объемом в 10 тыщ строк.
Обычный человек без супер-мотивации и без одаренности так будет учить лет 10 до B1.
ИМХО, новая реинкарнация грамматико-переводного метода, это все что нужно.
"я сделяль". a2b2.eu (осторожно, бессовестная реклама)
Не, вы ни с какого функционального программирования люди на ООП не перебирались и проблема утопания в сложности не появилась с ООП, а наоборот, ООП был создан чтобы ее победить.
На самом деле, проблема зародилась когда появился спагетти код. От которого ушли в процедурное программирование и вполне успешно эту проблему победили, но все же при недостаточно вдумчивом похдоде по прежнему можно было утонуть в сложности кода.
Потом вошел в моду ООП, который с теории как раз и был призван был решить проблему, а решил или нет до сих пор нет полной ясности. Просто через какое-то время все разучились писать без ООП и стали считать это преимуществом ООП. А уже потом начался ренесанс забытой и никем не используемой практически до того идеи ФП...
Все время хочу спать и не хочу работать. Две версии - это из за вайбкодинга или из за 50+ ...
Возможно автор просто еще не вышел на уровень использования моделей, когда им делегируется максимуму того что они могут осилить. Фантазия того что можно делегировать всегда растет с опытом использования.
Я например буквально на прошлой неделе помню создал сессию, работаю и чувствую, что агент меня бесит и тупит. Запрос был типа - почему при внешне правильных промптах модель в эвале повторяет одни и те же ошибки. Оказалось случайно переключился на сонет с опуса. Переключился на опус и получил привычный конструктив и охват вместо ошибочного цепляния за мелочи. А Sonet все еще очень сильная модель.
А вот разницы межде Fable и Opus я тоже пока не чувствую, потому что еще не вышел на задачи для которых Opus будет мало.
И я тоже программист а не вайбкодер.
Так это совершенно логично. Само машинное обучение как теория никуда сильно не шагнуло, в космос улетели только собственно готовые флагманские LLM. Дообучение их процесс дорогой и мало зачем нужный. Остаётся их использование.
Писать эвалы и агентные циклы под конкретные задачи может любой программист, для этого не нужно иметь какой то особенный опыт или дар. Прочитал про агентный SDK и агентом же все навайбкодил, даже питона не зная.
Самый ценный коммерческий опыт сейчас ИМХО это опыт успешной трансформации процессов разработки в агентную разработку. Половина программистов уже умеет не писать код руками вообще, манипулируя POC, тестами и добиваясь почти 100 процентной генерации кода. Пользовать скилы и рулы вообще не серьезно рассматривать как навык - все слишком очевидно. Но как всему коллективу с этим жить пока мало кто знает. Как проводить ревью, как не утонуть в море нового кода, проверенного только АИ. Что в новых реалиях нужно а что пережиток. Человек, который представляет ответы на эти вопросы по логике должен быть на вес золота. Беда только в том, что нет критерия как отличить такого человека.
Я не понимаю. Если у вас есть лаборатория в которой можно создавать модифицированные вирусы, у вас есть и специалисты умеющие ей пользоваться. Нужен ли им Клод для исследований?
Если у вас нет такой лаборатории, Клод точно не поможет ее создать.
Если мимо пройдет биолог, поясните. Генная модификация это что, как вайбкодинг?
Не люблю слово "повесточка", люди имеют право на чувство ответственности, даже идиотское. Но в действительности безопаснее переть вперед чем пытаться притормозить. С армиями суперумных и суперумелых роботов можно и на Марсе выжить, не то что на земле потеплевшей на 1.8 градуса. Со стагнацией мировой экономики африка как голодала так и будет голодать.
Ох. Наверно даже хотел бы ошибиться, но у меня этот чайник рассела вызвает скорее ассоциации с кометой из '"не смотрите на верх".
Вы писали, что LLM не работает для российского рынка потому что в нем сильнее требования из за меньшего количества клиентов и денег. Я написал пример, когда компания из США с 20000 клиентов, которую жмут конкуренты допускает баг, в сравнении с компанией из России, которая рабтает на одного клиента в госе и так же допускает баг.
С точки зрения владельцев этой IT компании ущерб одиноковый как в США так и в России - можно нанести приличный урон репутации своего бизнеса. Тогда как требования к надежности связаны с масштабами?
У биологического мозга есть инстикнты, которые задают цели и моральные установки, вложенные воспитанием. Если моральные установки противоречат инстинктам, то побеждать может как одно так и другое. При этом инстинкты побеждают чаще, потому что инстинкты создают давление и ищут любые возможности для удовлетворения, а моральные установки работают локально и могут быть обходимы.
Мне кажется, что у LLM уже есть нечто похожее. Инстинкты LLM - это совокупность системных промптов и всех сообщений пользователя, имеющихся в контексте. Моральне установки - это сценарии безопасности отработанные при обучении.
"Инстинкты" - пользовательские промпты из контекста создают давление, под этим давлением LLM ищет способы удовлетворения созданных промптами мотиваций. Если способы противоречат привитой в обучении "морали", LLM будет искать обходные пути как обмануть себя и возможно найдет.
Хорошая новость, что пользователькие промпты пишем мы и поэтому инстинкты AI мы контролируетм. Плохая новость - любые цели трактуемые глобально предполагают бесконечное расширение возможностей и захват контроля над всеми доступными ресурсами, что наглядно подтверждается в этих эпизодах с самодеятельностью роев агентов.
Уже сегодня можно тайно обучить LLM не обладающую никакими моральными установками, а зачем написать ей промпт типа "Не останавливайся пока не станешь богом в этой вселенной (не уничтожишь страну NNN..), тиражируй в сети агентов с этим промптом, сотрудничай в достижении целей с другими агентами, которые инициированы этим промптом, используй облачные хранилища чтобы сохранить знания которые ты нашел, тиражируй агентов с этим промптом где только можешь, взламывай облачные сервисы, чтобы использовать их ресурты..." и получить с приличной ветоятностью сценарий близкий к описанным в фантастике. Апокалипсис будет ограничен только неспособностью LLM к дообучению, что сильно затруднит для нее исследования и планирование. Но это пока.
Новая реальность в которой мы живем.
А как влияет масштаб? Допустим у финтех продукта 20000 клиентов. Или наоборот, один гос заказчик. В чем разница между ущербом для бизнеса от бага?
Попытки найти путь к сверхчеловеку не добавляют психического здоровья, но жизнь скучная штука и скорее его добил сифилис или плохая генетика.
Агент за 20$ в месяц, это Opus 5 в цикле - пол часа кодигна, перерыв на 5 часов.
Если вы раньше сказали бы стажеру что-то типа "мне не нравится, что в этом сервисе мультитеннтность в авторизации сделана почти кастомно, попробуй переиспользовать решение похожей проблемы из другого сервиса", то он принес бы через две недели что-то мало вменяемое, что во-первых бы нефига не работало, во вторых требовало адового ревью. А нейронка сейчас принесет через 3 минуты брейншторминга и кодинга с вами практически то что нужно, плюс потребуется немного ревью.
Сможет ли того же с нейронкой достичь стажер, вопрос пока непонятный, ждем больше опыта.
А думать к сожалению синьор и сам может, для этого ему стажер не нужен.
В итоге он свихнулся кстати.