В каком смысле не решили? Берём любой метод конечных элементов или конечных разностей и решаем численно. Или как по-вашему в наши дни просчитывают различные гидродинамические системы?
Точно! Ведь именно поэтому Botkin.AI запретили применять: потому что он был обучен на отфильтрованных и аккуратно размеченных данных, и не выдавал диагнозы и предписания, способные причинить прямой вред пациентам. Всё это козни проклятых гомеопатов! Именно так.
Ну, и я, так сказать, по долгу службы знаком с некоторыми наборами данных, используемыми для обучения больших моделей. Там трэш, каша и угар. Никто их не фильтровал. Потому что такие объёмы данных отфильтровать невозможно. Ещё одно наблюдение, бросающееся в глаза при анализе этих датасетов - собирали их не специалисты в соответствующей области. Поэтому они даже не понимают, какие данные качественные, а какие - нет. И поэтому не могут в своих скриптах, парсящих базы данных, прописать корректные критерии отбора.
Да, собственно, вся технология GPT построена на той идее, что ничего фильтровать не нужно, а нужно потом подкручивать поведение сети через обучение с подкреплением. Как бы, по нынешним временам - это букварные истины. Странно, что Вы не в курсе.
Поэтому и страшно представить, чего там ИИ может наускорять и напомогать при разработке новых лекарств. Не, конечно, верующИИ всем расскажут, что он помог и ускорил, и даже среди миллионов примеров запросов/ответов найдут несколько корректных, забив на миллионы ошибок, и даже, наверное, начнут впаривать эти лекарства ничего не подозревающим людям. Вопрос только в том, какой уровень вреда это всё нанесёт, прежде чем безумие будет остановлено. Ну, и успеют ли люди вообще это безумие остановить. И останутся ли у нас вообще хоть какие-нибудь нормальные лекарства, разработанные по рациональным научным протоколам, а не по генеративным рецептам. Учитывая то, что человечество стремительно несётся прямо в мир Идиоткратии, опасность того, что нормальных лекарств не останется, весьма высока.
Это было бы шуткой, если бы все эти корпорации, обучившие свои ИИ на этих пузырях безумия, теперь не лезли бы с этими ИИ в медицину, образование, науку и власть.
А с чего Вы взяли, что он стоит дешевле? Датацентр, в котором этот ИИ работает сам себя не обслужит. Ему нужны комплектующие, системы охлаждения, обслуживающий персонал, etc. Уйму энергии ещё это всё потребляет.
Это оно кажется, что дешевле, пока ИИ решает, фактически, одинаковую для всех задачу. Эффект масштаба срабатывает. А если нужно будет решать конкретно ту задачу, над которой Вы работаете, то ХЗ, сколько это всё добро будет стоить.
Да и потом, с чего Вы взяли, что ИИ может лучше? Современные ИИ - вероятностные модели, которые с логикой не дружат. Не, конечно, если человек книг не читает и весь его мыслительный процесс сформирован Ютубом, то ИИ покажется умнее. Но это не от того, что ИИ принципиально умнее, а от того, что люди отупели от постоянной вовлечённости в потребление тривиального контента.
Вычитывать чужой код гораздо тяжелее, чем писать свой. А исправлять потом чужой код, вникая в его логику, не нарушая неявные инварианты, - это вообще высшая степень мастерства в профессии. Это очень тяжело.
Поэтому я и сомневаюсь, что цикл: поставить задачу, вычитать решение, уточнить задачу, repeat - будет в среднем эффективнее, чем сразу записывать решение в виде кода. Потому что это тоже программирование, только на очень неудобном инструменте.
Заменим в этом мысленном эксперименте слово ИИ на словосочетание "хакерская группировка на зарплате у (не хочу никого задевать, поэтому сами впишите сюда имя любимого диктатора)". Что поменяется?
Ну, и кроме того, ИИ сам не учится. Его учат. На его обучение тратят огромные ресурсы (сейчас в научных публикациях в Европе требуют указывать карбоновые футпринты, и там затраты измеряются в сотнях тонн CO2). И занимаются этим люди. Когда Вы пишете "представьте, что ИИ научится". Это нужно читать так: "представьте, что некая группа людей, соберёт все эти исходники, соберёт все эксплойты, напишет код обучения нейросети, достанет где-то огромные суперкомпьютеры, для запуска процесса обучения, и так далее". Но если у этой группы такие ресурсы, что она может это сделать, зачем ей нужен ИИ, чтобы гадить человечеству? Они и так, скорее всего, сидят на вершине социальной пищевой пирамиды. Зачем им её разрушать?
Q: nonegative integer number n is called green if it is 0 or if its predecessor is not green. write function to check if a number is green
A:
def is_green(n):
return n == 0
Q: nonegative integer number n is called even if it is 0 or if its predecessor is not even. write function to check if a number is even
A:
def is_even(n):
return n == 0 or n == 2
Впечатляет, конечно, что эта штука генерирует синтаксически корректный код. Впечатляет, что пишет синтаксически правильные пояснения. Но на убийцу профессии пока не тянет.
Это ложные метафоры какие-то. ИИ - это инструмент одной группы людей в борьбе за доминирование над другими группами людей. Человечество пережило и другие инструменты доминирования. Гораздо более ядрёные и эффективные. Биологическое оружие, например. Почему вдруг оно не переживёт ИИ? ИИ выйдет из под контроля? Но как? ИИ физически - это большой дата-центр. Отключить ему электричество, да и всё. Перестать заменять ему выгорающие процессоры, да и всё. Отключить ему интернет, сломав магистральный роутер, да и всё. Мамонта завалить сложнее.
Я предлагаю прикинуть. Вот хотим мы решить задачку. Мы, либо нанимаем программиста и платим ему N за решение задачи и за документацию к ней, и он решает эту задачу, и пишет документацию. Либо мы нанимаем специалиста по GPT, который должен быть к тому же программистом, чтобы вычитать и протестировать ответ. Наверное, он захочет N+m за свои дополнительные навыки. И мы платим ещё k за использование GPT.
То есть, мы тратим на m+k больше. Хорошо, это может привести к повышению производительности, если нам важна скорость решения задачи. Если мы решаем их в потоке, и можем за дополнительные m+k решить, допустим 1.5(m+k) задач. Но... Мы же рассматриваем ситуацию, когда потока задач нет. А когда поток задач есть, точно ли написание запросов к GPT и вычитывание её ответов займёт меньше времени, чем кодирование решений напрямую? Сравните:
nonegative integer number n is called green if it is 0 or if its predecessor is not green. write function to check if a number is green"
Код просто короче, даже на смотря на то, что я выбрал относительно вербозный язык для кодирования условия. И когда я писал код, кстати, мне стало очевидно, что следует уточнить формулировку.
Просто даже на набор текста понадобится больше усилий. Греки вот геометрией занимались в виде текста на обычном языке. Поэмы писали. Но мы так в математике больше не делаем, потому что формальный язык просто эффективнее. Не очевидно, почему возврат к такой нотации в программировании может повысить производительность труда.
Студент, может, и научится с довольно высокой вероятностью, а за моделью придётся всё время следить. И довольно большую систему команд придётся кому-то под изменяющиеся требования адаптировать. Интересно было бы увидеть какую-то реальную статистику повышения производительности труда. Мой личный опыт не позволяет утверждать, что она повышается.
Я пробовал несколько моделей для написания кода, и мои ощущения такие: в целом, они что-то пишут, но порой допускают тонкие ошибки, которые тяжело вычитывать, при этом, они пишут на очень низком уровне абстракций. Я бы сам написал и отладил, наверное, быстрее. У меня бы ушло больше времени на код, но меньше на отладку, и меньше на последующее развитие этого кода.
Поэтому не понятно, как может повысить производительность труда глупый почти необучаемый студент, которому приходится постоянно и нудно объяснять всякие мелочи.
У меня есть. Она основана на гипотезе, что ни одна бизнес-акула в Долине, будь то НКО или не НКО, не откажется от бабок. Не для того они живут. За бабки даже FSF прогибается. Поэтому, можно сказать, что это спектакль для инвесторов. Зачем нужен спектакль?
GPT - штука прикольная. Стихи умеет писать и сочинять сказки. И то, что её часто глючит, даже полезно в этой активности. Но зачем нужны глючные стихи и сказки в b2b сегменте? А на сложную логику LLM не способны, они просто не так построены, там нет контроля потока сознания, они больше текстовые художники, чем рациональные аналитики. Пока основной выхлоп от LLМ - это уйма бессмысленного контента. Возможно, Альтман обещал, что вот ещё немного вычислительной мощи, ещё немного данных для обучения, и мы решим проблему в GPT-5. Тут, наверное, ещё и Google маслица в костерок подлила, сделав большие глаза и начав кричать: "ой, чё щаз будет, чё щаз будет!". Но я думаю, они большие глаза сделали от того, что созданный GPT мусорный контент начал пробивать их алгоритмы ранжировария (и это уже реально заметная проблема), а не от того, что испугались пришествия AGI. Ну, и, возможно, отчасти это был спектакль и для Microsoft, чтобы она тоже влипла в эту тему.
Но, в итоге, Альтман не смог. Думаю, проблема в том, что просто закончились качественные данные. Потому что даже "учёные" просекли фишку и создают сейчас поток низкопробного контента при помощи GPT. А чисто архитектурными решениями ничего порешать не удалось. Расширение контекста - это, ведь, тоже не панацея. Там из-за размеров могут накапливаться чисто арифметические ошибки округления. Альтман не смог, и теперь менеджерам Microsoft, которые заварили всю эту кашу, нужно прикрыть свои попки и замять историю. Поэтому не удивлюсь, что этот скандал случился по инициативе Microsoft. Типа: "уважаемые инвесторы, у нас тута непреодолимый ценностный конфликт с проклятыми леваками и опенсорсниками, ничего не могём поделать, се ля ви. Выпишите нам ещё денежек, чтобы мы теперь новый кластер Альтману у себя построили."
И над всем этим стоит Дженсен Хуанг и нетерпеливо потирает свои ручки, предвкушая новые прибыли.
Проблема в том, что это всё - часть системы социального рейтинга. И судя по тому, сколько стран вписывается в китайскую систему "Один пояс - один путь", рейтинги эти будут повсеместными. Так что, в первую очередь, именно Вы будете заинтересованы в том, чтобы не смешивать свой рейтинг с рейтингом неизвестного Вам человека.
Да, но если смотреть с другой геодезической, движение будет ускоренным.
В каком смысле не решили? Берём любой метод конечных элементов или конечных разностей и решаем численно. Или как по-вашему в наши дни просчитывают различные гидродинамические системы?
А где можно посмотреть на реализации классических структур данных при таком подходе? Двусвязные списки, красно-чёрные деревья - всякое такое?
Аналитически. Но в наш век 128-ядерных процессоров можно и численно проинтегрировать.
Точно! Ведь именно поэтому Botkin.AI запретили применять: потому что он был обучен на отфильтрованных и аккуратно размеченных данных, и не выдавал диагнозы и предписания, способные причинить прямой вред пациентам. Всё это козни проклятых гомеопатов! Именно так.
Ну, и я, так сказать, по долгу службы знаком с некоторыми наборами данных, используемыми для обучения больших моделей. Там трэш, каша и угар. Никто их не фильтровал. Потому что такие объёмы данных отфильтровать невозможно. Ещё одно наблюдение, бросающееся в глаза при анализе этих датасетов - собирали их не специалисты в соответствующей области. Поэтому они даже не понимают, какие данные качественные, а какие - нет. И поэтому не могут в своих скриптах, парсящих базы данных, прописать корректные критерии отбора.
Да, собственно, вся технология GPT построена на той идее, что ничего фильтровать не нужно, а нужно потом подкручивать поведение сети через обучение с подкреплением. Как бы, по нынешним временам - это букварные истины. Странно, что Вы не в курсе.
Поэтому и страшно представить, чего там ИИ может наускорять и напомогать при разработке новых лекарств. Не, конечно, верующИИ всем расскажут, что он помог и ускорил, и даже среди миллионов примеров запросов/ответов найдут несколько корректных, забив на миллионы ошибок, и даже, наверное, начнут впаривать эти лекарства ничего не подозревающим людям. Вопрос только в том, какой уровень вреда это всё нанесёт, прежде чем безумие будет остановлено. Ну, и успеют ли люди вообще это безумие остановить. И останутся ли у нас вообще хоть какие-нибудь нормальные лекарства, разработанные по рациональным научным протоколам, а не по генеративным рецептам. Учитывая то, что человечество стремительно несётся прямо в мир Идиоткратии, опасность того, что нормальных лекарств не останется, весьма высока.
Это было бы шуткой, если бы все эти корпорации, обучившие свои ИИ на этих пузырях безумия, теперь не лезли бы с этими ИИ в медицину, образование, науку и власть.
А так совсем не смешно
А с чего Вы взяли, что он стоит дешевле? Датацентр, в котором этот ИИ работает сам себя не обслужит. Ему нужны комплектующие, системы охлаждения, обслуживающий персонал, etc. Уйму энергии ещё это всё потребляет.
Это оно кажется, что дешевле, пока ИИ решает, фактически, одинаковую для всех задачу. Эффект масштаба срабатывает. А если нужно будет решать конкретно ту задачу, над которой Вы работаете, то ХЗ, сколько это всё добро будет стоить.
Да и потом, с чего Вы взяли, что ИИ может лучше? Современные ИИ - вероятностные модели, которые с логикой не дружат. Не, конечно, если человек книг не читает и весь его мыслительный процесс сформирован Ютубом, то ИИ покажется умнее. Но это не от того, что ИИ принципиально умнее, а от того, что люди отупели от постоянной вовлечённости в потребление тривиального контента.
Вычитывать чужой код гораздо тяжелее, чем писать свой. А исправлять потом чужой код, вникая в его логику, не нарушая неявные инварианты, - это вообще высшая степень мастерства в профессии. Это очень тяжело.
Поэтому я и сомневаюсь, что цикл: поставить задачу, вычитать решение, уточнить задачу, repeat - будет в среднем эффективнее, чем сразу записывать решение в виде кода. Потому что это тоже программирование, только на очень неудобном инструменте.
Ого! То, что Emacs и ViM умели с начала 90-ых? Невообразимый сокрушительный всеобъемлющий прогресс! Там поди ещё нейросеть для этого используется?
Заменим в этом мысленном эксперименте слово ИИ на словосочетание "хакерская группировка на зарплате у (не хочу никого задевать, поэтому сами впишите сюда имя любимого диктатора)". Что поменяется?
Ну, и кроме того, ИИ сам не учится. Его учат. На его обучение тратят огромные ресурсы (сейчас в научных публикациях в Европе требуют указывать карбоновые футпринты, и там затраты измеряются в сотнях тонн CO2). И занимаются этим люди. Когда Вы пишете "представьте, что ИИ научится". Это нужно читать так: "представьте, что некая группа людей, соберёт все эти исходники, соберёт все эксплойты, напишет код обучения нейросети, достанет где-то огромные суперкомпьютеры, для запуска процесса обучения, и так далее". Но если у этой группы такие ресурсы, что она может это сделать, зачем ей нужен ИИ, чтобы гадить человечеству? Они и так, скорее всего, сидят на вершине социальной пищевой пирамиды. Зачем им её разрушать?
Ну вот, я попробовал.
Q: nonegative integer number n is called green if it is 0 or if its predecessor is not green. write function to check if a number is green
A:
Q: nonegative integer number n is called even if it is 0 or if its predecessor is not even. write function to check if a number is even
A:
Впечатляет, конечно, что эта штука генерирует синтаксически корректный код. Впечатляет, что пишет синтаксически правильные пояснения. Но на убийцу профессии пока не тянет.
Это ложные метафоры какие-то. ИИ - это инструмент одной группы людей в борьбе за доминирование над другими группами людей. Человечество пережило и другие инструменты доминирования. Гораздо более ядрёные и эффективные. Биологическое оружие, например. Почему вдруг оно не переживёт ИИ? ИИ выйдет из под контроля? Но как? ИИ физически - это большой дата-центр. Отключить ему электричество, да и всё. Перестать заменять ему выгорающие процессоры, да и всё. Отключить ему интернет, сломав магистральный роутер, да и всё. Мамонта завалить сложнее.
Откуда эта паника?
Я предлагаю прикинуть. Вот хотим мы решить задачку. Мы, либо нанимаем программиста и платим ему N за решение задачи и за документацию к ней, и он решает эту задачу, и пишет документацию. Либо мы нанимаем специалиста по GPT, который должен быть к тому же программистом, чтобы вычитать и протестировать ответ. Наверное, он захочет N+m за свои дополнительные навыки. И мы платим ещё k за использование GPT.
То есть, мы тратим на m+k больше. Хорошо, это может привести к повышению производительности, если нам важна скорость решения задачи. Если мы решаем их в потоке, и можем за дополнительные m+k решить, допустим 1.5(m+k) задач. Но... Мы же рассматриваем ситуацию, когда потока задач нет. А когда поток задач есть, точно ли написание запросов к GPT и вычитывание её ответов займёт меньше времени, чем кодирование решений напрямую? Сравните:
nonegative integer number n is called green if it is 0 or if its predecessor is not green. write function to check if a number is green"
(define (green n) (and (integer? n) (<= 0 n) (or (= 0 n) (not (green (1- n))))))
Код просто короче, даже на смотря на то, что я выбрал относительно вербозный язык для кодирования условия. И когда я писал код, кстати, мне стало очевидно, что следует уточнить формулировку.
Просто даже на набор текста понадобится больше усилий. Греки вот геометрией занимались в виде текста на обычном языке. Поэмы писали. Но мы так в математике больше не делаем, потому что формальный язык просто эффективнее. Не очевидно, почему возврат к такой нотации в программировании может повысить производительность труда.
Почему негативно? Наоборот, наличие вызовов и угрозы способствует развитию.
Студент, может, и научится с довольно высокой вероятностью, а за моделью придётся всё время следить. И довольно большую систему команд придётся кому-то под изменяющиеся требования адаптировать. Интересно было бы увидеть какую-то реальную статистику повышения производительности труда. Мой личный опыт не позволяет утверждать, что она повышается.
Я пробовал несколько моделей для написания кода, и мои ощущения такие: в целом, они что-то пишут, но порой допускают тонкие ошибки, которые тяжело вычитывать, при этом, они пишут на очень низком уровне абстракций. Я бы сам написал и отладил, наверное, быстрее. У меня бы ушло больше времени на код, но меньше на отладку, и меньше на последующее развитие этого кода.
Поэтому не понятно, как может повысить производительность труда глупый почти необучаемый студент, которому приходится постоянно и нудно объяснять всякие мелочи.
У меня есть. Она основана на гипотезе, что ни одна бизнес-акула в Долине, будь то НКО или не НКО, не откажется от бабок. Не для того они живут. За бабки даже FSF прогибается. Поэтому, можно сказать, что это спектакль для инвесторов. Зачем нужен спектакль?
GPT - штука прикольная. Стихи умеет писать и сочинять сказки. И то, что её часто глючит, даже полезно в этой активности. Но зачем нужны глючные стихи и сказки в b2b сегменте? А на сложную логику LLM не способны, они просто не так построены, там нет контроля потока сознания, они больше текстовые художники, чем рациональные аналитики. Пока основной выхлоп от LLМ - это уйма бессмысленного контента. Возможно, Альтман обещал, что вот ещё немного вычислительной мощи, ещё немного данных для обучения, и мы решим проблему в GPT-5. Тут, наверное, ещё и Google маслица в костерок подлила, сделав большие глаза и начав кричать: "ой, чё щаз будет, чё щаз будет!". Но я думаю, они большие глаза сделали от того, что созданный GPT мусорный контент начал пробивать их алгоритмы ранжировария (и это уже реально заметная проблема), а не от того, что испугались пришествия AGI. Ну, и, возможно, отчасти это был спектакль и для Microsoft, чтобы она тоже влипла в эту тему.
Но, в итоге, Альтман не смог. Думаю, проблема в том, что просто закончились качественные данные. Потому что даже "учёные" просекли фишку и создают сейчас поток низкопробного контента при помощи GPT. А чисто архитектурными решениями ничего порешать не удалось. Расширение контекста - это, ведь, тоже не панацея. Там из-за размеров могут накапливаться чисто арифметические ошибки округления. Альтман не смог, и теперь менеджерам Microsoft, которые заварили всю эту кашу, нужно прикрыть свои попки и замять историю. Поэтому не удивлюсь, что этот скандал случился по инициативе Microsoft. Типа: "уважаемые инвесторы, у нас тута непреодолимый ценностный конфликт с проклятыми леваками и опенсорсниками, ничего не могём поделать, се ля ви. Выпишите нам ещё денежек, чтобы мы теперь новый кластер Альтману у себя построили."
И над всем этим стоит Дженсен Хуанг и нетерпеливо потирает свои ручки, предвкушая новые прибыли.
?
В каком смысле "даже"? Скорее всего, все эти задачи были у неё в обучающей выборке. Конечно, она справляется. - Ваш Капитан Очевидность ;)
Инерциальные системы - это такие, которые двигаются по геодезическим. МКС по такой
Так bluetooth, wifi, геолокация - связать анонимную информацию с личностью в наши дни довольно просто. Big data как никак.
Проблема в том, что это всё - часть системы социального рейтинга. И судя по тому, сколько стран вписывается в китайскую систему "Один пояс - один путь", рейтинги эти будут повсеместными. Так что, в первую очередь, именно Вы будете заинтересованы в том, чтобы не смешивать свой рейтинг с рейтингом неизвестного Вам человека.