Вообще, ситуация становится гораздо проще для понимания, если исключить все buzzword-ы вроде "нейросетей", "обучения" и философские категории вроде "интеллект" и "сознание"
Сам нейрогенератор - обычная программа, исполняемая на абстрактной LBA-машине - с ним все понятно. "Обучатель" нейрогенераторов - это также программа для LBA-машины, принимающая на вход всю обучающую выборку, и выдающая на выход код программы нейрогенератора для такой же LBA-машины
Соответственно формальная постановка вопроса - для любого конкретного алгоритма, т.е. исходного кода "обучателя", существует ли такое множество входов для генерируемого им нейрогенератора, что результат в выводе нейрогенератора всегда будет неверным, ДЛЯ ЛЮБОГО из потенциально бесконечных входов самого обучателя
Ответ очевидно "да" - из соответствующих теорем теории вычислений, в частности из-за разрешимости проблемы остановки для LBA-машины (не путать потенциально сколько-угодно большую LBA-машину, с актуально-бесконечной машиной Тьюринга, для которой не разрешимо - это принциальный момент)
А из ответа "да" следует, что существует бесконечно много задач/теорем, которые нейрогенератор никогда не сможет верно решить, ни при одной входной обучающей выборке какого угодно размера из бесконечного их числа, при заданном фиксированном "обучателе верхнего уровня"
А из этого очевидно следует, что все конструкты buzzword-ы вокруг нейрогенераторов - это просто огромный слой синтаксических и семантических сахаров. А по сути все определяется детерминированным алгоритмом "верхнего обучателя", в который жестко зашит весь "интеллект" остальной цепочки слоев
Вы абсолютно правы, разницы никакой принципиальной нет - с этим спора и не было
Только за счёт более продвинутых алгоритмов обучения и сбора данных
А вот здесь-то как раз принципиально неразрешимая проблема, и кроется она в одном слове - алгоритм, т.е. детерминистический алгоритм, а вместе с ним и все ограничения из теории вычислений
Этот "продвинутый" алгоритм в конечном итоге является программой для LBA-автомата (т.к. все физически осуществимое вычислительное оборудование не бесконечно), а значит, имея LBA-машину побольше, можно не только вычислять/доказывать/решать все то же, что и конечный конкретный нейрогенератор, причем на обычной логике первого порядке без всяких "магических" эмержентных/нейронных свойств, но и еще строго доказать и перечислить список задач, которые не то что конкретный нейрогенератор никогда не сможет решить, но и даже любой "обучатель" никогда не сможет "обучить"
Единственный способ выбраться из этого замкнутого круга, что для естественного, что для икуственного интеллекта - это вообще не иметь ограничивающего детерминированного алгоритма обучения на "верхнем уровне", а предоставить окружающей среде непосредственно менять физическую структуру интеллектуального агента, и тем самым возможно производя его обучение
Разница только что базовый вычислительный элемент мозга устроен ощутимо сложнее обычной ReLu-шки + ячейки коры используют предиктивное кодирование, что позволяет учится на лету
И именно это как раз и делает разницу принципиальной
Нейрогенератор это строго детерминированная* программа, которая никогда не сможет решить задачи, не заложенные в него изначально. Генератор нейрогенераторов aka "обучатель" тоже детерминированная программа, и с произвольно большой выборкой для "обучения" также есть список задач, которым он никогда не сможет научиться, так как сверху все ограничено фиксированными гиперпараметрами. Если сделать генератор генераторов, то у него уже будет свой детерминированный* алгоритм и свои фиксированные гиперпараметры
То есть имя в распоряжении сколько угодно мощный компьютер, можно написать программу, которая для любой конфигурации нейрогенераторов, будет приводить задачу, которую тот гарантированно неправильно решит - т.е. нейрогенератор это просто склад которых решений, пусть и ОЧЕНЬ большой В случае естественного интеллекта (мозга) или настоящего искуственного интеллекта (например, на мемристорах в ближайшем будущем, а не нейрогенераторов), алгоритмически невозможно определить, даже имея бесконечно мощный компьютер, какую задачу он сможет решить, а какую нет
И дело не в какой-то "магии" или особенностях мозга, в том что настоящий интеллект, естественный или искуственный, обучается напрямую окружающего средой. Все же нейрогенераторы, напротив, "обучаются" фиксированным образом - даже если данных окружающей среды было бы теоретически достаточно для решения задачи, то все равно все упирается в том, как детерминированный* "обучатель верхнего уровня" эти данные распространит
* Хотя алгоритмы используют генератор случайных чисел, без потери общности, можно считать, что случайные биты передаются как часть входа
В целом с Вашими замечаниями можно согласиться, кроме:
1) Qwen и llama не видели размеченные человеком примеры по математике? В оригинальной статье все-таки речь о дообучении без размеченных примеров. Модель pi0 явно обучалась на массе таких примеров. В термине AZR терм zero ведь применим только к доообучению
2) Обратная связь подкрепления по указанной Вами формуле используется для дообучения, уже после того как решение найдено как положено, найдено примитивно или не найдено вообще. Само же решение подбирается банальным brute force-ом. Но если нашли за 1 попытку, или не нашли за 100500 - то это отрицательная награда в RL
Буду признателен, если сопроводите референсами из статьи, спасибо!
В сухом остатке: берется исходный Qwen, генерируется текст задачи, после чего обычным brute-force-ом по кругу подбирается решение, до тех пор пока ответ не совпадет - после чего веса перестраиваются с учетом сгенерированной задачи и решения
Как генератор базы ответов на огромное количество задач, которые только удалось придумать - это действительно круто. Имея базу таких решенных задач, можно сразу брать из нее ответ. А если бы все это еще огранизовывалось в виде публичной библиотечки, в которой по сути собраны готовые функции для решения тонны задач - запускай и пользуйся
Вопрос только, почему это считается интеллектом? Это же просто оптимизированный brute-force, но концептуально никакого отличия нет
Более того, если делать перебор "умным" способом, т.е. не посимвольно, а кусками валидных AST со списком заранее заготовленных библиотечных функций, то большое количество таких сгенерированных программ будут решением какой-то задачи
По сравнению с серьезным формальным инструментарием для валидации программ, доказательства теорем и т.д. - все это выглядит абсолютным баловством на хайпе нейрогенераторов
Ключевой вопрос, что конкретно понимается под термином ИИ?
Если настоящий ИИ, такой как Z3 solver, оптимизатор clang/llvm, предсказатель ветвлений в процессоре intel - то здесь очень серьезный прогресс. Еще лет 10-15 назад мануальное вмешательство могло дать существенный прирост качества результата, то сейчас почти в 100% случаев ИИ сделает лучше
Если же под термином ИИ имеются в виду нейропомойки, то и обсуждать нечего - понятно что это скам. Инвесторам нужно возвращать средства, а их вложено на порядки (!) больше, чем план формируемой выручки, поэтому для отбития средств в ход идут любые средства - и черный маркетинг, и конечно же получение доступа к решениям и ответам на бенчмарки, чтобы сделать вид, что нейропомойки якобы умеют думать🤣
MS Edge был и остается незаменимым браузером для слабенького и/или устаревшего железа, ни никакого другого разумного альтернативного варианта для ноута 15-летней давности особо нет
На старом ноутбуке с 1GB оперативки без disk swap, MS Edge легко тянет несколько открытых вкладок, даже относительно тяжеловесных, вроде Telegram или Skype - в то время как другие браузеры, даже будучи единственным активным пользовательским приложением в системе, начинают жаловаться на нехватку памяти и почти сразу обрушивать вкладки
Не уверен как это именно устроено внутри MS Edge, но по всей видимости он как-то очень быстро умеет "замораживать" вкладки в таком случае, поскольку при переключении явно заметен эффект, что вкладка загружается заново - но комфорту работы это не мешает, да чуть медленее, зато очень стабильно без крашей вкладок
Идея для размышления для адептов LLM - а почему не считать github.com новым сильным искусственным интеллектом? Там расположены большие объемы качественного и рабочего программного кода, библиотек, и в отличие от результатов LLM-помоек, все еще компилируется и работает!
Еще google.com - тоже сильный искусственный интеллект, ведь он может ответить на большое количество вопросов, причем без галлюцинаций. А stackoverflow.com - этот вообще умеет разрабатывать на множестве языков программирования, исправлять ошибки компиляции и исполнения, советовать best practices, ревьюить код и даже решать задачи по computer science!
Что-то не складывается, да? А вот когда все вышеперечисленное заскрапили в offline-базу и прикрутили к ней поиск на нативном языке, то внезапно оказалось, что пользователи наделяют наличием интеллекта не саму петабайтную базу знаний с заготовленными ответами, а галлюционирующий поисковик по этой базе знаний
>ИИ пройдёт авторитетный IQ-тест MENSA летом 2025 года, а к 2026 году ИИ сможет сам создавать другие нейросети
Нет никаких сомнений, чо ИИ сможет решать всякие сложные задачи, синтезровать программные и в будущем аппаратные решения. Только большой вопрос, появится ли хотя бы какой-то минимальный ИИ к 2025 году? Alphacode что-то заглох, по крайней мере ничего не публикуют уже год, что грустно, а других известных ИИ что-то не видно в публичном пространстве :(
Жаль что тему с ИИ как будто бы не развивают (по крайней мере публично), а все информационное поле завалено бесполезными LLM-бредогенераторами, которые от ИИ на порядок дальше, чем банальный поисковый алгоритм Гугла, оптимизатор в LLVM или предсказатель в процессоре - вот где интеллект, а не тупая хайповая болталка на около-цифровые темы
За работу мозга не скажу, насколько мне известно, до сих пор не существует общепризнанной непротиворечивой модели его работы. Дискуссии вида естественный/искусственный интеллект это заведомо неконструктивно, холиварно и не особо интересно.
Вот что действительно интересно, это настоящий искусственный интеллект, или лучше абстрактный интеллект. Идея примерно следующая - по аналогии как в физике энтропия в какой-то мере характеризует "качество" энергии для ее последующего использования, так же в мире информации и формальной логики есть аналогичная характеристика - к примеру, конкретная тройка чисел a^n+b^n != c^n - это "низкокачественная" информация, а вот запись доказательства теоремы в языке формальной логики - "высококачественная" информация.
Основное качество интеллекта - умение по наличию входной "низкокачественной" информации получать "высококачественную", то есть в какой-то мере более сжатую, и условно говоря, отражающую реальные взаимосвязи в логическом (математика) или естественном (физика).
При таком определении всякие ИНСы и *GPT не только не являются интеллектом, но наоборот - строго являются его противоположностью. Имея на входе эксабайты очень "высококачественной" информации, взятой из научных статей, форумов с решениями задач, готовых миллиардов/триллионов строк качественного кода и так далее - ИНС способна генерировать только более "низкокачественную" информацию, но никогда не более "высококачественную".
За счет огромного входа для обучения и очень высокого качества информации в нем, падение качества на выходе ИНС недостаточно, чтобы опуститься до уровня рандомного шума, поэтому выход получается осмысленным, и иногда полезным. Однако повышение качества информации на выходе ИНС по сравнению с ее входом чисто физически невозможно, т.е. ИНС никогда не сможет решать задачи более сложные, чем уже были в обучающей выборке. В то время как для настоящего искусственного интеллекта - это как раз и есть основная работа
Невероятный фейспалм каждый раз, когда термины *искусственный интеллект* (ИИ) и *искусственные нейронные сети* (ИНС) используются как взаимозаменяемые вещи
ИНС в принципе не способны на решение инженерных, научных и технических задач, хоть сколько квадриллионов нейронов в них засунуть, поскольку являются просто сортом экстраполяции по набору обучающей выборки. В областях генерации картинок или нетехнического текста это работает великолепно, поскольку эти области не требуют точности и формализма
В случае научно-технических задач подход принципиально иной. Нельзя взять набор формул из формальной теории и по их внешнему виду наэкстраполировать новых знаний, просто смешивая с определенными весами и добавляя случайные символы. Примерно так же, как невозможно доказать теорему Ферма или гипотезу Коллатца, просто перебирая и подставляя в них числа. ИНС любого размера для этих целей по определению бесполезен
ИИ в научно-технической сфере - это в сторону автоматического доказательства теорем, формальной верификации и программ высшего порядка, которые умеют генерировать другие программы и/или проверять их свойства (с учетом ограничения теоремы Райса) и так далее
Есть много интересных достижений ИИ в этой сфере, которые можно осветить, но информационное поле забито бесполезными ИНСами, генерирующими котиков, или переформулирующими готовые ответы из Google или StackOverflow
Какие уроки я извлёк из создания расширения VSCode с помощью GPT-4
То, что в OpenSource находятся настолько гигантские залежи петабайтов кода, что большинство несложных задач, которые можно придумать за 5 минут и реализовать на популярном языке программирования, уже давно написаны?
OpenAI реализовали отличный мультимодальный поисковик, но зачем-то испортили его бесполезным фасадом в виде prompta и ответа на "человеческом языке", вместо того чтобы просто предоставлять качественную выдачу оригинальных URL-ов без каких-либо галлюцинаций и пост-обработки
В этом плане *GPT только очерняют понятие ИИ, поскольку как раз является худшим его представителем - глючным недо-поисковиком по эксабайтам существующей информации, но портящий ее галлюцинациями, даже в примитивной задаче сложения пары чисел
В то же время есть серьезные профильные ИИ-проекты, за которыми действительно будущее AI-разработки, например AlphaCode от DeepMind, который успешно решает немаленький процент олимпиадных задач, и при этом натренирован на выборке в десятках мегабайт (которую можно к тому же загрузить и посмотреть), то есть он действительно в какой-то мере понимает задачу
В отличие от *GPT-помоек, которые просто роются в эксабайтах готовой информации, но никак ее не понимают, а просто подбирают следующие токен вероятностным образом. Жаль, что хайповый продукт с перенасыщенным бюджетом смещает фокус с настоящих AI-разработок в баловство
Нет сомнений, что будущее за AI, в том числе в инженерии и науке, включая разработку, но этот AI очевидно будет (уже есть?) родственником условного AlphaCode или чего-то подобного, а не захайпленной помойки
Сравнения естественного и искусственного интеллекта, к сожалению или счастью, есть очень неконструктивная тема для дискуссии, в которой легко скатиться в псевдо-философию. В конце концов и немного упрощая, все во вселенной состоит плюс/минус из атомов, а значит любой объект как сборник атомов потенциально может обладать и интеллектом, и сознанием - хоть GPT, хотя булыжник валяющийся на дороге. Обсуждать такое для технического ресурса несерьезно, поэтому в исходном комментарии я целенаправленно удержался от любых утверждений о возможностях и сравнении ИИ и мозга
Отличий от огромной поисковой машины, точнее от поисковой машины+авторефератора, так обнаружить не удалось. Тот же пример описания шутки с телефоном и VGA-кабелем, элементарно ищется в Твиттере за историю (разумеется старую историю, когда GPT-3 еще даже в помине не было)
А вообще зачем о чем-то подобном спорить. Лучше пользоваться следующим алгоритмом: 1) Возьмите какой-нибудь кейс из обычной жизни, и придумайте на его основе какую-нибудь несложную, но не примитивную, математическую или физическую задачку 2) Методом аккуратного гугления/яндексования проверьте, что подобная задачка действительно уникальная, иначе вернуться к пункту 1 3) Попросить решение задачи у GPT и проанализировать ответ 4) Методом аккуратного гугления/яндексования проверьте, вам предоставили ответ на какую-то задачу, которая относительно похожа по тексту, но совершенно иная по смыслу 5) Повторить начиная с пункта 1, собирая статистику* для получения или опровержения статистической гипотезы о возможностях ИИ по решению принципиально новых задач
*Как мы помним из матстата, число испытаний необходимо утвердить по проведения эксперимента, чтобы избежать p-hacking-а по вкусу
Забавно конечно наблюдать, как даже вроде бы технически-грамотные инженеры ищут "интеллект" у продвинутой поисковой системы - хотя в принципе ничего нового, в каждую эпоху свои когнитивные искажения
Ответ на механизм "интеллекта" gpt-подобных систем очень простой: люди просто забывают, насколько огромен интернет, и насколько на самом деле плоховато работают классические поисковики. По состояния на 2022ой год, как указывают источники, это около 90 зеттабайт, то есть порядка 9*10^22 байт
На самом деле в интернете обсуждено и написано так много, что гораздо сложнее придумать что-то новое, что не было обсуждено. Школьники и студенты на каждый чих выкладывают задачи с просьбой помочь их решить. Диванные философы регулярно обсуждают вопросы природы сознания, сравнения работы мозга и ИИ и так далее
Единственное что делают gpt-подобные системы - это очень хороший поиск по зеттабайтам информации и реферирование/перефразирование текстов так, чтобы цитата из ответа не искалась дословным поиском (в кавычках) в поисковой системе
Не скажу за гуманитарные и общефилософские области, но при общении с gpt в технических областях всегда одно из двух - либо для ответа бота можно найти один или несколько однозначных источников, откуда ответ скомпонован с небольшими модификациями, или же в ответе бота будет откровенная рандомная галлюцинация
Арифмометр считал быстрее человека еще несколько веков назад, а чат-боты, с которыми можно поговорить о сути бытия, вполне себе были уже в 90ые годы. Здесь более продвинутый поисковик и авто-рефератор, ну ок, круто
Спекулятивное выполнение и теневые регистры же. Вас же не удивляет, что обе ветки if-else выполняются, а когда результат условия становится известен, выбирается только один путь. Спекуляций видимых за MMU/IOMMU видимо все-таки не существует по определению (Кроме хитрых lockless алгоритмов, но там другое - алгоритм умеет rollback-ить определенные жестко фиксированные случаи, которые сам же и спекулирует :)
В каком-нибудь таком случае вполне себе изменит https://godbolt.org/z/brn7brjoE , плюс все __sync_* функции все равно форсированно приводят указатель к volatile, благодаря чему оно верно и компилируется. Условный TBB от Intel тоже вполне себе использует volatile в многопоточном коде Search · volatile (github.com)
В общем, не вижу смысла в дальнейшей дискуссии. Исходный тезис был "multithreading и многопоточность несовместимы", а это не верно. Показать примеры из промышленного кода я не могу по NDA, а сидеть выдумывать аналогичные простые примеры - не вижу смысла
Чтобы подвести bottom line - смысл volatile (не технически, а скорее философски) примерно такой же, как у std::launder - надавать компилятору по рукам, где в высокооптимизированном (и скорее всего массивно-многопоточном) highload-коде проведены ручные микрооптимизации под целевую платформу, и надо отвадить компилятор от неверной кодогенерации :)
Atomic конечно соберется с любым процессором, но может оказаться, что там всадили lock - в каких-то случаях это плюс, но в каких-то лучше пусть не скомпилируется, зато это повод явно разработать lockless-версию для целевой платформы, и не нарваться на lock
Хотя вы конечно скажите `static_assert(std::atomic<T>::is_always_lock_free == true, "LOCK DETECTED ALARM")` - в общем, на вкус, на цвет, и на грануларность контроля :)
Я особенно ничего доказывать не хочу, мне просто слишком резанула глаз цитата про единственное исключение - все-таки исключение-то не единственное, и вполне себе можно сочетать volatile и multithreading при должно сноровке :)
Никогда, слышите, никогда не используйте volatile в одном предложении с multithreading. Единственное исключение: предыдущее предложение.
А так спору нет, более того, вне экзотических случаев, лучше вообще использовать готовенький TBB, решающий большинство проблем подо все адекватные платформы :)
Вообще, ситуация становится гораздо проще для понимания, если исключить все buzzword-ы вроде "нейросетей", "обучения" и философские категории вроде "интеллект" и "сознание"
Сам нейрогенератор - обычная программа, исполняемая на абстрактной LBA-машине - с ним все понятно. "Обучатель" нейрогенераторов - это также программа для LBA-машины, принимающая на вход всю обучающую выборку, и выдающая на выход код программы нейрогенератора для такой же LBA-машины
Соответственно формальная постановка вопроса - для любого конкретного алгоритма, т.е. исходного кода "обучателя", существует ли такое множество входов для генерируемого им нейрогенератора, что результат в выводе нейрогенератора всегда будет неверным, ДЛЯ ЛЮБОГО из потенциально бесконечных входов самого обучателя
Ответ очевидно "да" - из соответствующих теорем теории вычислений, в частности из-за разрешимости проблемы остановки для LBA-машины (не путать потенциально сколько-угодно большую LBA-машину, с актуально-бесконечной машиной Тьюринга, для которой не разрешимо - это принциальный момент)
А из ответа "да" следует, что существует бесконечно много задач/теорем, которые нейрогенератор никогда не сможет верно решить, ни при одной входной обучающей выборке какого угодно размера из бесконечного их числа, при заданном фиксированном "обучателе верхнего уровня"
А из этого очевидно следует, что все конструкты buzzword-ы вокруг нейрогенераторов - это просто огромный слой синтаксических и семантических сахаров. А по сути все определяется детерминированным алгоритмом "верхнего обучателя", в который жестко зашит весь "интеллект" остальной цепочки слоев
Вы абсолютно правы, разницы никакой принципиальной нет - с этим спора и не было
А вот здесь-то как раз принципиально неразрешимая проблема, и кроется она в одном слове - алгоритм, т.е. детерминистический алгоритм, а вместе с ним и все ограничения из теории вычислений
Этот "продвинутый" алгоритм в конечном итоге является программой для LBA-автомата (т.к. все физически осуществимое вычислительное оборудование не бесконечно), а значит, имея LBA-машину побольше, можно не только вычислять/доказывать/решать все то же, что и конечный конкретный нейрогенератор, причем на обычной логике первого порядке без всяких "магических" эмержентных/нейронных свойств, но и еще строго доказать и перечислить список задач, которые не то что конкретный нейрогенератор никогда не сможет решить, но и даже любой "обучатель" никогда не сможет "обучить"
Единственный способ выбраться из этого замкнутого круга, что для естественного, что для икуственного интеллекта - это вообще не иметь ограничивающего детерминированного алгоритма обучения на "верхнем уровне", а предоставить окружающей среде непосредственно менять физическую структуру интеллектуального агента, и тем самым возможно производя его обучение
Этим все сказано:
С таким уровнем верификации можно что угодно анонсировать и заявлять - это же просто маркетологический трюк для продвижения их сервиса
Полгода назад, в похожей ситуации, оказалось что все задачи с решениями были заранее слиты https://www.reddit.com/r/LocalLLaMA/comments/1i50lxx/openai_has_access_to_the_frontiermath_dataset_the/
Скорее всего, и сейчас ситуация ровно такая же. А сервис нужно продавать - вот и появляются громкие новости
И именно это как раз и делает разницу принципиальной
Нейрогенератор это строго детерминированная* программа, которая никогда не сможет решить задачи, не заложенные в него изначально. Генератор нейрогенераторов aka "обучатель" тоже детерминированная программа, и с произвольно большой выборкой для "обучения" также есть список задач, которым он никогда не сможет научиться, так как сверху все ограничено фиксированными гиперпараметрами. Если сделать генератор генераторов, то у него уже будет свой детерминированный* алгоритм и свои фиксированные гиперпараметры
То есть имя в распоряжении сколько угодно мощный компьютер, можно написать программу, которая для любой конфигурации нейрогенераторов, будет приводить задачу, которую тот гарантированно неправильно решит - т.е. нейрогенератор это просто склад которых решений, пусть и ОЧЕНЬ большой
В случае естественного интеллекта (мозга) или настоящего искуственного интеллекта (например, на мемристорах в ближайшем будущем, а не нейрогенераторов), алгоритмически невозможно определить, даже имея бесконечно мощный компьютер, какую задачу он сможет решить, а какую нет
И дело не в какой-то "магии" или особенностях мозга, в том что настоящий интеллект, естественный или искуственный, обучается напрямую окружающего средой. Все же нейрогенераторы, напротив, "обучаются" фиксированным образом - даже если данных окружающей среды было бы теоретически достаточно для решения задачи, то все равно все упирается в том, как детерминированный* "обучатель верхнего уровня" эти данные распространит
* Хотя алгоритмы используют генератор случайных чисел, без потери общности, можно считать, что случайные биты передаются как часть входа
В целом с Вашими замечаниями можно согласиться, кроме:
1) Qwen и llama не видели размеченные человеком примеры по математике? В оригинальной статье все-таки речь о дообучении без размеченных примеров. Модель pi0 явно обучалась на массе таких примеров. В термине AZR терм zero ведь применим только к доообучению
2) Обратная связь подкрепления по указанной Вами формуле используется для дообучения, уже после того как решение найдено как положено, найдено примитивно или не найдено вообще. Само же решение подбирается банальным brute force-ом. Но если нашли за 1 попытку, или не нашли за 100500 - то это отрицательная награда в RL
Буду признателен, если сопроводите референсами из статьи, спасибо!
В сухом остатке: берется исходный Qwen, генерируется текст задачи, после чего обычным brute-force-ом по кругу подбирается решение, до тех пор пока ответ не совпадет - после чего веса перестраиваются с учетом сгенерированной задачи и решения
Как генератор базы ответов на огромное количество задач, которые только удалось придумать - это действительно круто. Имея базу таких решенных задач, можно сразу брать из нее ответ. А если бы все это еще огранизовывалось в виде публичной библиотечки, в которой по сути собраны готовые функции для решения тонны задач - запускай и пользуйся
Вопрос только, почему это считается интеллектом? Это же просто оптимизированный brute-force, но концептуально никакого отличия нет
Более того, если делать перебор "умным" способом, т.е. не посимвольно, а кусками валидных AST со списком заранее заготовленных библиотечных функций, то большое количество таких сгенерированных программ будут решением какой-то задачи
По сравнению с серьезным формальным инструментарием для валидации программ, доказательства теорем и т.д. - все это выглядит абсолютным баловством на хайпе нейрогенераторов
Ключевой вопрос, что конкретно понимается под термином ИИ?
Если настоящий ИИ, такой как Z3 solver, оптимизатор clang/llvm, предсказатель ветвлений в процессоре intel - то здесь очень серьезный прогресс. Еще лет 10-15 назад мануальное вмешательство могло дать существенный прирост качества результата, то сейчас почти в 100% случаев ИИ сделает лучше
Если же под термином ИИ имеются в виду нейропомойки, то и обсуждать нечего - понятно что это скам. Инвесторам нужно возвращать средства, а их вложено на порядки (!) больше, чем план формируемой выручки, поэтому для отбития средств в ход идут любые средства - и черный маркетинг, и конечно же получение доступа к решениям и ответам на бенчмарки, чтобы сделать вид, что нейропомойки якобы умеют думать🤣
https://www.reddit.com/r/LocalLLaMA/comments/1i50lxx/openai_has_access_to_the_frontiermath_dataset_the/
MS Edge был и остается незаменимым браузером для слабенького и/или устаревшего железа, ни никакого другого разумного альтернативного варианта для ноута 15-летней давности особо нет
На старом ноутбуке с 1GB оперативки без disk swap, MS Edge легко тянет несколько открытых вкладок, даже относительно тяжеловесных, вроде Telegram или Skype - в то время как другие браузеры, даже будучи единственным активным пользовательским приложением в системе, начинают жаловаться на нехватку памяти и почти сразу обрушивать вкладки
Не уверен как это именно устроено внутри MS Edge, но по всей видимости он как-то очень быстро умеет "замораживать" вкладки в таком случае, поскольку при переключении явно заметен эффект, что вкладка загружается заново - но комфорту работы это не мешает, да чуть медленее, зато очень стабильно без крашей вкладок
Идея для размышления для адептов LLM - а почему не считать github.com новым сильным искусственным интеллектом? Там расположены большие объемы качественного и рабочего программного кода, библиотек, и в отличие от результатов LLM-помоек, все еще компилируется и работает!
Еще google.com - тоже сильный искусственный интеллект, ведь он может ответить на большое количество вопросов, причем без галлюцинаций. А stackoverflow.com - этот вообще умеет разрабатывать на множестве языков программирования, исправлять ошибки компиляции и исполнения, советовать best practices, ревьюить код и даже решать задачи по computer science!
Что-то не складывается, да? А вот когда все вышеперечисленное заскрапили в offline-базу и прикрутили к ней поиск на нативном языке, то внезапно оказалось, что пользователи наделяют наличием интеллекта не саму петабайтную базу знаний с заготовленными ответами, а галлюционирующий поисковик по этой базе знаний
>ИИ пройдёт авторитетный IQ-тест MENSA летом 2025 года, а к 2026 году ИИ сможет сам создавать другие нейросети
Нет никаких сомнений, чо ИИ сможет решать всякие сложные задачи, синтезровать программные и в будущем аппаратные решения. Только большой вопрос, появится ли хотя бы какой-то минимальный ИИ к 2025 году? Alphacode что-то заглох, по крайней мере ничего не публикуют уже год, что грустно, а других известных ИИ что-то не видно в публичном пространстве :(
Жаль что тему с ИИ как будто бы не развивают (по крайней мере публично), а все информационное поле завалено бесполезными LLM-бредогенераторами, которые от ИИ на порядок дальше, чем банальный поисковый алгоритм Гугла, оптимизатор в LLVM или предсказатель в процессоре - вот где интеллект, а не тупая хайповая болталка на около-цифровые темы
За работу мозга не скажу, насколько мне известно, до сих пор не существует общепризнанной непротиворечивой модели его работы. Дискуссии вида естественный/искусственный интеллект это заведомо неконструктивно, холиварно и не особо интересно.
Вот что действительно интересно, это настоящий искусственный интеллект, или лучше абстрактный интеллект. Идея примерно следующая - по аналогии как в физике энтропия в какой-то мере характеризует "качество" энергии для ее последующего использования, так же в мире информации и формальной логики есть аналогичная характеристика - к примеру, конкретная тройка чисел a^n+b^n != c^n - это "низкокачественная" информация, а вот запись доказательства теоремы в языке формальной логики - "высококачественная" информация.
Основное качество интеллекта - умение по наличию входной "низкокачественной" информации получать "высококачественную", то есть в какой-то мере более сжатую, и условно говоря, отражающую реальные взаимосвязи в логическом (математика) или естественном (физика).
При таком определении всякие ИНСы и *GPT не только не являются интеллектом, но наоборот - строго являются его противоположностью. Имея на входе эксабайты очень "высококачественной" информации, взятой из научных статей, форумов с решениями задач, готовых миллиардов/триллионов строк качественного кода и так далее - ИНС способна генерировать только более "низкокачественную" информацию, но никогда не более "высококачественную".
За счет огромного входа для обучения и очень высокого качества информации в нем, падение качества на выходе ИНС недостаточно, чтобы опуститься до уровня рандомного шума, поэтому выход получается осмысленным, и иногда полезным. Однако повышение качества информации на выходе ИНС по сравнению с ее входом чисто физически невозможно, т.е. ИНС никогда не сможет решать задачи более сложные, чем уже были в обучающей выборке. В то время как для настоящего искусственного интеллекта - это как раз и есть основная работа
К Вам никаких претензий, извините, если приняли на свой счет :) Это мысль в целом об информационном/новостном пространстве, где рассуждают об ИИ и ИНС
Невероятный фейспалм каждый раз, когда термины *искусственный интеллект* (ИИ) и *искусственные нейронные сети* (ИНС) используются как взаимозаменяемые вещи
ИНС в принципе не способны на решение инженерных, научных и технических задач, хоть сколько квадриллионов нейронов в них засунуть, поскольку являются просто сортом экстраполяции по набору обучающей выборки. В областях генерации картинок или нетехнического текста это работает великолепно, поскольку эти области не требуют точности и формализма
В случае научно-технических задач подход принципиально иной. Нельзя взять набор формул из формальной теории и по их внешнему виду наэкстраполировать новых знаний, просто смешивая с определенными весами и добавляя случайные символы. Примерно так же, как невозможно доказать теорему Ферма или гипотезу Коллатца, просто перебирая и подставляя в них числа. ИНС любого размера для этих целей по определению бесполезен
ИИ в научно-технической сфере - это в сторону автоматического доказательства теорем, формальной верификации и программ высшего порядка, которые умеют генерировать другие программы и/или проверять их свойства (с учетом ограничения теоремы Райса) и так далее
Есть много интересных достижений ИИ в этой сфере, которые можно осветить, но информационное поле забито бесполезными ИНСами, генерирующими котиков, или переформулирующими готовые ответы из Google или StackOverflow
То, что в OpenSource находятся настолько гигантские залежи петабайтов кода, что большинство несложных задач, которые можно придумать за 5 минут и реализовать на популярном языке программирования, уже давно написаны?
OpenAI реализовали отличный мультимодальный поисковик, но зачем-то испортили его бесполезным фасадом в виде prompta и ответа на "человеческом языке", вместо того чтобы просто предоставлять качественную выдачу оригинальных URL-ов без каких-либо галлюцинаций и пост-обработки
В этом плане *GPT только очерняют понятие ИИ, поскольку как раз является худшим его представителем - глючным недо-поисковиком по эксабайтам существующей информации, но портящий ее галлюцинациями, даже в примитивной задаче сложения пары чисел
В то же время есть серьезные профильные ИИ-проекты, за которыми действительно будущее AI-разработки, например AlphaCode от DeepMind, который успешно решает немаленький процент олимпиадных задач, и при этом натренирован на выборке в десятках мегабайт (которую можно к тому же загрузить и посмотреть), то есть он действительно в какой-то мере понимает задачу
В отличие от *GPT-помоек, которые просто роются в эксабайтах готовой информации, но никак ее не понимают, а просто подбирают следующие токен вероятностным образом. Жаль, что хайповый продукт с перенасыщенным бюджетом смещает фокус с настоящих AI-разработок в баловство
Нет сомнений, что будущее за AI, в том числе в инженерии и науке, включая разработку, но этот AI очевидно будет (уже есть?) родственником условного AlphaCode или чего-то подобного, а не захайпленной помойки
Сравнения естественного и искусственного интеллекта, к сожалению или счастью, есть очень неконструктивная тема для дискуссии, в которой легко скатиться в псевдо-философию. В конце концов и немного упрощая, все во вселенной состоит плюс/минус из атомов, а значит любой объект как сборник атомов потенциально может обладать и интеллектом, и сознанием - хоть GPT, хотя булыжник валяющийся на дороге. Обсуждать такое для технического ресурса несерьезно, поэтому в исходном комментарии я целенаправленно удержался от любых утверждений о возможностях и сравнении ИИ и мозга
Отличий от огромной поисковой машины, точнее от поисковой машины+авторефератора, так обнаружить не удалось. Тот же пример описания шутки с телефоном и VGA-кабелем, элементарно ищется в Твиттере за историю (разумеется старую историю, когда GPT-3 еще даже в помине не было)
А вообще зачем о чем-то подобном спорить. Лучше пользоваться следующим алгоритмом:
1) Возьмите какой-нибудь кейс из обычной жизни, и придумайте на его основе какую-нибудь несложную, но не примитивную, математическую или физическую задачку
2) Методом аккуратного гугления/яндексования проверьте, что подобная задачка действительно уникальная, иначе вернуться к пункту 1
3) Попросить решение задачи у GPT и проанализировать ответ
4) Методом аккуратного гугления/яндексования проверьте, вам предоставили ответ на какую-то задачу, которая относительно похожа по тексту, но совершенно иная по смыслу
5) Повторить начиная с пункта 1, собирая статистику* для получения или опровержения статистической гипотезы о возможностях ИИ по решению принципиально новых задач
*Как мы помним из матстата, число испытаний необходимо утвердить по проведения эксперимента, чтобы избежать p-hacking-а по вкусу
Забавно конечно наблюдать, как даже вроде бы технически-грамотные инженеры ищут "интеллект" у продвинутой поисковой системы - хотя в принципе ничего нового, в каждую эпоху свои когнитивные искажения
Ответ на механизм "интеллекта" gpt-подобных систем очень простой: люди просто забывают, насколько огромен интернет, и насколько на самом деле плоховато работают классические поисковики. По состояния на 2022ой год, как указывают источники, это около 90 зеттабайт, то есть порядка 9*10^22 байт
На самом деле в интернете обсуждено и написано так много, что гораздо сложнее придумать что-то новое, что не было обсуждено. Школьники и студенты на каждый чих выкладывают задачи с просьбой помочь их решить. Диванные философы регулярно обсуждают вопросы природы сознания, сравнения работы мозга и ИИ и так далее
Единственное что делают gpt-подобные системы - это очень хороший поиск по зеттабайтам информации и реферирование/перефразирование текстов так, чтобы цитата из ответа не искалась дословным поиском (в кавычках) в поисковой системе
Не скажу за гуманитарные и общефилософские области, но при общении с gpt в технических областях всегда одно из двух - либо для ответа бота можно найти один или несколько однозначных источников, откуда ответ скомпонован с небольшими модификациями, или же в ответе бота будет откровенная рандомная галлюцинация
Арифмометр считал быстрее человека еще несколько веков назад, а чат-боты, с которыми можно поговорить о сути бытия, вполне себе были уже в 90ые годы. Здесь более продвинутый поисковик и авто-рефератор, ну ок, круто
Спекулятивное выполнение и теневые регистры же. Вас же не удивляет, что обе ветки if-else выполняются, а когда результат условия становится известен, выбирается только один путь. Спекуляций видимых за MMU/IOMMU видимо все-таки не существует по определению (Кроме хитрых lockless алгоритмов, но там другое - алгоритм умеет rollback-ить определенные жестко фиксированные случаи, которые сам же и спекулирует :)
В каком-нибудь таком случае вполне себе изменит https://godbolt.org/z/brn7brjoE , плюс все __sync_* функции все равно форсированно приводят указатель к volatile, благодаря чему оно верно и компилируется. Условный TBB от Intel тоже вполне себе использует volatile в многопоточном коде Search · volatile (github.com)
В общем, не вижу смысла в дальнейшей дискуссии. Исходный тезис был "multithreading и многопоточность несовместимы", а это не верно. Показать примеры из промышленного кода я не могу по NDA, а сидеть выдумывать аналогичные простые примеры - не вижу смысла
Чтобы подвести bottom line - смысл volatile (не технически, а скорее философски) примерно такой же, как у std::launder - надавать компилятору по рукам, где в высокооптимизированном (и скорее всего массивно-многопоточном) highload-коде проведены ручные микрооптимизации под целевую платформу, и надо отвадить компилятор от неверной кодогенерации :)
Все-таки volatile + __sync_* intrinsics дают большие возможности контроля Compiler Explorer (godbolt.org)
Atomic конечно соберется с любым процессором, но может оказаться, что там всадили lock - в каких-то случаях это плюс, но в каких-то лучше пусть не скомпилируется, зато это повод явно разработать lockless-версию для целевой платформы, и не нарваться на lock
Хотя вы конечно скажите `static_assert(std::atomic<T>::is_always_lock_free == true, "LOCK DETECTED ALARM")` - в общем, на вкус, на цвет, и на грануларность контроля :)
Я особенно ничего доказывать не хочу, мне просто слишком резанула глаз цитата про единственное исключение - все-таки исключение-то не единственное, и вполне себе можно сочетать volatile и multithreading при должно сноровке :)
А так спору нет, более того, вне экзотических случаев, лучше вообще использовать готовенький TBB, решающий большинство проблем подо все адекватные платформы :)