Comments 69
Странно рассчитывать на другое мнение, когда он уже вложил в это дело 10 лярдов
Больше ничто не решит проблемы
Но есть и другая проблема: без ИИ с очень высокой вероятностью все живущие сейчас люди умрут и дети их тоже умрут от болезней и старости. ИИ здесь может дать шанс, см. AlphaFold, но за счет повышения рисков в других областях.
Так может оно и к лучшему? Смерть - хороший механизм обновления цивилизации. Она убирает со сцены диктаторов и олигархов, маньяков и криминальных боссов. Почему-то все сразу представляют вечного Эйнштейна, а кто хочет получить вечного Мао Цзедуна или Лысенко? :)
Ну как вам сказать. Если люди будут жить скажем 100 или даже 150 лет, то принципиальной разницы не будет.
Кроме того одно дело прожить свои 60-70-80 лет старея и болея, а другое если скажем после 30-ти до самой смерти оставаться 30-летним и полностью здоровым.
Она убирает со сцены диктаторов и олигархов, маньяков и криминальных боссов.
Но они тоже размножаются, и вырастают новые маньяки. Ну был Гитлер-1, который умер от старости, потом вырастет Гитлер-2. С Энштейнами тоже самое. Зачем их постоянно обновлять, они уже есть. С диктатурой лучше бороться через эволюцию культуры, идей и мышления. Даже старички ученые вполне себе перенимают новые идеи. А если старость будет отменена, то ученые всегда будут молодыми и костность мышления еще сильнее снизится.
Ложная дихотомия. Юдковский предлагает приостановить работы над AGI (как то LLMs) и продолжить делать narrow biomedical AI
Я сомневаюсь, что узкий биологический ИИ полностью решит проблему. Он скорее будет как хороший инструмент вроде томографа. Для бессмертия нужно что-то очень кардинальное, как раз такое как AGI.
Наоборот. Мне кажется для бессмертия конкретно вообще никакого ИИ не нужно. Системы типа AlphaFold максимум ускорят решение этой проблемы. Посмотрите на работы Девида Синклера. Мне кажется даже если развитие ИИ остановится ровно сейчас и потом никуда не сдвинется, бессмертие ученые решат за несколько десятков лет.
Я бы сказал что ИИ скорее нужен для того, чтобы улучшать геном человека, и делать человека более миролюбивым, как бонобо. Так как геном и онтогенез и работа клетки и организма в целом слишком сложны, чтобы решить эту проблему без ИИ эффективно, а не методом тыка, что было бы неэтично. А если сделать ИИ который будет предлагать мутации в геном с очень хорошим балансом положительных и отрицательных качеств, то евгенику надо будет разрешить.
Чуваки собрали кучу текста из интернета и сделали алгоритм, который ищет в нем ваш вводный текст и говорит "с наибольшей долей вероятности, следующее слово - вот такое".
В этот момент начинается истерия и призывы остановить разработку, разговоры о ядерном оружии и апокалипсисе.
Всё это напоминает средневековых алхимиков, которые, научившись растворять металлы, решили что они в одном шаге от превращения меди в золото, или создания гомункула.
Конечно, LLM и трансформеры это круто и сложнее в реализации чем я описал, и развитие нейронных сетей позволит людям улучшить наши инструменты и быть эффективнее. Но AGI (и искусственным интеллектом в целом) там даже еще и не пахло.
Страшно, очень страшно, если бы мы знали, что это такое, а мы не знаем, что это такое, очень страшно (с)
В этом то и парадокс, что возможно нам нужно переосмыслить, что такое интеллект и откуда он взялся в LLM https://habr.com/ru/amp/publications/726554/
Всеми силами за осмысление и переосмысление, изучение где такие (и любые другие) технологии могут быть опасны, а где нет. В споре рождается истина, и возможно что я не прав и подбор следующего токена/слова в предложении, это и есть интеллект.
Но пока что это не звучит убедительно, а призывы остановить разработку и исследования, звучат как попытка заткнуть рот тем с кеми вы не согасны и перетянуть на себя research funding одеяло.
парадокс, что возможно нам нужно переосмыслить,что такое интеллект и откуда он взялся в LLM
Как мне кажется 90+% людей считают признаком образованности и разумности умение стройно складывать слова в предложения. С такой позиции среднестатистическому человеку сложно не считать LLM более образованной и разумной чем он сам. Объективно - гугл поиск гораздо более мощный инструмент для поиска информации, чем хххГПТ. Но он никого не пугает, потому что не генерирует ничего похожего на речь. "Живое существо, обладающее даром мышления и речи, способностью создавать орудия ипользоваться ими в процессе общественного труда. Ч. разумный (взоологической систематике: вид в отряде приматов; спец.)." определние по Ожегову. В данном случае - синтетическое существо, но вот с мышлением и речью и даже способностью создавать орудия труда (в виде кода пока нет физического интерфейса, но способное). И способное часть этих орудий использовать (интерпретируя исполнение простых программ прямо силами самой сети). Я думаю не сложно будет доказать, что LLM при правильной конфигурации сети имеют свойства Тьюринг-полного языка программирования.
Так что вопрос скорее не в том, чтобы переосмыслить "что такое интеллект и откуда он взялся в LLM" как мне кажется, а в том, чтобы найти новое определение для человека, которое не опирается на способность генерировать текст способом, который подозрительно похож на то как работает собственно LLM.
Что такое по-вашему мышление, и как определить что у существа есть способность мыслить?
МЫШЛЕНИЕ, -я и МЫШЛЕНИЕ, -я, ср. 1. см. мыслить. 2. Высшая
ступеньпознания - процесс отражения объективной действительности в
представлениях,суждениях, понятиях. Формы и законы, мышления.
Тот же Ожегов.
Текстовый вывпод ГПТ как мне кажется вполне себе отражает объективную действительность в "представлениях,суждениях, понятиях".
Операции над матрицами захватят мир!
Лучший комментарий за неделю.
А вы задумывались как вы свои знания получили? А самое главное как вы отвечаете на вопрос? Точно ли по другому?
А самое главное как вы отвечаете на вопрос? Точно ли по другому?
Совершенно точно по другому. Человек получает очень ограниченную подборку текста --- буквально нисколько сотен книг, большую часть которых он не помнит.
Натренированный на подобной крохотной базе ГПТ будет клиническим идиотом, не способным связать двух слов.
А человек --- ничего, нормально справляется. Значит методики мышления совершенно точно у нас разные. И на вопросы мы отвечаем по-разному.
Ну, не соглашусь. Человек получает настолько огромный датасет для обучения - что его еще очень долго не удастся собрать. Ваши знания же не только ограничены книгами - надписи на ценниках, билбордах, статьи на хабре, объявления в подъезде, сообщения товарищей (это, кстати, интересно - это как если бы несколько сетей тренировались на разных данных, а потом общались, при этом обучаясь). А еще разговоры: с родителями, с друзьями, в школе, на улице, объявления, телевизор/ютуб/радио. А еще запахи, цвета и еще просто бесконечность параметров, которые мозг использует при обучении. Человек и книги то прочитать не сможет, не используя другие ресурсы для обучения. Так что человек только с несколькими сотнями книг будет гораздо большим идиотом, чем ГПТ.
А еще запахи, цвета и еще просто бесконечность параметров, которые мозг использует при обучении.
Об этом, собственно, и идет речь. То что текстовой информации (речь я отношу к тексту) человек получает чудовищно мало по сравнению с выборкой ГПТ. И обрабатывается это все по другому.
Так что мышление у нас с ГПТ отличается по всем параметрам.
Ну тут, кажется (а когда кажется, то громких заявлений не делают), что у человека таки "компьют" подешевле, а доступ к фактической памяти подороже, вот и запоминаются не связи токенов, а некоторые достаточно генерализированные алгоритмы.
Но AGI (и искусственным интеллектом в целом) там даже еще и не пахло.
Может это и не AGI, но им пахнет, хотя бы чуть-чуть, но все больше и больше.
Генерация текста, и мышление - это разные вещи. В моем понимании мышление - это способность решать задачи, которые никто до вас не решал. Для этого необходимо самообучение, и постороение нейронных связей в процессе решения.
ChatGPT это генератор текста. Он может решить за вас задачу, которая уже была решена кем-то, и в интернете есть это решение, либо что-то очень близкое к нему.
Для этого необходимо самообучение, и постороение нейронных связей в процессе решения.
По крайней мере локальный контекст там сохраняется, посмотрим, когда прикрутят глобальный (если сделают). В любом случае, ChatGPT 4 — это уже что-то качественно новое, чего не было раньше, и прогресс быстрый.
Он может решить за вас задачу, которая уже была решена кем-то, и в интернете есть это решение, либо что-то очень близкое к нему.
В соседней статье есть инфа, что с ростом параметров GPT именно учится решать задачи и у него образуются подсистемы для их эффективного решения. Ну и далеко не все люди решают какие-то новые задачи — на самом деле в основном действуют шаблонно.
Господи, "свидетелей стохастического попугая" исправит только могила.
В репрезентациях внутри LLMs возникает модель мира, которой ее никто явно не учил
Способность писать квайны за один rollout сетки нельзя объяснить никак, кроме какого-то advanced reasoning внутри residual stream. Замечу, что такой способности нет даже у людей - люди не могут написать квайн не итеративно, с ошибками и исправлениями, или как минимум некоего wrangling "в уме", что по сути тоже итеративный процесс, только скратчпадом в котором выступает не файл на компьютере, а память человека.
Zero-shot способность к некой "стенографии", которая основана на предсказании своей же реакции на какие-то входы. То есть, рефлексия.
У кого есть доступ к GPT4? Очень хочется спросить, вот у нас есть мешок из ста шаров, один чёрный, один оранжевый и 98 белых, с какой вероятностью, не глядя, доставая два шара, мы достанем чёрный и белый? Игрался с GPT3.5, он нёс чушь, не сомневаясь даже.
В данной задаче необходимо применить правило умножения вероятностей. В начале мы имеем 100 шаров в мешке, и мы должны достать два шара без возвращения (то есть вероятность выбора каждого шара будет зависеть от предыдущего выбора).
Вероятность достать черный шар при первом извлечении равна 1/100, потому что всего в мешке 100 шаров, и только один из них черный. После того, как мы достали черный шар, в мешке остается 99 шаров, из которых 98 белых и 1 оранжевый. Вероятность достать белый шар из 99 оставшихся равна 98/99, потому что из 99 шаров только один оранжевый, и 98 белых.
Таким образом, общая вероятность достать черный и белый шары при двух извлечениях равна произведению вероятностей достать черный и белый шары на каждом шаге, то есть:
1/100 * 98/99 = 0,0099 (округляем до четырех знаков после запятой)
Таким образом, вероятность достать черный и белый шары при двух извлечениях равна приблизительно 0,0099, или около 1%.
Спасибо! Чтож, наше будущее, все ещё, пока в безопасности.
Интересно сколько читателей подумали так же как ГПТ
Правильно будет (1/100 * 98/99) + (99/100 * 1/99) ?
ChatGPT оказался внимательнее меня (и того кто поставил плюс моему комментарию) и дал более точный ответ:
To calculate the probability of getting one white and one black ball while randomly choosing two balls from the bag, we need to consider two cases:
Case 1: We select the black ball first and then the white ball.
The probability of selecting the black ball is 1/100, as there is only one black ball out of 100 balls in the bag. After we select the black ball, there are 99 balls left in the bag, including 98 white balls. The probability of selecting a white ball from the remaining 99 balls is 98/99.
So, the probability of getting one white and one black ball in this case is (1/100) * (98/99) = 0.0099.
Case 2: We select the white ball first and then the black ball.
The probability of selecting a white ball from the bag is 98/100, as there are 98 white balls out of 100 balls in the bag. After we select the white ball, there are 99 balls left in the bag, including one black ball. The probability of selecting the black ball from the remaining 99 balls is 1/99.
So, the probability of getting one white and one black ball in this case is (98/100) * (1/99) = 0.0099.
Therefore, the total probability of getting one white and one black ball while randomly choosing two balls from the bag is the sum of probabilities of the two cases, which is 0.0099 + 0.0099 = 0.0198, or approximately 1.98%.
Мой chatgpt такое сказал:
Чтобы найти вероятность достать чёрный и белый шар, нужно рассмотреть два возможных случая:
Сначала достаём чёрный шар, а затем белый.
Сначала достаём белый шар, а затем чёрный.
Вероятность первого случая: (1/100) * (98/99), так как сначала есть 1 чёрный шар из 100, а после его извлечения остаётся 98 белых шаров из 99.
Вероятность второго случая: (98/100) * (1/99), так как сначала есть 98 белых шаров из 100, а после извлечения одного из них остаётся 1 чёрный шар из 99.
Теперь сложим вероятности обоих случаев:
P = (1/100) * (98/99) + (98/100) * (1/99) = 98/9900 + 98/9900 = 196/9900
Таким образом, вероятность достать чёрный и белый шар составляет 196/9900 или примерно 0.0198 или 1.98%.
Мне ещё в личку скинули, человек тоже говорит "точно гпт4"
Это все как-то невероятно, то что условные вероятности "вспомнил" это очень круто. То что арифметику криво округлил, это очень странно. Задача-то, казалось бы тривиальная, без подвоха.
Арифметика таким моделям должна даваться сложнее всего как и людям. Потому что нужно оперировать над токенами цифр, складывая из них позиционные значения да ещё и понимать правила умножения, сложения, деления и иметь оперативное пространство в пространстве состояний LLM, для того, чтобы все эти операции выполнить не потеряв данные.
По сути сеть умножает (если честно умножает, а не помнит решение этой задачи с такими исходными данными) в уме эти числа ровно тем же способом что и человек, если у последнего нету доступного внешнего накопителя информации.
Казалось бы, именно эту часть можно вынести в отдельные алгоритмы, не опирающиеся на текстовую модель, как явное улучшение.
Но, ладно, если мне позволят, я ещё выложу пару "решений" задачи, где один подход сменяет другой видимо неким рандомом.
Это не тривиально. Чтобы вынести решение математических задач из такой модели необходимо натренировать модель так, чтобы модель "понимала" как с этим внешним интерфейсом взаимодействовать. Хотя навскидку в голову приходит идея при появлении чисел, мест ключевых слов и других подобных данных в выводе программы генерировать их обработку всеми возможными операциями и подавать эти данные как часть промпта. Вероятно, примерно так эти сети и узнают текущее время и данные из интернета. Но чем больше таких расширений и всевозможных комбинаций, тем больше промпт и тем сложнее сети с ним работать.
Для компилятора объектных языков тоже в некотором роде чужды такие хаки, как дерево оптимизации арифметических выражений, однако, это всего лишь часть кода. В современных ИИ я совершенно мимо проходящий человек, но неужели это так сложно, кое где хотя бы сделать второй проход по результату модели, чтобы исправить очень легко кодируемые вещи?
Теперь сложим вероятности обоих случаев:
P = (1/100) * (98/99) + (98/100) * (1/99) = 98/9900 + 98/9900 = 196/9900
Ну вот в данном случае, например, если написать условия обнаружения уравнения (без переменных), то нужно ли все части этого равенства упростить до P = 196/9900 = 196/9900 = 196/9900 ?
Как определить в каком контексте это нужно было бы делать и до какой степени? В общем не думаю, что обработка это решение. Но я уверен, что придумают со временем способы. Пока это все только ранние эксперименты и цель совсем не в точных расчётах.
Судя по тексту они пошли по пути обучения модели управлять внешним интерфейсом. И получается, но пока кривовато, потому что модель должна выдавать качественный код для сложных вычислений. Наверное по такому же принципу можно сделать plugin для питона и просить модель выдать код, который будет исполнять запрос пользователя, загружать этот код во встроенный интерпретатор и затем уже обрабатывать результат исполнения совместно с оригинальным запросом.
Это вроде как 3 версия, т.к. 4 доступна в GPT+, а для этого нужна платная подписка.
Вот ещё вариант, от хабрапользователя
а если спросить не про мешок и шары, про которые задачами завален весь интернет. А, скажем "в сланте находятся 100 куздр, 1 бокр и 1 пакал и т.д" А если ГПТ4 прицепится, что таких объектов нет, то можно спросить "в трубе находится пустая бутылка, 100 стрекоз и бусинка..." . Можно и числа поменять, а то 1 и 100 слишком распространенные. Скажем, 231 и 3152. ?
Но ведь пока с базой же не справляется. Я ещё хуже скажу, это классическая задачка из методичек по теории вероятности для первого-третьего курса. То есть и фактические ответы есть в Интернет, забывая про цвет шаров.
GPT3 которому дали возможность выполнять код на питоне решил так:
Пробую выполнить код:
import random
balls = ["black", "orange"] + ["white"]*98
n_iterations = 100000
count = 0
for i in range(n_iterations):
first_ball = random.choice(balls)
balls.remove(first_ball)
second_ball = random.choice(balls)
if first_ball == "black" and second_ball == "white":
count += 1
print(count/n_iterations)
Результат выполнения кода находится примерно в пределах от 0.020 до 0.028. Следовательно, вероятность того, что мы, не глядя, достанем чёрный и белый шары - примерно 2-3%.
В общем к каждому ответу ChatGPT надо в конце добавлять - "Но это не точно".
А какую проблему, кто-то может нормально сказать? Или просто "проблему"?))
Билл Гейтс считает, что призыв приостановить работу над нейросетями мощнее GPT-4 не решит проблемы