А человек, разве мыслит не по такой же схеме, не ассоциативными графами, где недавняя информация имеет более высокий вес при распознавании?
О нет, я повержен суровыми точными науками! (Нет).
От того что вы сказали реальность не изменилась. В реальности человек, когда видит мнение что он - китайская комната, проверяет его на своей картине мира. Он может принять его только если это утверждение ей не противоречит.
Более того, если он его примет, если его спросить "кто ты?", он будет отвечать что он китайская комната всегда. Создайте новый чат, повторите ваш диалог. В этот раз ChatGPT может сказать и что он сущность в виде гномика, и Бэтмен, и мозг в колбе. Практически что угодно.
Если в такой реакции вы видите что-то, что концептуально превосходит человека (имеет лучшее сознание, мышление и т.д. а не просто точнее отвечает на вопросы), то я даже не знаю.
А теперь мы получили ещё один математический культ, который считает, что генеративные модели похожи на человека.
Собственно это моя главная претензия ко всему этому хайпу вокруг ChatGPT. Инструмент просто бомба, но все эти разговоры про интеллект и сознание у него это просто словоблудие "сциентистов".
Я бы хотел видеть больше статей о том как доучить модель для себя, как её эффективнее использовать и т. п. А не очередную высосанную из пальца статью о том, что мы не видим сверхинтеллект у себя под носом.
Минусы, очевидно за то, что человек с уверенностью говорит о том, в чём слабо разбирается. На мой взгляд, Вам тоже не стоит столь самоуверенно говорить о том, в чём Вы слабо разбираетесь, уж простите.
А вы разбираетесь?
Аналогичные по своей архитектуре ИНС на основе LLaMa я гоняю в своём походном ноутбуке при той же длине контекста в 2048 токенов. Правда размер моделей до 30 миллиардов весов пока, но рост потребных ресурсов с ростом больших языковых моделей почти линейный.
Ну, видимо вы заблуждаетесь. Тут вот умные люди насчитали 8×$15 000 GPU A100 80GB на инстанс. У вас ноутбук того же порядка производительности?
И многие исследователи полагают, что и у человека понимание связано именно с формированием подобных связей.
А многие исследователи не считают. И я больше доверяю исследователям, которые, не зная что такое понимание, не пытаются его найти там, где оно вряд ли есть.
Относительно Вашего "эксперимента" с непубличными языками - Вы действительно сами не понимаете его некорректности? Человек тоже не сможет написать правильный код на неизвестном языке.
Человек, хотя бы, скажет что он этот язык не знает и начнёт генерировать бред только если ему скажут угадать этот язык. В случае от "понимающей и думающей" нейросети я ожидаю не меньшего, но режим угадайки и генерации бреда это дефолтный режим.
Этого достаточно для большинства задач, это хороший инструмент, не поймите меня неправильно. Но это инструмент. Без сознания, без понимания, без мышления. Точка.
Примерно от 1 до 20 Гигаватт электричества в месяц.
Конечно, тут не совсем корректно, потому что у OpenAI крутится не один инстанс ChatGPT. Тем не менее, один инстанс крутится примерно на сервере с 8 карточками по $15 000 каждая.
Какое? И он не содержит в себе сырой текст.
Конечно это неточность с моей стороны. Он содержит текст уже в ужатом виде, в виде весов.
А вообще не удивительно, что огромное — думаю ChatGPT знает намного больше любого человека.
Как и Google Search "знает" больше любого человека, да.
Можете поделиться примерами? Просто пока лучшее что у меня получалось добиться, это генерация небольших участков кода или скриптов. Как только идут большие участки кода или текста, временная стоимость коррекции (GPT-4 гегерирует ответ в среднем 1-3 минуты) просто перевешивают стоимость "пойти и написать самому и обратиться за помощью только когда будет конкретная проблема в конкретном месте".
Это всё конечно хорошо, но причём тут понимание или сознание?
Как инструмент GPT я считаю просто отличнейшим. Но я отдаю себе отчёт, что это инструмент - у него нет сознания, понимания или чего-то такого в том смысле, в каком это есть у людей.
Загрузите в своих разработчиков весь интернет и подключите их к ЦОД, стоимостью миллионы долларов. Вы будете довольны, если они тогда смогут всего лишь создавать связанные куски кода не больше сотни строк максимум? А в случае с ChatGPT это преподносится уже чуть ли не как Strong AI.
Языковая модель понимает вас не сильнее, чем Google Translate, просто "словарик для понимания" у неё больше. В китайскую комнату завезли самосвал с карточками правил.
Он ничего не считает и не обладает самоанализом. Он на ваш текст находит, что отвечают другие и выдаёт его вам, с модификациями. Кто-то где-то написал что он (например робот в фантастике) китайская комната, между роботом и ChatGPT была при обучении установлена связь и всё, вы получили ответ про китайскую комнату. Сознания здесь обнаружено не было, за установление связей отвечали люди.
Я бы сказал, что GPT это аналог человека, который говорит не думая. То есть после каждого сказанного слова следующее приходит "само", откуда-то из подсознания. Эдакий человек с шизофазией, который скачал в себя весь интернет и его били палкой, пока его шизофазия не стала похожа на речь обычного человека.
В случае человека с шизофазией мы можем предполагать что у него есть сознание, потому что оно у него было раньше. В случае машины, откуда бы ему взяться, если ни раньше, ни сейчас оно не наблюдалось? Много сознания у Яндекс. Реферата или Балабобы? Разница между ними только в качестве генерируемого бреда. Если это показатель сознания, то немые люди или дети до обретения качественной речи сознанием не обладают, получается?
Не знаю за что вам минусы. Я ради интереса задавал ему вопросы по языкам, которых нет в интернете (потому что это внутренние языки некоторых компаний). Он с лёгкостью генерировал абсолютно неправильный код, стиль которого был основан на названии языка. Все эти разговоры про то что GPT что-то "понимает" вытекает просто из того, что люди не могут представить НАСКОЛЬКО ОГРОМНЫЕ вычислительные мощности он использует, НАСКОЛЬКО ОГРОМНОЕ количество текста он содержит. Это сравнимо с тем, как люди считают эрудитов по типу Вассермана не меньше чем гениями. При том, что вклад Вассермана в творческий багаж человечества примерно нулевой, при всей его эрудиции.
"Вместе с тем глава комитета Госдумы по обороне Андрей Картаполов ранее заявил, что новый закон распространяется на всех военнообязанных, а не только срочников. Таким образом, повестки электронным способом власти смогут вручать и тем, кто находится в запасе."
Спешу огорчить автора, никакого "Идеологического теста Тьюринга" не существует. То, что описано в статье, есть ни что иное, как один из принципов Rogerian argument, сформулиронного на работах Карла Роджерса, одного из известнейших психологов 20-го века. Этот принцип - как минимум ровесник теста Тьюринга, если не старше.
Это не относится конкретно к автору, скорее вообще к современному науч-поп дискурсу. Меня очень задевает, когда, в угоду сциентизму, всё в этом мире пытаются выражать через математику, физику или, на худой конец, информатику. Когда человек ограничивает для себя допустимые области знания по принципу "если не математика, то не круто", мы получаем на выходе статьи по типу "Почему ChatGPT - это сильный ИИ" и другие переизобретения колеса.
А теперь уберём картинку, где другое мнение представлено как тупиковое, не имеющее развития, и зададим противоположный вопрос - Зачем нужна диалектика, если можно освоить метафизику?
Буквально вчера пересмотрел 5-ый эпизод ЗВ и на прошлой неделе 4-ый... Гораздо больше вопросов "почему?" чем в новых фильмах серии. Почему на Явине всё что есть у повстанцев это звено истребителей? Почему на Хоте повстанцы героически гибнут стреляя из бластеров по шагоходам? Почему Люк даже не поинтересовался что там с его друзьями, пока он улетает искать Йоду? Почему его (да и Лею с Соло) никто не ищет? Почему тренировки на Дагобе идут 2 дня? Зачем вообще был нужна арка Хота, Дагобы? И далее, и далее, и далее...
Когда вышла трилогия приквелов (лучшая, имхо), фанаты ругали её за своевольность, отход от канонов. На это им выдали 7 эпизод, который являлся практически калькой эпизода 4-го. Не понравилось, просили другого. Дали 8-ой эпизод, который просто снёс все шаблоны ЗВ. Не понравилось, слишком своеобразно. На это получили эпизод 9, который дословное повторение эпизода 6-го. Не понравилось. Да что же это такое...
Мораль, конечно, не в том что новые ЗВ хорошие или плохие, речь вообще не о том. Речь о том, что люди подвержены ностальгии, вспоминают то, чего не было. Я разобрал пример с ЗВ, сведующие могут так же разобрать другие ваши примеры (уже, вижу, сделали) и показать, что вы, в общем-то приукрашиваете прошлое и демонизируете настоящее.
У каждого есть свои вкусы. Я вот не слушаю современную музыку, мне кажется, что она слишком деградировала. И нет, современный андерграунд, который "не такой, не попса" для меня такая же деградация. Считаю ли я, что моё мнение истина или что я могу его заявлять широкому кругу лиц, как реальную теорию? Нет. Тем не менее. в обществе (со времён Афин как миниум) существует паттерн мышления (можно назвать это нейросетью, если угодно), которому подвержены многие из нас - ненависть к изменениям, ко всему что превращает знакомые нам вещи в историю и делает незнакомые нам популярными. У этого есть свои предпосылки, но из них не вытекает, что всё новое и популярное - плохое. В наложении на ту культуру, что вы критикуете, получается новая ниша - коммерчески успешные популярные вещи, которые критикуют популярное. Рэп, который становится самой мейнстримовой "протестной субкультурой", обгоняя мейнстрим по популярности как таковой.
Эта статья - продукт того, что она критикует. Её "сгенерировала" "нейросеть", натренированная на антагонизме к популярному - очень успешной коммерческой нише. Здесь есть всё - и кликбейтный заготовок, и необоснованные заявления, и сомнительные выводы. Хочется спросить себя "а был ли мальчик?" Есть ли какая-то проблема в изменении баланса популярности отдельных жанров, фильмов и т.д.? Мне кажется нет. На рынке всё так же полно фломастеров на любой вкус и цвет, и даже автор утверждает что и сейчас может найти "хорошее". И статья, к сожалению, не смогла мне доказать обратного.
Раза три начинал, но всё никуда не уходило. Помимо излишнего перфекционизма, есть другая проблема - оверхед на и без того малых ресурсах. Когда ты освобождаешься от всех дел и видишь, что у тебя 60 минут до сна, а прочитаешь ты, утрируя, 2 страницы, потому что придётся "конспектировать". А там 700. И конспектировать тоже надо, иначе через год уже "ну читал там Столлингса, были какие-то Зомби-процессы и round-robin", считай что только время потерял на чтение.
О нет, я повержен суровыми точными науками! (Нет).
От того что вы сказали реальность не изменилась. В реальности человек, когда видит мнение что он - китайская комната, проверяет его на своей картине мира. Он может принять его только если это утверждение ей не противоречит.
Более того, если он его примет, если его спросить "кто ты?", он будет отвечать что он китайская комната всегда. Создайте новый чат, повторите ваш диалог. В этот раз ChatGPT может сказать и что он сущность в виде гномика, и Бэтмен, и мозг в колбе. Практически что угодно.
Если в такой реакции вы видите что-то, что концептуально превосходит человека (имеет лучшее сознание, мышление и т.д. а не просто точнее отвечает на вопросы), то я даже не знаю.
Собственно это моя главная претензия ко всему этому хайпу вокруг ChatGPT. Инструмент просто бомба, но все эти разговоры про интеллект и сознание у него это просто словоблудие "сциентистов".
Я бы хотел видеть больше статей о том как доучить модель для себя, как её эффективнее использовать и т. п. А не очередную высосанную из пальца статью о том, что мы не видим сверхинтеллект у себя под носом.
А вы разбираетесь?
Ну, видимо вы заблуждаетесь. Тут вот умные люди насчитали 8×$15 000 GPU A100 80GB на инстанс. У вас ноутбук того же порядка производительности?
А многие исследователи не считают. И я больше доверяю исследователям, которые, не зная что такое понимание, не пытаются его найти там, где оно вряд ли есть.
Человек, хотя бы, скажет что он этот язык не знает и начнёт генерировать бред только если ему скажут угадать этот язык. В случае от "понимающей и думающей" нейросети я ожидаю не меньшего, но режим угадайки и генерации бреда это дефолтный режим.
Этого достаточно для большинства задач, это хороший инструмент, не поймите меня неправильно. Но это инструмент. Без сознания, без понимания, без мышления. Точка.
Примерно от 1 до 20 Гигаватт электричества в месяц.
Конечно, тут не совсем корректно, потому что у OpenAI крутится не один инстанс ChatGPT. Тем не менее, один инстанс крутится примерно на сервере с 8 карточками по $15 000 каждая.
Конечно это неточность с моей стороны. Он содержит текст уже в ужатом виде, в виде весов.
Как и Google Search "знает" больше любого человека, да.
Вы из тех, кто очередь заранее занимает, да?
Crablang
Можете поделиться примерами? Просто пока лучшее что у меня получалось добиться, это генерация небольших участков кода или скриптов. Как только идут большие участки кода или текста, временная стоимость коррекции (GPT-4 гегерирует ответ в среднем 1-3 минуты) просто перевешивают стоимость "пойти и написать самому и обратиться за помощью только когда будет конкретная проблема в конкретном месте".
Это всё конечно хорошо, но причём тут понимание или сознание?
Как инструмент GPT я считаю просто отличнейшим. Но я отдаю себе отчёт, что это инструмент - у него нет сознания, понимания или чего-то такого в том смысле, в каком это есть у людей.
Загрузите в своих разработчиков весь интернет и подключите их к ЦОД, стоимостью миллионы долларов. Вы будете довольны, если они тогда смогут всего лишь создавать связанные куски кода не больше сотни строк максимум? А в случае с ChatGPT это преподносится уже чуть ли не как Strong AI.
Языковая модель понимает вас не сильнее, чем Google Translate, просто "словарик для понимания" у неё больше. В китайскую комнату завезли самосвал с карточками правил.
Он ничего не считает и не обладает самоанализом. Он на ваш текст находит, что отвечают другие и выдаёт его вам, с модификациями. Кто-то где-то написал что он (например робот в фантастике) китайская комната, между роботом и ChatGPT была при обучении установлена связь и всё, вы получили ответ про китайскую комнату. Сознания здесь обнаружено не было, за установление связей отвечали люди.
Я бы сказал, что GPT это аналог человека, который говорит не думая. То есть после каждого сказанного слова следующее приходит "само", откуда-то из подсознания.
Эдакий человек с шизофазией, который скачал в себя весь интернет и его били палкой, пока его шизофазия не стала похожа на речь обычного человека.
В случае человека с шизофазией мы можем предполагать что у него есть сознание, потому что оно у него было раньше. В случае машины, откуда бы ему взяться, если ни раньше, ни сейчас оно не наблюдалось? Много сознания у Яндекс. Реферата или Балабобы? Разница между ними только в качестве генерируемого бреда. Если это показатель сознания, то немые люди или дети до обретения качественной речи сознанием не обладают, получается?
Не знаю за что вам минусы. Я ради интереса задавал ему вопросы по языкам, которых нет в интернете (потому что это внутренние языки некоторых компаний). Он с лёгкостью генерировал абсолютно неправильный код, стиль которого был основан на названии языка. Все эти разговоры про то что GPT что-то "понимает" вытекает просто из того, что люди не могут представить НАСКОЛЬКО ОГРОМНЫЕ вычислительные мощности он использует, НАСКОЛЬКО ОГРОМНОЕ количество текста он содержит. Это сравнимо с тем, как люди считают эрудитов по типу Вассермана не меньше чем гениями. При том, что вклад Вассермана в творческий багаж человечества примерно нулевой, при всей его эрудиции.
О чём вы? Получить карму 5, необходимую для голосования, нельзя без написания поста
"Вместе с тем глава комитета Госдумы по обороне Андрей Картаполов ранее заявил, что новый закон распространяется на всех военнообязанных, а не только срочников. Таким образом, повестки электронным способом власти смогут вручать и тем, кто находится в запасе."
Нет причин не доверять сотруднику госорганов (с)
Спешу огорчить автора, никакого "Идеологического теста Тьюринга" не существует. То, что описано в статье, есть ни что иное, как один из принципов Rogerian argument, сформулиронного на работах Карла Роджерса, одного из известнейших психологов 20-го века. Этот принцип - как минимум ровесник теста Тьюринга, если не старше.
Это не относится конкретно к автору, скорее вообще к современному науч-поп дискурсу. Меня очень задевает, когда, в угоду сциентизму, всё в этом мире пытаются выражать через математику, физику или, на худой конец, информатику. Когда человек ограничивает для себя допустимые области знания по принципу "если не математика, то не круто", мы получаем на выходе статьи по типу "Почему ChatGPT - это сильный ИИ" и другие переизобретения колеса.
Соломенное чучело подсовываете, товарищ!
А теперь уберём картинку, где другое мнение представлено как тупиковое, не имеющее развития, и зададим противоположный вопрос - Зачем нужна диалектика, если можно освоить метафизику?
Сможете ответить?
Это называется guard clause, jfyi
Буквально вчера пересмотрел 5-ый эпизод ЗВ и на прошлой неделе 4-ый... Гораздо больше вопросов "почему?" чем в новых фильмах серии. Почему на Явине всё что есть у повстанцев это звено истребителей? Почему на Хоте повстанцы героически гибнут стреляя из бластеров по шагоходам? Почему Люк даже не поинтересовался что там с его друзьями, пока он улетает искать Йоду? Почему его (да и Лею с Соло) никто не ищет? Почему тренировки на Дагобе идут 2 дня? Зачем вообще был нужна арка Хота, Дагобы? И далее, и далее, и далее...
Когда вышла трилогия приквелов (лучшая, имхо), фанаты ругали её за своевольность, отход от канонов. На это им выдали 7 эпизод, который являлся практически калькой эпизода 4-го. Не понравилось, просили другого. Дали 8-ой эпизод, который просто снёс все шаблоны ЗВ. Не понравилось, слишком своеобразно. На это получили эпизод 9, который дословное повторение эпизода 6-го. Не понравилось. Да что же это такое...
Мораль, конечно, не в том что новые ЗВ хорошие или плохие, речь вообще не о том. Речь о том, что люди подвержены ностальгии, вспоминают то, чего не было. Я разобрал пример с ЗВ, сведующие могут так же разобрать другие ваши примеры (уже, вижу, сделали) и показать, что вы, в общем-то приукрашиваете прошлое и демонизируете настоящее.
У каждого есть свои вкусы. Я вот не слушаю современную музыку, мне кажется, что она слишком деградировала. И нет, современный андерграунд, который "не такой, не попса" для меня такая же деградация. Считаю ли я, что моё мнение истина или что я могу его заявлять широкому кругу лиц, как реальную теорию? Нет. Тем не менее. в обществе (со времён Афин как миниум) существует паттерн мышления (можно назвать это нейросетью, если угодно), которому подвержены многие из нас - ненависть к изменениям, ко всему что превращает знакомые нам вещи в историю и делает незнакомые нам популярными. У этого есть свои предпосылки, но из них не вытекает, что всё новое и популярное - плохое. В наложении на ту культуру, что вы критикуете, получается новая ниша - коммерчески успешные популярные вещи, которые критикуют популярное. Рэп, который становится самой мейнстримовой "протестной субкультурой", обгоняя мейнстрим по популярности как таковой.
Эта статья - продукт того, что она критикует. Её "сгенерировала" "нейросеть", натренированная на антагонизме к популярному - очень успешной коммерческой нише. Здесь есть всё - и кликбейтный заготовок, и необоснованные заявления, и сомнительные выводы. Хочется спросить себя "а был ли мальчик?" Есть ли какая-то проблема в изменении баланса популярности отдельных жанров, фильмов и т.д.? Мне кажется нет. На рынке всё так же полно фломастеров на любой вкус и цвет, и даже автор утверждает что и сейчас может найти "хорошее". И статья, к сожалению, не смогла мне доказать обратного.
Раза три начинал, но всё никуда не уходило. Помимо излишнего перфекционизма, есть другая проблема - оверхед на и без того малых ресурсах. Когда ты освобождаешься от всех дел и видишь, что у тебя 60 минут до сна, а прочитаешь ты, утрируя, 2 страницы, потому что придётся "конспектировать". А там 700. И конспектировать тоже надо, иначе через год уже "ну читал там Столлингса, были какие-то Зомби-процессы и round-robin", считай что только время потерял на чтение.