Комментарии 24
Да, но изложено очень сумбурно.
Вы только упустили что ведь и человек часто "генерирует бред похожий на реальность".
Анука посадите программиста не за IDE а лист бумаги и пусть пишет ручкой строку за строкой без возможности исправления. Много "реальности" он сгенерирует за один проход? Точно больше современных ИИ? Справочники и интернет тоже ему не давайте, пусть руководствуется памятью своей ненадежной нейронки. Тут вы увидите что все довольно похоже - и методы несуществующие или не так называющиеся будет придумывать и ошибки глупые и тому подобное.
Так это человек который годами тренировлся, а что говорить о "бреде" генерируемом рядовыми людьми? Вы спросите географию, там и столицы перепутаются и остова переедут в другие полушария и много всякого чудного и дивного.
Есть разница между угадать, как делают LLM и моделированием перед написанием, как делает человек.
а разве у нейросети нет "моделирования", если она и есть суть модель внешнего мира, который представлен для нее обучаемыми данными?
По мне так различия количественные и архитектурные, но не принципиальные. Это когда "экспертные системы" представляли собой наборы правил и эвристик - различия с тем что происходит у человека в нейронах были принципиальные. А теперь на настолько уже.
Так различия как раз в том, о чём я писал: у нейронки нет логики, она работает на статистике. Не логика, а вероятность. У человека логика есть, он умеет размышлять (reasoning)
а что такое это размышление как не поток генерации который гонит также и нейронка (уже научились это делать в "о1") и дальше этот процесс будет улучшаться. Уже сейчас заставив нейронку прокрутить диалоги (считай заставив "подумать") можно получить более точные результаты. Чем это принципиально отличается от того как это делаете вы?
Не знаю, не знаю. Обычный человек если чего-то не может написать или сказать - он этого и не говорит. Он просто честно скажет - "да не знаю я! чё энциклопедию нашёл? погугли"
А если ситуация тикая, что прям надо что-то выдавить из себя - например школьное сочинение - то всё равно более-менее правдивое что-то будет сочинять. В большинстве крайних случаев просто спишет. Но не будет генерить бред.
Дело ещё и в том, что ЛЛМ на современном этапе, даже имея доступ к интернету, не сможет в нем найти верную информацию и правильно её интерпретировать, если её не было в изначальной обучающей выборке.
То есть вы признаете что если у человека отнять волю "не делать", то он и выдаст бред. Так с чем же вы не согласны?
"спишет, скажет" - это же так себе вариант возражения) а большинство людей кстати я уверен что будут пробовать, если им кажется что они примерно помнят. Несколько раз попробуют скажем угадать имя метода, а потом уже гуглить начинают, так как это часто дольше.
А бывает многие люди со знающим видом дают "экспертные мнения" в области в которых они не эксперты но им так кажется. Вы таких людей не встречали?
А про эффект Манделлы вы слышали?
Если нельзя не делать - то сделает отписку, но не бред. Она может быть ошибочной, даже фантазией на тему, но в ней будет осмысленное содержимое. Вранье должно быть убедительно, и это прекрасно знают все, кто врёт.
Нейросети будут убедительны только по форме, не по содержанию. Это как раз потому, что человек может оперировать на уровне семантики и выше, нейросеть - надёжно только на уровне синтаксиса и статистических закономерностей.
Опять же вы говорите "имя метода" - это слово, уровень морфологии-лексики, это детали. Человек мыслит не только слово, но и его конкретное значение И значение в данном контексте и глобальное значение понятия/явления. Может быть у других не так, но я представляю себе не набор букв, а что делает и для чего метод, имя которого я пытаюсь вспомнить. В конце концов, иногда можно будет даже написать метод заново исходя из его смысла, с другим именем.
У людей есть какое-то общее представление об устройстве мира и разных вещей, если не считать младенцев. Чем старше - тем больше опыт и желания судить обо всём на свете. Да, мнения часто даются не специалистами, но плохо это только тогда, когда оно преподносится как экспертное. А личное мнение может (и считаю, должен) иметь каждый.
Про эффект Манделы может и слышал, но не помню, расскажите, если не сложно и имеет отношение к теме.
Так это ж все впереди, вы судите о технологии по ее зачаточному состоянию. Нет ничего там волшебного.
Эффект Манделлы это рпо то что память человека мутирует, под воздействием новых фактов и может нечто что человек раньше помнил как истину изменить и он не поймет этого - будет думать что так он всегда и помнил. Для него это удивительный эффект, как будто изменилось прошлое. Этот же эффект есть и у нейросетей) И там и там емкость нейронки ограничена и новые обучающие данные постоянно интерферируют со всем что уже есть. Эффект "замылился глаз" тоже близкий к этому, но по сути в кратковременной памяти.
Про неточности в деталях - это вполне может быть. Потому что всё-таки человек, а не машина. Как раз в этом машины не уличить - конкретные факты, если они есть в БЗ, она выдаёт точно. И в шахматы играет лучше.
Зато человек именно в плане логики не будет городить бессмысленную хрень, даже если ошибётся фактически. Он сделает более-менее корректный вывод из неверных фактов.
Анука посадите программиста не за IDE а лист бумаги и пусть пишет ручкой строку за строкой без возможности исправления
То есть, вы критикуете принцип последовательной генерации, который используется в LLM. И в качестве аргумента приводите пример, что если человека заставить выполнять этот принцип, то будет только хуже.
А общий тон сообщения, как будто наоборот, защищаете LLM. Ничего не понятно.
Теме "искусственный интеллект", почти столько же лет , сколько компьютерам .
На моей памяти с 80-х годов , лично уже читал статьи доступные.
Был даже(а может быть и сейчас есть) язык программирования LISP. Который позиционировался как язык разработки искусственного интеллекта.
И также было ожидание - ну вот еще чуть , чуть , еще немного и фундаментальная философская проблема человеческой цивилизации будет решена и человек окончательно сможеть считать себя Богом .
Но , пока , как видно - не сложилось.... Ну, по крайней мере умной колонке "Алисе", до прохождения теста Тьюринга , как до Китая .
О какой именно формальной логике идёт речь?
Аристотелевская логика давным-давно несостоятельна, что доказано теоремой Гёделя.
В какой логике вы предлагаете рассматривать ИИ? В логике Цермело-Френкеля? Неймана-Бернайса? С аксиомой выбора или без?
Я не углубляюсь столь глубоко в дебри математики. Думаю, что прикладной математики в виде чего-то наподобие Пролога вполне хватит. Сильно сомневаюсь, что система аксиом как-то сильно повлияет на приложение логики в данном случае.
Я же здесь привёл аристотелевскую логику как предшественника матлогики (любой версии), чтобы показать мощь и выразительность языка.
Если, по-вашему рассуждению, теоремЫ Гёделя о неполноте (об ограничениях) арифметики делают несостоятельной логику Аристотеля, то по тем же теоремам Гёделя "несостоятельны" вообще любые ограниченные системы, включая вас.
Разумеется. Любая система является ограниченной. Поэтому заявление автора о том, что для оценки качества работы ИИ надо использовать "мощь аристотелевской логики" попросту не имеет обоснования - и вся статья становится бессмысленной.
Всегда можно придумать систему правил, в которой поведение ИИ будет несостоятельным. Просто потому, что это доказано Геделем. Поэтому говорить надо не о полной несостоятельности, а о границах соответствия конкретной задаче. А вот этих границ как раз автор и не обозначил.
Я хочу заметить, что предложение было не оценивать "качество", а по сути участвовать в процессе вывода.
Система правил, я думаю, примерно понятна: факты окружающего мира. Как оно будет реализовано - это уже второй вопрос.
Я не просто так вспомнил Ватсона. Эта машина вроде как научилась верно отвечать на поставленные вопросы общего характера.
Можно конечно придумать и другую систему правил: можно например вспомнить одно фантастическое произведение (на помню автора, Хаксли, м.б), где создали машину времени, перемещающую не в эту реальность, а в реальность мира, составленного из всех произведений фантастов. В общем, здесь фантазия не ограничена. Но мне кажется, наиболее практичной будет именно база знаний о реальном мире.
А что является фактами окружающего мира?
Даже так:
а) что является фактами?
б) что является окружающим миром?
Мнимая единица является фактом окружающего мира? Она же не существует нигде в окружающем мире.
Вы затрагиваете уже отвлечённые философские вопросы. Я не теоретизирую на эту тему. Рассматриваю прикладные проблемы - а ИИ это все-таки уже используемая прикладная сфера. Какая математическая модель должна использоваться и в какой сфере она применима - не мои вопросы, я не обладаю достаточной компетенцией, т.е. у меня нет научной степени. Но я хотя бы знаю про теоремы о расширении модели, и вверх и вниз.
Ну а насчёт реализации математической модели - это программирование, и на эту тему можно написать не одну статью.
Системы на основе логики проиграли, потому что не решены 2 проблемы:
Нет способа автоматического наполнения базы знаний. Можно взять Википедию и скормить её LLM как есть. А чтобы её превратить в логическую базу, нужны огромные трудозатраты людей.
Система получается очень хрупкой и требует постоянного сопровождения. То есть, любая опечаточка, или отсутствие нужного правила - и система начнёт выдавать бред похуже LLM и естественно, будет в нём на 100% уверена, т.к. всё соответствует её правилам. Сама она исправиться не может, нужен человек, который бы дебажил все цепочки логических выводов и находил, где спряталась ошибка. На гигабайтных/терабайтных базах это просто нереально.
она совершенно точно не напишет кандидатскую диссертацию и вообще что‑либо принципиально новое
Там в генерации есть доля рандома. И если очень-очень сильно не повезёт, может выдать что-то новое-гениальное и дальше уже продолжить генерацию на основе этой аномалии.
Было бы этих генераторов, как людей, 8 миллиардов, может раз в 10 лет они бы в сумме и выдавали что-то прорывное. Просто от LLM завышенные ожидания. Что нажмёшь кнопку и пойдут откровения один за другим.
Прологику и ИИ