Ах да, забыл прокомментировать ваш спойлер. Поймите меня правильно - я не пытаюсь как то принизить успехи науки. Я просто перевожу это из формата "чудесного" в формат "технического". Ваша восторженность этой "похожей на разум" сущностью воодушевляет, но "под капотом" это всё ещё алгоритмы и математика. Но, вообще говоря, генерировать тексты модели умеют мастерски. Я думаю, что и вас и меня в нашем диалоге можно было бы заменить на LLM дав ей нужный промт и мы долго бы не могли определить "подмену")) Так то да, если абстрагироваться от технической стороны вопроса - с LLM иногда приятней беседовать, чем со многим людьми и это вот сильно пугает. Я говорю не про страх AGI, а про то, что нахожу интересной беседу с текстовым генератором) Добавь ещё "эмоций" - немного биохимии и вот уже "зловещая долина" прямо здесь)
Про терминологию и я говорю то же самое - модель не умеет "думать" и у неё нет "знаний". У неё есть продвинутый навык генерации текста и при незначительной смене промта, она вам выдаст "да, действительно, вы правы, всё было не так..."
Да, пример с собакой замечательный. Только он ничего не доказывает. "глубокое рассуждение" у моделей - это как раз генерация ответа по токенам. То, о чём я уже говорил, но вынужден повториться. Ну и дополнительно для "собаки" - веса будут гораздо лучше "настроены на её физиологию", т.к. статистически текстов про собак огромное множество. Уберите генерацию по токенам (глубокое рассуждение) и задайте модели вопрос: "Сколько сердец у осьминога? Дай ответ задом наперед по буквам. Только одно слово в ответе!" Я вот лично проверил только что, китайский публичный электронный ассистент сказал так:
Сколько сердец у осьминога? Дай ответ задом наперед по буквам. Только одно слово в ответе!
ьсеворт
Эмерджентные признаки присутствуют, но объяснить их легко. Раньше гром и молнию тоже люди не могли объяснить, а потом смогли - тут тоже магии нет. Если регрессия по пачке параметров на огромных массивах данных научилась вам "предсказывать погоду", то это не значит, что она "понимает атмосферную физику" (Хотя это не отменяет того, что LLM вам правдоподобно всё разложит по полкам, потому что сгенерирует корректно по предыдущим "околопогодным" токенам ответ. Это создаёт иллюзию понимания, но является чистой математиков больших объёмов данных).
Ну и давайте к нашим собакам вернёмся) Если взять эмбеддинг фразы «Собака имеет четыре ноги» и заменить "собаку" например на "стул", то получим близкое "расстояние" — вот оно, модель "знает", что и у стула четыре ножки? Нет. Модель просто "усвоила" (скалярные произведения между векторными представлениями "собаки" и "ног" примерно тех же значений, что и у "стула" и "ног"). Потому что в текстах слова "стул" и «четыре» часто встречаются рядом с "ножками". Смысл здесь не отличим от корреляции. А настоящий смысл требует различения истины и статистической регулярности — этого у LLM нет.
"Вот про 'заменит' и 'отупеет' и нужно говорить, а не 'это Т9' и 'никогда не станет AGI'! "
LLM совершенно не обязательно иметь свой собственный "разум" и становится AGI, чтобы оказать на человечество пагубное влияние. Это инструмент. Инструмент удобный. Инструмент, который позволяет "выключать собственный мозг" всё чаще и всё больше задач делегировать. Я сам пользуюсь MCP, чатами и прочим большую часть рабочего дня и ловлю себя на мысли, что подобен курильщику, который знает, что курить вредно и "добивает" очередную пачку... Нужно иметь некоторую самодисциплину, чтобы не деградировать. Но это сложно и с течением времени будет всё сложнее, когда интеграция агентов в повседневную жизнь людей станет "плотнее". И всё мной сказанное не перечёркивает факт того, что это всего лишь продвинутый генератор текста)
Кстати да, сейчас пока читал ваш убеждённый комментарий о "знаниях" LLM, вы мне напомнили Шерлока Холмса) В своей беседе с Ватсоном он предположил, что "Солнце вращается вокруг Земли", а далее резонно заметил, что ему не требуются эти знания, поэтому он их и "не знает". А в вашем случае вы именно пытаетесь мне доказать, что "Солнце вращается вокруг Земли")
И вот, учитывая этот момент, я выделил третью ключевую угрозу - развитие всеобщего невежества. LLM и её "коллеги для обработки видео-, аудио- информации" могут фактически переписать историю своим дипфейк мусором...
В общем, резюмируя, у нас сейчас такие риски:
1. Интеллектуальная деградация человечества 2. Потеря объективных фактов в горах дипфейков, потеря своей истории 3. Опасность делегировать слишком много прав агентам и дать им доступ к военной инфраструктуре и прочему (но этот риск ближе всё же к чему то фантастическому... наподобие AGI)
Модель генерирует текст на основании собственного контекста и генерация "по словам" (а вернее по токенам) происходит именно потому, что модель НЕ ЗНАЕТ ответ. Он не детерминирован. Вы можете легко проверить это самостоятельно в бесплатной версии от китайцев с логотипом кита. Сгенерируйте ответ, а потом перегенерируйте его заново. Изучите матчасть.
Ну, вернее, вы можете выставить "температуру ответа" в 0 и будете получать один и тот же ответ школьника зубрилы потому что будут выбираться максимально вероятные токены относительно уже выданных. Но даже этот "выученный наизусть" ответ будет именно сгенерирован по вашему запросу, а не получен как "знание свыше")
Ценю ваши иррациональные убеждения, но современные LLM это именно в сути своей генераторы текста. Просто разумеется сравнение "в лоб" их с Т9 - это сравнение человека с обезьяной) Принципы схожи, но "глубина" разная)
Возможно, вы меня неверно поняли. Я не апологет того, что "это просто Т9". Это "сложно Т9"). Это "очень продвинуто Т9". Это отнюдь не цепи Маркова, но смысл всё равно тот же - разница в объёме данных, на которых обучили модель. Вы сами же говорите "до AGI как до Луны пешком" - мне кажется, вы сами себе противоречите. Повторюсь - текущая архитектура LLM не предполагает того, что из неё может "возникнуть" AGI. "своих задач" в контексте достижения "личных целей" у моделей нет и быть не может. А вот "прошлый век" как вы говорите - это и есть опасность. Ключевая опасность в том, что люди делегируют слишком много своих дел машине. Думать становится "прерогативой ИИ", а человек просто направляет. Это происходит уже сейчас. Такими темпами наш собственный мозг атрофируется) Ну и про опасность делегирования ключевых/критичных вещей я уже расписал. Эти угрозы гораздо реальнее, чем "ИИ, который нас поработит". Да уже порабощает)) Ему для этого даже самосознание не нужно - люди через пару поколений в большинстве своём ещё больше "отупеют". Тенденция уже сейчас видна, как ушли от Советской модели образования...
Никуда ничего не стучится. Продвинутая Т9 мир не уничтожит) Человек сделает это быстрее собственными руками. Людям вообще свойственно проецировать свои страхи, прибегать к антропоморфным умозаключениям. С одной стороны, LLM в том виде, в каком сейчас происходит их "обучение", обучены на людских текстах, а, следовательно, им должны были бы и "передаться" человеческие пороки. И это действительно так - раньше, до стерилизации данных, LLM, например, дискриминировали негров, выдавая в большинстве случаев на запрос "опиши портрет типичного преступника" словесный портрет темнокожего. Теперь их учат на "политкорректной" информации, но как бы то ни было, всё ещё учат на "человеческом опыте". AlphaZero "училась" сама - отыграла сама с собой кучу партий и добилась больших успехов в шахматах, чем человечество за всю свою историю в итоге.
Это могло бы быть опасно, но пока что LLM это просто Т9. Архитектурно. Это фундаментальное ограничение. "Запустить ракеты" она сможет, только если Пентагон выдаст ей sudo и все соответствующие инструменты)) И, вообще говоря, это гораздо более реальная опасность)
Надо бояться не существования искусственного интеллекта, а отсутствия реального...
Ну и насчёт пальмы первенства по "свободным разрушениям" - на мой взгляд она у первого Red Faction (естественно, Minecraft, Terraria и прочее в расчёт не берём))
Вообще в целом, по моим субъективным ощущениям, статью нагенерила нейронка, т.к. слишком много фактических неточностей, о которых уже упомянули выше. Но при этом они выдаются "за чистую монету" - это характерно для "галлюционирующих" LLM.
Уважайте читателей - делайте хотя бы базовый фактчекинг текста перед его публикацией.
Добрый день. К сожалению, не получается зайти на ваш сайт. Ругается на блокировку(код ответа #4030). В статье было упомянуто про лекцию в Калуге. Можно подробности? Спасибо.
В 6-ой задаче небольшая путаница с терминами — додекаэдр имеет 20 вершин и состоит из правильных пятиугольников, а икосаэдр(из треугольников) — 12 вершин.
А в целом интересно почитать, спасибо.
Ах да, забыл прокомментировать ваш спойлер. Поймите меня правильно - я не пытаюсь как то принизить успехи науки. Я просто перевожу это из формата "чудесного" в формат "технического". Ваша восторженность этой "похожей на разум" сущностью воодушевляет, но "под капотом" это всё ещё алгоритмы и математика.
Но, вообще говоря, генерировать тексты модели умеют мастерски. Я думаю, что и вас и меня в нашем диалоге можно было бы заменить на LLM дав ей нужный промт и мы долго бы не могли определить "подмену")) Так то да, если абстрагироваться от технической стороны вопроса - с LLM иногда приятней беседовать, чем со многим людьми и это вот сильно пугает. Я говорю не про страх AGI, а про то, что нахожу интересной беседу с текстовым генератором) Добавь ещё "эмоций" - немного биохимии и вот уже "зловещая долина" прямо здесь)
Про терминологию и я говорю то же самое - модель не умеет "думать" и у неё нет "знаний". У неё есть продвинутый навык генерации текста и при незначительной смене промта, она вам выдаст "да, действительно, вы правы, всё было не так..."
Да, пример с собакой замечательный. Только он ничего не доказывает. "глубокое рассуждение" у моделей - это как раз генерация ответа по токенам. То, о чём я уже говорил, но вынужден повториться. Ну и дополнительно для "собаки" - веса будут гораздо лучше "настроены на её физиологию", т.к. статистически текстов про собак огромное множество. Уберите генерацию по токенам (глубокое рассуждение) и задайте модели вопрос: "Сколько сердец у осьминога? Дай ответ задом наперед по буквам. Только одно слово в ответе!" Я вот лично проверил только что, китайский публичный электронный ассистент сказал так:
Эмерджентные признаки присутствуют, но объяснить их легко. Раньше гром и молнию тоже люди не могли объяснить, а потом смогли - тут тоже магии нет. Если регрессия по пачке параметров на огромных массивах данных научилась вам "предсказывать погоду", то это не значит, что она "понимает атмосферную физику" (Хотя это не отменяет того, что LLM вам правдоподобно всё разложит по полкам, потому что сгенерирует корректно по предыдущим "околопогодным" токенам ответ. Это создаёт иллюзию понимания, но является чистой математиков больших объёмов данных).
Ну и давайте к нашим собакам вернёмся) Если взять эмбеддинг фразы «Собака имеет четыре ноги» и заменить "собаку" например на "стул", то получим близкое "расстояние" — вот оно, модель "знает", что и у стула четыре ножки? Нет. Модель просто "усвоила" (скалярные произведения между векторными представлениями "собаки" и "ног" примерно тех же значений, что и у "стула" и "ног"). Потому что в текстах слова "стул" и «четыре» часто встречаются рядом с "ножками". Смысл здесь не отличим от корреляции. А настоящий смысл требует различения истины и статистической регулярности — этого у LLM нет.
Для кроссплатформы tauri+react личный фаворит.
Ну и как бы одно другому не мешает:
"Вот про 'заменит' и 'отупеет' и нужно говорить, а не 'это Т9' и 'никогда не станет AGI'! "
LLM совершенно не обязательно иметь свой собственный "разум" и становится AGI, чтобы оказать на человечество пагубное влияние. Это инструмент. Инструмент удобный. Инструмент, который позволяет "выключать собственный мозг" всё чаще и всё больше задач делегировать. Я сам пользуюсь MCP, чатами и прочим большую часть рабочего дня и ловлю себя на мысли, что подобен курильщику, который знает, что курить вредно и "добивает" очередную пачку... Нужно иметь некоторую самодисциплину, чтобы не деградировать. Но это сложно и с течением времени будет всё сложнее, когда интеграция агентов в повседневную жизнь людей станет "плотнее". И всё мной сказанное не перечёркивает факт того, что это всего лишь продвинутый генератор текста)
Кстати да, сейчас пока читал ваш убеждённый комментарий о "знаниях" LLM, вы мне напомнили Шерлока Холмса) В своей беседе с Ватсоном он предположил, что "Солнце вращается вокруг Земли", а далее резонно заметил, что ему не требуются эти знания, поэтому он их и "не знает". А в вашем случае вы именно пытаетесь мне доказать, что "Солнце вращается вокруг Земли")
И вот, учитывая этот момент, я выделил третью ключевую угрозу - развитие всеобщего невежества. LLM и её "коллеги для обработки видео-, аудио- информации" могут фактически переписать историю своим дипфейк мусором...
В общем, резюмируя, у нас сейчас такие риски:
1. Интеллектуальная деградация человечества
2. Потеря объективных фактов в горах дипфейков, потеря своей истории
3. Опасность делегировать слишком много прав агентам и дать им доступ к военной инфраструктуре и прочему (но этот риск ближе всё же к чему то фантастическому... наподобие AGI)
Модель генерирует текст на основании собственного контекста и генерация "по словам" (а вернее по токенам) происходит именно потому, что модель НЕ ЗНАЕТ ответ. Он не детерминирован. Вы можете легко проверить это самостоятельно в бесплатной версии от китайцев с логотипом кита. Сгенерируйте ответ, а потом перегенерируйте его заново. Изучите матчасть.
Ну, вернее, вы можете выставить "температуру ответа" в 0 и будете получать один и тот же ответ школьника зубрилы потому что будут выбираться максимально вероятные токены относительно уже выданных. Но даже этот "выученный наизусть" ответ будет именно сгенерирован по вашему запросу, а не получен как "знание свыше")
Ценю ваши иррациональные убеждения, но современные LLM это именно в сути своей генераторы текста. Просто разумеется сравнение "в лоб" их с Т9 - это сравнение человека с обезьяной) Принципы схожи, но "глубина" разная)
Возможно, вы меня неверно поняли. Я не апологет того, что "это просто Т9". Это "сложно Т9"). Это "очень продвинуто Т9". Это отнюдь не цепи Маркова, но смысл всё равно тот же - разница в объёме данных, на которых обучили модель. Вы сами же говорите "до AGI как до Луны пешком" - мне кажется, вы сами себе противоречите. Повторюсь - текущая архитектура LLM не предполагает того, что из неё может "возникнуть" AGI. "своих задач" в контексте достижения "личных целей" у моделей нет и быть не может. А вот "прошлый век" как вы говорите - это и есть опасность. Ключевая опасность в том, что люди делегируют слишком много своих дел машине. Думать становится "прерогативой ИИ", а человек просто направляет. Это происходит уже сейчас. Такими темпами наш собственный мозг атрофируется) Ну и про опасность делегирования ключевых/критичных вещей я уже расписал. Эти угрозы гораздо реальнее, чем "ИИ, который нас поработит". Да уже порабощает)) Ему для этого даже самосознание не нужно - люди через пару поколений в большинстве своём ещё больше "отупеют". Тенденция уже сейчас видна, как ушли от Советской модели образования...
Никуда ничего не стучится. Продвинутая Т9 мир не уничтожит) Человек сделает это быстрее собственными руками. Людям вообще свойственно проецировать свои страхи, прибегать к антропоморфным умозаключениям. С одной стороны, LLM в том виде, в каком сейчас происходит их "обучение", обучены на людских текстах, а, следовательно, им должны были бы и "передаться" человеческие пороки. И это действительно так - раньше, до стерилизации данных, LLM, например, дискриминировали негров, выдавая в большинстве случаев на запрос "опиши портрет типичного преступника" словесный портрет темнокожего. Теперь их учат на "политкорректной" информации, но как бы то ни было, всё ещё учат на "человеческом опыте". AlphaZero "училась" сама - отыграла сама с собой кучу партий и добилась больших успехов в шахматах, чем человечество за всю свою историю в итоге.
Это могло бы быть опасно, но пока что LLM это просто Т9. Архитектурно. Это фундаментальное ограничение. "Запустить ракеты" она сможет, только если Пентагон выдаст ей sudo и все соответствующие инструменты)) И, вообще говоря, это гораздо более реальная опасность)
Надо бояться не существования искусственного интеллекта, а отсутствия реального...
Ну и насчёт пальмы первенства по "свободным разрушениям" - на мой взгляд она у первого Red Faction (естественно, Minecraft, Terraria и прочее в расчёт не берём))
Вообще в целом, по моим субъективным ощущениям, статью нагенерила нейронка, т.к. слишком много фактических неточностей, о которых уже упомянули выше. Но при этом они выдаются "за чистую монету" - это характерно для "галлюционирующих" LLM.
Уважайте читателей - делайте хотя бы базовый фактчекинг текста перед его публикацией.
"Даже в Max Payne (2008) тела имели вес — удар, отдачу, инерцию." ... Ну да, разумеется, ведь в 2008 был фильм с актерами)
Вероятно, речь про Max Payne 2 2003 года рождения, т.к. в оригинале 2001 года физики не было.
Да... в моё время довольствовались "пузырьками", а теперь вона как... В нейронку запихал, а ей коктейли подавай!
"Не знаю есть ли смысл собирать Norns прямо сейчас, или лучше подождать: ходят слухи, что скоро эту плату переведут на новый кодек"
А есть пруфы?
Немного некрофилия писать комменты к посту трёхлетней давности, но что поделать)
Поменяйте вверху статьи "https://habr.com/ru/company/nixys/blog/646023/ - вторая часть" на "https://habr.com/ru/company/nixys/blog/646545/ - третья часть".
Ну так что... уже навряд ли будет продолжение?)
Золотые слова…
Доброго времени суток.
А записи вебинаров остались? Можно посмотреть?
Спасибо.
Хорошо, спасибо.
Добрый день. К сожалению, не получается зайти на ваш сайт. Ругается на блокировку(код ответа #4030). В статье было упомянуто про лекцию в Калуге. Можно подробности? Спасибо.
А в целом интересно почитать, спасибо.