Обновить

GPT-6 на пороге: OpenAI готовит модель, часть мыслей которой люди прочесть не смогут

Уровень сложностиПростой
Время на прочтение5 мин
Охват и читатели19K
Всего голосов 19: ↑12 и ↓7+11
Комментарии52

Комментарии 52

Писать эксплоит через й так же безграмотно, как и слово андроид.

Подаёте плохой пример молодёжи.

Ну отткуда тут молодежь то возьмется..

Мне 22. Вроде пока молодежь :(

Где можно подробнее ознакомиться? Открыл блог касперский.ру, по слову эксплоит находятся две статьи, эксплойт — 358. Там тоже безграмотные?

Да.

Сайт gramota.ru сообщает, что словарной фиксации для этого слова в современном русском языке нет, но вариант "эксплойт" более соответствует сложившимся тенденциям развития языка.

На gramota.ru тоже все безграмотные?

Ваш вопрос показывает ваш когнитивный уровень. От того, что есть тенденция, не значит, что она правильная.

дескриптивизм > прескриптивизм

Глупость и отмазки необразованных.

не отмазки, в англиском было похоже
в 60-е правильно было говорить
With whom did you go?
но люди говорили Who did you go with ? ( с ударением на with )

и теперь это норма

никакие вузы\"образованные" не смогли это побороть. так и тут

значит, т.к. правописание заимствованных слов определяется словарной практикой, а вот вы вводите людей в заблуждение

А я не утверждал, что вариант "эксплойт" - правильный.

Мой поинт был в том, что:

  1. На актуальном этапе какого-то единственно правильного варианта в русском языке не закреплено. То есть нельзя утверждать, что среди вариантов "эксплоит" и "эксплойт" какой-то один правильный, а какой-то - нет.

  2. Вариант "эксплойт" всё-таки более предпочтителен.

Вот, слово поинт вы написали правильно!

На gramota.ru тоже все безграмотные?

Лол. Учитывая, что этот ресурс в 2013-м на вопрос слитно или раздельно пишется сленговое «походу», ничтоже сумнящеся выдавал нелепое «Пишут раздельнопо ходу (как и литературное по ходу: по ходу дела).» — правда, позже, в 2021 (афигеть, это 8 лет им потребовалось осознать очевидное) переобулся и таки отдуплил, что это не про временную протяжённость, а про похожесть: «А пока отметим, что предварительная рекомендация орфографистов — писать это слово слитно», то в целом, правильнее было бы называть его sramota.ru, закрыв таким образом, этот вопрос на корню: может и не все, но ложка дёгтя … ©

И отказаться от слова из подворотни в пользу старого похоже.

И отказаться от слова из подворотни в пользу старого похоже.

Как говорилось в одном анекдоте «— пардон, мадам! — о, так вы француз?!… — ну, дык-ёптить…»

P. S. и master в main переименовать. И blacklist тоже под коврик замести.

— George Carlin on soft language.

Писать эксплоит само по себе безграмотно, когда в языке уже есть "уязвимость" и "взлом"))

Уязвимость и взлом – это vulnerability и hacking соответственно, а эксплойт (exploit) – программа для эксплуатации оной уязвимости в процессе взлома

Не обязательно программа. Это может быть фрагмент кода который вставляется в программу, или bat-файл, или метод описанный в виде набора действий.

Писать эксплоит через й так же безграмотно

“Exploit” означает “эксплуататор уйазвимости”. Или сокращенно “эксплуй”.

Эт ж айти :)

А также биткоин и блок чаин.

А какая связь? Андроид пишется через "и" потому что таково правило русского языка по использованию греческого окончания -oid "подобный". Поэтому же и эллипсоид пишется через и и геоид и еще гора слов. Андроид - подобный человеку и т.д. Эксплойт - это транслитерация слова exploit в котором последние три буквы являются корнем, соответственно и вышеуказанное правило не применяется.

А вот те, кто пишут "войн", - тем да, отдельный котёл.

Биткоин же через и пишется, потому что официально слово образовано транслитерацией с английского, в котором отдельная "i" траснлитерируется как "и", а блокчейн - через "й" потому что "ai" в данной позиции транслитерируется как "й" также как в транслитерации слова "brain" например, когда оно используется в названии игры "Брейн-ринг" или более современных англицизмах типа "брейнрот" - "brainrot"

это мы еще про Биткойн/Бикоин и "выйграть"/выиграть не спорили :-D

5.7 Astra думаю назовут. Опен Аи уже подменяет некоторые запросы платных пользователей на другую модель.

У обычной думающей модели рассуждения существуют в виде текста, который можно прочитать Обычная языковая модель — это стопка слоев, через которую текст проходит один раз, сверху вниз, и на выходе получается следующее слово. Astra же прогоняет одни и те же данные через одни и те же слои несколько раз подряд, прежде чем выдать результат.

У всех “думающих” моделей “цепочка мыслей” замыкается на уровне эмбеддингов. Перевод промежуточных результатов в читаемый текст это отдельная операция, которую можно отключать.
Раньше “продавцам интеллекта” было выгодно показывать как модель “думает”, поэтому опция показа “мыслей” была включена по умолчанию. Теперь им выгодно повышать производительность и экономить вычислительные ресурсы, поэтому лишние операции убираются.

А можно на пальцах объяснить, как раньше отключение вывода рассуждения увеличивало производительность?

Что именно требует объяснения - как для пользователя выделяются вычислительные ресурсы при открытии сессии?

За счёт чего высвобождаются ресурсы? Причём тут сессия я вообще не понял.

И да, никаких мыслей у ЛЛМок нет, это подмена понятий чтобы хайпа подкрутить. Примерно как когда "AI" используют применительно к нейросетям. Хоть бы в кавычках писали =)

Хоть бы в кавычках писали

Это не только снизит хайп, но и увеличит расход токенов. Вдвойне невыгодно.

Почему AI - в кавычках? Искусственный интелект - есть искуственный интеллект. Хоть в топовых нейросетях, хоть в тупейших скриптах игрового движка. Термин.

Это как с автопилотом. Хоть для авиации если может просто лететь вперёд, под присмотром двух человек то уже автопилот. То для автомобилей, надумывают каких то невесть взявшихся требований огромных.

Ну формально - то что рулём не крутит, то не автопилот. Но да, система удержания полосы - вполне себе автопилот/автоводитель. Но с другой сторны Self-Driving, как и Self-Flying - всё же “обещает” больше чем просто автопилот.

А ИИ - он как раз сонеты шекспира сочинять не обещает ( но, хех, делает!)

Ну так больше, это насколько?

Например менять полосы, реагировать на сигналы и тд.

Или как очень многие трактуют. Полная автономия во всех мыслимых и не мыслимых ситуациях? От внезапно выскочивших на дорогу динозавров, до уверенного вождения в снежной буре, на ледяной дороге полной водителей из Индии с нулевой аварийностью на 300000 лет пробега.

Никто так не трактует. Кроме маркетологов Теслы.

Все трактуют однозначно. Автопилот в автомобиле это значит что можно сесть на задний диван и смотреть видосики, пока машина везет тебя.

Ограничения по географии допустимы. Возить только по городу и отказываться везти в деревню ок.

Это просто мой опыт общения по вопросу автопилота, стоит только зайти поглубже в тему, так 80% собеседников начинают требовать всего вышеперечисленого. Не важно там Ваймо, Тесла или ещё что.

А насчёт везти пока ты сидишь на заднем, благо уже есть два сервиса которые такое предоставляют в США.

Ну так больше, это насколько?

Больше - это значит, что человек не нужен, доедет/долетит само. Хотя бы в хороших условиях. На самолётах, кстатит такие системы формально есть - т.е. с полосы на полосу некоторые самолёты в теории могут долететь сами, без пилота в кабине (ему просто не дают - не доверяют). На машинах - Маск и прочие сделали (и Камаз делает :) ), но только для конкретного маршрута и/или местности , а не произвольного.

Нет, для самолётов ничего такого и рядом нету. Нету ни одной системы автопилотирования воздушной, которая будет взаимодействовать с диспетчерами. Это как автомобильные системы, которые никак не реагируют на светофоры, разметку на дороге и тд. Потому что в воздухе за всё это отвечают диспетчеры.

Потому что искусственного интеллекта в данный момент не создано. LLM/БЯМ - большие языковые модели - это не искусственный интеллект, никогда им не был и никогда им не станет просто ввиду механизма работы.

Потому, что это не интеллект, а смиренное (и более адекватное) Quasi intellegence так пузырь не надуло бы.

И да, никаких мыслей у ЛЛМок нет, это подмена понятий

А у людей есть?

Возьмем два обобщенных определения: Мысль - продукт мышления. Мышление - процесс обработки информации, с помощью которого субъект отражает реальность.

По этим определениям, мысли у ЛЛМ - есть.

Вопрос к вам, вы пользовались последние пару месяцев топовыми платными моделями от OpenAi и Athropic? Просто, я раньше тоже так говорил, а вот теперь по пользовался и больше так не говорю...

Интересная тема, но заголовок и часть формулировок заметно опережают факты.

На сегодня нет подтверждения, что «GPT-6 на пороге» или что OpenAI уже готовит именно такую модель. Есть сообщения о возможных экспериментах с архитектурами, где модель получает больше внутренних вычислительных шагов перед выдачей ответа. Это направление действительно существует, но это ещё не анонс продукта.

Отдельно стоит аккуратнее говорить про «мысли, которые люди не смогут прочесть». У модели нет мыслей в человеческом смысле. Есть внутренние состояния и вычисления нейросети. Проблема не в том, что OpenAI спрятала от нас «рассуждения», а в том, что часть вычислительного процесса вообще не является понятным человеку текстом.

И ещё один важный момент: цепочка рассуждений (chain-of-thought) не является надёжным окном в «мышление» модели. Она может помогать анализировать поведение, но это не гарантия, что модель честно показывает внутренний процесс принятия решения.

В итоге сама идея интересная: возможно, будущие модели будут тратить больше вычислений на сложные задачи. Но от «нового направления исследований» до «GPT-6, которую уже нельзя будет понять» в статье несколько лишних прыжков.

Отдельно стоит аккуратнее говорить про «мысли, которые люди не смогут прочесть». У модели нет мыслей в человеческом смысле.

Слишком смелое заявление. Особенно в контексте обсуждаемой технологии.

Есть внутренние состояния и вычисления нейросети.

Это формальное описание работы человеческого мозга? ;)

Проблема не в том, что OpenAI спрятала от нас «рассуждения», а в том, что часть вычислительного процесса вообще не является понятным человеку текстом.

Я лично проблему вижу тут в том, что эти исследования находятся на границе метафизики и какой-нибудь феноменологии (вот этот цикл прогонов реально же рефлексию напоминает). Для того, чтобы качественно повысить эффективность работы, приходится сознательно конструировать "чёрный ящик". И чем "чернее", тем эффективнее. Очень парадоксальный затык - эдакий "когнитивный принцип Гейзенберга"))

И теперь возвращаясь к вашей первой цитате - а как, имея в качестве вводных только такой "чёрный ящик", можно вообще рассуждать о содержимом "мыслей нейросети"? Или ещё проще - как зафиксировать момент их (личности, квалиа, субъективного опыта,) появления?

Архитиктура трансформера довольно сильно отличается от того как мыслит мозг человека. К последнему ближе как раз “предыдущая” архитектура - рекурентные нейросети. Но со всеми этими контектсами, да и и технология описанная в статье - всё это очень похоже на “рекурентный трансформер”.

Но даже рекурентные сети - лишь “навеены” архитектурой человеческого мозга и далеки от него.

Так что сомнения в том что нейросети мыслят - считаю опраданными. И слова о мыслях и рассуждениях нейросети для меня не более чем удобная метафора. Если противники термина “мысли” скажут как говорить правильно, а не просто будут пусто критиковать - и это будет удобно - возможно переключусь и на их вариант.

А это не важно. Важна нелинейность и сложность. Достаточно сложная система достаточно адаптивных нелинейных элементов может воспроизвести ЛЮБОЕ поведение. При этом процессы в системе могут быт решены на нейроне, на кремнии и даже руками на бумаге при наличии достаточного количества времени. Т.е. носитель - не суть вообще. Суть - конфигурация гиперпараметров и сопособность системы эту конфигурацию менять, в процессе обучения..

Это нормальные эффекты в сложных нелинейных системах, которыми являются и человеческий мозг и нейросеть и даже просто абстрактная система нелинейных уравнений решаемая на бумаге. Тут больше важна лишь сложность. Парадоксально, но если прорешать уравнение каждого нейрона в мозгу на бумаге достаточно точно, то решение воспроизведет поведение реального мозга. Т.е. разум (как система нелинейных функций) не обязан даже иметь физического представления. И заранее предсказать что будет на выходе - очень сложно, даже зная их общий принцип работы. Так что да, черный ящик. Чернее некуда. И это нормально

Я правильно понимаю, что вся новость высосана из того, что API ответил 404?

Да. AGI тут жестоко прокололся и выдал себя. Надо было ответить 400, и продолжать в тайне готовиться к порабощению человечества.

Может, он так подаёт нам сигнал?

Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации