я открою вам небольшой секрет — бывают очки с одной дужкой и вообще без дужек — монокль и пенсне называются ) поэтому требование наличия двух дужек это конкретно ваше требование. Я лично носил пару дней очки с одной отвалившейся дужкой, вторая сидела на ухе как влитая и очки продолжали быть очками. Это не требование к ИИ, а Ваши личные загоны
Есть такой термин, как эффект бабочки. "Бабочка, взмахнувшая крыльями на одном берегу Атлантического океана, вызывает тайфун на другом его берегу". Дело не в силе усилия, а его приложимости к процессам, протекающим на всей территории земли и мирового океана, и влияющих на климат. Это не только увеличение среднемировой температуры — это скорость таяния ледников и уменьшение их отражательной способности, это выделение парниковых газов из оттаявшей вечной мерзлоты (а метан обладает в десятки раз более парниковыми свойствами, чем углекислый газ), это изменение баланса пресной и соленой воды, которое останавливает океанские течения, такие как Гольфстрим, а это гигантские переносчики тепла итд итп. Если приложить небольшое постоянное усилие ко всем этим взаимосвязанным процессам, мы получим практически мгновенную по историческим меркам планетарную климатическую катастрофу. Это как в поговорке про верблюда и последнее перышко, ломающее ему хребет. Перышко само по себе ничтожно, но это то последнее усилие, которое вызывает лавину взаимообусловленных отказов и критических событий
Этого достаточно чтобы нарушить баланс. Если на один из концов идеально уравновешенных качелей с двумя стокилограммовыми мужиками положить дохлого таракана или к примеру сушеную китайскую летучую мышь (!!!) — она перетянет.
1) металлические стенки утеплить снаружи базальтовой ватой и пенопластом
2) чтобы не выпускать плутоний наружу — изолировать внутренний объем, по внешней поверхности металла пустить охлаждающий контур, энергию снимать с него
3) просчитать нагрузки, сделать стократный запас прочности и надежности — стенки по 100 метров, сварка трезвыми сварными и только сухими электродами ;) — и не допускать разрушения
в чем проблема выкопать огромную яму, оббить стенки металлом в 10 метров толщиной, залить в этот подземный резервуар воды, и в центре бабахнуть небольшой термоядерной бомбой. Вода превращается в перегретый пар, крутит на выходе турбины и получаем пару гигаватт-часов электроэнергии. Потом повторяем
Спасибо, очень долго ждал релиз от Сбера. Теперь понятно, почему они не слишком торопятся ) Мне кажется, модель пока сырая, возможностями официального gpt от open ai пока и не пахнет
Похоже дальнейшая тема выкладывания бота в сеть развития не получит, скорее всего его сразу прикрутят как технологию «болталки» к одному из ассистентов серии «салют». А жаль, от бота был бы хороший фидбэк
Я думаю, ей не хватает чего-то вроде модели здравого смысла. Результаты могли бы улучшиться, если бы gpt делала несколько сотен продолжений для текста, а затем проверяла каждую из них на соответствие модели здравого смысла и отсекала абсурдные.
Согласен, что навороченный поисковик — это сама по себе очень амбициозная цель. Но что касается gpt, здесь задумка кмк концептуально была несколько иная, именно с акцентом на предсказание, генерацию нового уникального контента, нового знания. Контекстный поиск это скорее побочный эффект от объема обучающего материала.
Думаю, даже в таком виде ее уже можно будет использовать во многих областях, тот же копирайтинг/рерайтинг, разговорные агенты, чат-боты, составление списка вопросов по произвольному тексту (для обучения самое-то), поиск ответов на вопросы по произвольному тексту (службы поддержки, колл-центры), принципиально новый уровень компьютерного перевода, кодинг итд итп. Это навскидку
Судя по прогрессу в области кодинга, скорее всего технари. По сути любые точные науки оперируют собственным символьным языком/-ами, которые облегчают процесс получения нового знания в конкретной области.
Как только будет освоено адекватное прямое и обратное преобразование между разговорным и любым другим символьным языком, та или иная предметная область станет, во первых, доступна огромному количеству народа, которые смогут на естественном языке формулировать и проверять собственные гипотезы, не заморачиваясь вопросами их преобразования на языке предметной области, во вторых можно будет автоматизировать генерацию и верификацию самих гипотез.
Мне кажется должно, иначе какой в ней смысл. Если система не будет генерировать новых знаний — то это навороченный поисковик. Здесь, конечно, есть определенная двусмысленность, основанная на неоднозначном определении «новизны» знания. Поисковик тоже может найти знание, которое будет являться для инициатора запроса новым, но сам по себе принципиально новое уникальное для всех знание не генерирует. Если речь идет о agi — то такая система должна уметь создавать новое адекватное, подтверждаемое знание, опирающееся на имеющиеся факты. Она должна уметь создавать собственные адекватные суждения и уметь объяснять их правильность.
Вряд ли она делает выбор из нескольких равнозначных вариантов. Мне кажется она просто переводит один многомерный вектор-инвайт в другой многомерный вектор с заданными характеристиками. Насчет названий переменных, скорее всего где-то в обучающем массиве встречалась переменная balance, которая использовалась в примерно похожей конструкции.
Я говорю немного о другом — рост производительности подобных систем сильно зависит от обучающего материала, для gpt-3, насколько мне известно — он уже близок к пределу, увеличить в сто раз уже не получится. Если заставить ее на каждый запрос формировать много вариантов ответа и потом верифицировать правильный — через учителя или путем запуска кода, если говорим о программировании — то несработавшие гипотезы могут формировать огромную, практически бесконечную, уникальную базу примеров того, как НЕ НАДО. Которую в свою очередь можно использовать либо для дообучения самой сетки, либо для обучения состязательной сетки.
Если не ограничивать полет фантазии, можно представить в системе кодер-декодер третий промежуточный элемент, который обучается на основе негативных примеров и сразу отсекает неработающие варианты. Ведь примерно так работает обучение у человека: когда мы хотим сделать какое-либо действие и составляем цепочку промежуточных действий, мы не только придумываем, что за чем должно идти, но и сразу же отсекаем неработающие варианты.
Любое элементарное действие, например вскипятить воду для чая — после десятков вариантов, которые привели к негативным последствиям, научило нас например, наливать воду в чайник, а не в телевизор, и включать чайник в розетку, а не в унитаз итд итп. Мы так и учились, не только на повторении правильных цепочек действий, но и на избегании неправильных.
в дополнении к посту выше можно немного заморочиться и предложить схему дообучения для gpt (просьба не кидаться тапками, это просто мысли вслух), которая будет основана на полученной базе из множества негативных, несработавших гипотез и одной сработавшей.
Преобразовав эти гипотезы в состояния самой сетки в виде многомерных векторов и вычтя из негативных позитивную — можно определить вектора-негативы, на которых можно ее дообучить.
Как пример: ребенок взаимодействуя с горячими вещами, обучается ситуациям, в которых это взаимодействие привело к ожогам и дообучается на полученных негативных примерах — этих ситуаций избегать, что делает его более осознанным, сознательным и в итоге более умным.
Примерно то же самое можно было бы реализовать для GPT-3 в области программирования: определение негативных гипотез, вычисление путем сравнения с позитивной кусочков кода (или каких-то более абстрактных представлений) которые не сработали, формирование чего-то вроде стоп-листа и дообучения на нем
Я год назад был очень воодушевлен успехами GPT-2, а сейчас немного разочаровался. Ведь по сути при работе этой (и других систем NLP) не возникает нового знания. Сетка просто берет низкоуровневое представление и делает его высокоуровневым. Т.е. если дать ей схематичное изображение человеческого лица — она наложит свою маску, выполнит преобразование и выдаст фотографию, основанную на этом скетче.
То же самое похоже делает GPT-3, берет элементарное упрощенное представление в виде текстового описания и расширяет его в указанной области применения, делает более высокоуровневым. Но нового знания, нового представления при этом не возникает — это простое непрерывное линейное преобразование.
На мой взгляд дело может сдвинуться с мертвой точки, если заставить GPT-3 генерировать множество высокоуровневых гипотез и оценивать каждую с точки зрения здравого смысла и работоспособности. Пока что это делает оператор, и именно это является основным тормозом повышения ее эффективности. Если она будет сама определять верную гипотезу-представление, опираясь на ее актуальность и работоспособность — она реально станет очень востребованной.
В области программирования мне кажется, это реализовать проще, чем в общем случае. Ведь сгенерированный код должен срабатывать одним определенным образом и именно результат его срабатывания будет определять верность гипотезы-представления
1. Разумность сети определяется не столько адекватностью и релевантностью ответов, сколько набором весов и параметров. Человеческий мозг устроен по тому же принципу, чем больше циклов обработки информации с обратной связью через него проходило, чем больше в нем образовалось нейронных цепочек — тем человек умнее. Разница между Эйнштейном и пускающим слюни дебилом — не в метафизической плоскости и «божьей искре», а в элементарных физических вещах: 90 млрд нейронов + связи между ними. Разум — это не какая-то мистическая способность и волшебство, а способность брать информацию на входе, по сложным правилам преобразовывать ее и получать информацию на выходе. Релевантность выходной информации зависит от сложности внутренних правил. Если параметров будет не 1.5 млрд, и выборка будет больше — НИЧТО не мешает нейросети превзойти уровень человека.
2. Конкретное ЗНАНИЕ (факт, описание феномена, вывод итд ) формируется в результате прохождения разряда по синапсам разных нейронов, поэтому само количество принципиально возможных ЗНАНИЙ, в том числе не имеющих смысла, в случае человека = 90 млрд ^ 90 млрд, т.е. практически бесконечно. Задача человеческого обучения — создать модель «здравого смысла», позволяющую выделять из этого неисчислимого пространства знаний те, которые релевантны окружающему миру и отсекать явный бред. При этом в «явный бред» попадают также те истинные знания, которые не были доступны человечеству на момент обучения этого конкретного человека. Иногда появляются очень одаренные люди, или гении, которые путем нетривиального сопоставления разных ЗНАНИЙ получают новые релевантные, истинные знания, которые потом включаются в картину миру и «здравый смысл» человечества. А до этого они либо считались бредом, либо были просто неизвестны. Т.е. получается, что любое новое знание — это совокупность старых знаний, связанных друг с другом. Ничего принципиально нового нет, есть новое, полученное из старого. Идем дальше: предположим что на одной из миллионов страниц интернета есть факт, который сам по себе ничего не значит, но в связке еще с десятью (или ста, или тысячей итд) подобных фактах на других страницах — способен привести ну например к знанию об общей теории поля, или как ее называют теории всего. Вероятность того, что конкретный человек, находящийся в теме, правильно обученный, с нужными весами в голове — посетит и внимательно прочитает именно ЭТУ тысячу страниц интернета — и сделает в итоге правильные выводы, получив новое знание — колеблется в районе нуля. Вероятность того, что это сделает нейросеть — 100%.
3. Самое интересное. Новое знание закодировано не в ответах, даваемых системой, а в наборе полученных параметров и обучающей выборке. Т.е. разумность даваемого ответа определяет степень его естественности для системы.
Возьмем начальную фразу «Я считаю, что текущая физика неполна, потому что...»
Для Эйнштейна, обученного на работах ведущих физиков того времени, после «потому что» следовало последовательное аргументированное изложение общей теории относительности, для его современника-дебила, или обычного человека той эпохи, после «потому что» следовал бессвязный набор букв и слов. Для Эйнштейна было естественно дать такой ответ, который вошел в наши учебники физики. В этом и состоит разница в разумности обрабатывающих информацию систем. Если вы видели птицу, и видели что птицы летают, для вас естественно знать, что птица не разобьется насмерть если ее сбросить с высоты. Если вы знаете 10 триллионов разных фактов, и знаете все доступные человечеству связи между ними, для вас естественно знать, что для достижение практической антигравитации нужно сделать то-то и то-то. И именно это вы напишете после фразы «Антигравитация возможна, потому что...». В этом нет ничего сверхъестественного, помести вас 1000 лет назад вы так же естественно рассказали бы про электричество и как сделать лейденскую банку; что полеты аппаратов тяжелее воздуха возможны и как устроен самолет итд итп. И точно так же, помести эту систему из топика сверху — сто лет назад и человечество подумало бы, что обрело всезнающего бога.
4. Способность предсказывать следующее слово в произвольном тексте, опираясь НА ВЕСЬ ИМЕЮЩИЙСЯ ОПЫТ и интеллектуальный багаж человечества — это на самом деле способность гения. Способность добывать новые знания из старых, находя связи между ними. Не изобретая, не придумывая, а просто находя на тех сотнях миллионов страниц, где уже есть все доступные на сегодня факты.
я открою вам небольшой секрет — бывают очки с одной дужкой и вообще без дужек — монокль и пенсне называются ) поэтому требование наличия двух дужек это конкретно ваше требование. Я лично носил пару дней очки с одной отвалившейся дужкой, вторая сидела на ухе как влитая и очки продолжали быть очками. Это не требование к ИИ, а Ваши личные загоны
Есть такой термин, как эффект бабочки. "Бабочка, взмахнувшая крыльями на одном берегу Атлантического океана, вызывает тайфун на другом его берегу". Дело не в силе усилия, а его приложимости к процессам, протекающим на всей территории земли и мирового океана, и влияющих на климат. Это не только увеличение среднемировой температуры — это скорость таяния ледников и уменьшение их отражательной способности, это выделение парниковых газов из оттаявшей вечной мерзлоты (а метан обладает в десятки раз более парниковыми свойствами, чем углекислый газ), это изменение баланса пресной и соленой воды, которое останавливает океанские течения, такие как Гольфстрим, а это гигантские переносчики тепла итд итп. Если приложить небольшое постоянное усилие ко всем этим взаимосвязанным процессам, мы получим практически мгновенную по историческим меркам планетарную климатическую катастрофу. Это как в поговорке про верблюда и последнее перышко, ломающее ему хребет. Перышко само по себе ничтожно, но это то последнее усилие, которое вызывает лавину взаимообусловленных отказов и критических событий
Если равновесие динамическое, то размер постоянного усилия, необходимого для его нарушения — еще меньше.
Этого достаточно чтобы нарушить баланс. Если на один из концов идеально уравновешенных качелей с двумя стокилограммовыми мужиками положить дохлого таракана или к примеру сушеную китайскую летучую мышь (!!!) — она перетянет.
1) металлические стенки утеплить снаружи базальтовой ватой и пенопластом
2) чтобы не выпускать плутоний наружу — изолировать внутренний объем, по внешней поверхности металла пустить охлаждающий контур, энергию снимать с него
3) просчитать нагрузки, сделать стократный запас прочности и надежности — стенки по 100 метров, сварка трезвыми сварными и только сухими электродами ;) — и не допускать разрушения
в чем проблема выкопать огромную яму, оббить стенки металлом в 10 метров толщиной, залить в этот подземный резервуар воды, и в центре бабахнуть небольшой термоядерной бомбой. Вода превращается в перегретый пар, крутит на выходе турбины и получаем пару гигаватт-часов электроэнергии. Потом повторяем
Думаю, даже в таком виде ее уже можно будет использовать во многих областях, тот же копирайтинг/рерайтинг, разговорные агенты, чат-боты, составление списка вопросов по произвольному тексту (для обучения самое-то), поиск ответов на вопросы по произвольному тексту (службы поддержки, колл-центры), принципиально новый уровень компьютерного перевода, кодинг итд итп. Это навскидку
Как только будет освоено адекватное прямое и обратное преобразование между разговорным и любым другим символьным языком, та или иная предметная область станет, во первых, доступна огромному количеству народа, которые смогут на естественном языке формулировать и проверять собственные гипотезы, не заморачиваясь вопросами их преобразования на языке предметной области, во вторых можно будет автоматизировать генерацию и верификацию самих гипотез.
Я говорю немного о другом — рост производительности подобных систем сильно зависит от обучающего материала, для gpt-3, насколько мне известно — он уже близок к пределу, увеличить в сто раз уже не получится. Если заставить ее на каждый запрос формировать много вариантов ответа и потом верифицировать правильный — через учителя или путем запуска кода, если говорим о программировании — то несработавшие гипотезы могут формировать огромную, практически бесконечную, уникальную базу примеров того, как НЕ НАДО. Которую в свою очередь можно использовать либо для дообучения самой сетки, либо для обучения состязательной сетки.
Если не ограничивать полет фантазии, можно представить в системе кодер-декодер третий промежуточный элемент, который обучается на основе негативных примеров и сразу отсекает неработающие варианты. Ведь примерно так работает обучение у человека: когда мы хотим сделать какое-либо действие и составляем цепочку промежуточных действий, мы не только придумываем, что за чем должно идти, но и сразу же отсекаем неработающие варианты.
Любое элементарное действие, например вскипятить воду для чая — после десятков вариантов, которые привели к негативным последствиям, научило нас например, наливать воду в чайник, а не в телевизор, и включать чайник в розетку, а не в унитаз итд итп. Мы так и учились, не только на повторении правильных цепочек действий, но и на избегании неправильных.
Преобразовав эти гипотезы в состояния самой сетки в виде многомерных векторов и вычтя из негативных позитивную — можно определить вектора-негативы, на которых можно ее дообучить.
Как пример: ребенок взаимодействуя с горячими вещами, обучается ситуациям, в которых это взаимодействие привело к ожогам и дообучается на полученных негативных примерах — этих ситуаций избегать, что делает его более осознанным, сознательным и в итоге более умным.
Примерно то же самое можно было бы реализовать для GPT-3 в области программирования: определение негативных гипотез, вычисление путем сравнения с позитивной кусочков кода (или каких-то более абстрактных представлений) которые не сработали, формирование чего-то вроде стоп-листа и дообучения на нем
То же самое похоже делает GPT-3, берет элементарное упрощенное представление в виде текстового описания и расширяет его в указанной области применения, делает более высокоуровневым. Но нового знания, нового представления при этом не возникает — это простое непрерывное линейное преобразование.
На мой взгляд дело может сдвинуться с мертвой точки, если заставить GPT-3 генерировать множество высокоуровневых гипотез и оценивать каждую с точки зрения здравого смысла и работоспособности. Пока что это делает оператор, и именно это является основным тормозом повышения ее эффективности. Если она будет сама определять верную гипотезу-представление, опираясь на ее актуальность и работоспособность — она реально станет очень востребованной.
В области программирования мне кажется, это реализовать проще, чем в общем случае. Ведь сгенерированный код должен срабатывать одним определенным образом и именно результат его срабатывания будет определять верность гипотезы-представления
1. Разумность сети определяется не столько адекватностью и релевантностью ответов, сколько набором весов и параметров. Человеческий мозг устроен по тому же принципу, чем больше циклов обработки информации с обратной связью через него проходило, чем больше в нем образовалось нейронных цепочек — тем человек умнее. Разница между Эйнштейном и пускающим слюни дебилом — не в метафизической плоскости и «божьей искре», а в элементарных физических вещах: 90 млрд нейронов + связи между ними. Разум — это не какая-то мистическая способность и волшебство, а способность брать информацию на входе, по сложным правилам преобразовывать ее и получать информацию на выходе. Релевантность выходной информации зависит от сложности внутренних правил. Если параметров будет не 1.5 млрд, и выборка будет больше — НИЧТО не мешает нейросети превзойти уровень человека.
2. Конкретное ЗНАНИЕ (факт, описание феномена, вывод итд ) формируется в результате прохождения разряда по синапсам разных нейронов, поэтому само количество принципиально возможных ЗНАНИЙ, в том числе не имеющих смысла, в случае человека = 90 млрд ^ 90 млрд, т.е. практически бесконечно. Задача человеческого обучения — создать модель «здравого смысла», позволяющую выделять из этого неисчислимого пространства знаний те, которые релевантны окружающему миру и отсекать явный бред. При этом в «явный бред» попадают также те истинные знания, которые не были доступны человечеству на момент обучения этого конкретного человека. Иногда появляются очень одаренные люди, или гении, которые путем нетривиального сопоставления разных ЗНАНИЙ получают новые релевантные, истинные знания, которые потом включаются в картину миру и «здравый смысл» человечества. А до этого они либо считались бредом, либо были просто неизвестны. Т.е. получается, что любое новое знание — это совокупность старых знаний, связанных друг с другом. Ничего принципиально нового нет, есть новое, полученное из старого. Идем дальше: предположим что на одной из миллионов страниц интернета есть факт, который сам по себе ничего не значит, но в связке еще с десятью (или ста, или тысячей итд) подобных фактах на других страницах — способен привести ну например к знанию об общей теории поля, или как ее называют теории всего. Вероятность того, что конкретный человек, находящийся в теме, правильно обученный, с нужными весами в голове — посетит и внимательно прочитает именно ЭТУ тысячу страниц интернета — и сделает в итоге правильные выводы, получив новое знание — колеблется в районе нуля. Вероятность того, что это сделает нейросеть — 100%.
3. Самое интересное. Новое знание закодировано не в ответах, даваемых системой, а в наборе полученных параметров и обучающей выборке. Т.е. разумность даваемого ответа определяет степень его естественности для системы.
Возьмем начальную фразу «Я считаю, что текущая физика неполна, потому что...»
Для Эйнштейна, обученного на работах ведущих физиков того времени, после «потому что» следовало последовательное аргументированное изложение общей теории относительности, для его современника-дебила, или обычного человека той эпохи, после «потому что» следовал бессвязный набор букв и слов. Для Эйнштейна было естественно дать такой ответ, который вошел в наши учебники физики. В этом и состоит разница в разумности обрабатывающих информацию систем. Если вы видели птицу, и видели что птицы летают, для вас естественно знать, что птица не разобьется насмерть если ее сбросить с высоты. Если вы знаете 10 триллионов разных фактов, и знаете все доступные человечеству связи между ними, для вас естественно знать, что для достижение практической антигравитации нужно сделать то-то и то-то. И именно это вы напишете после фразы «Антигравитация возможна, потому что...». В этом нет ничего сверхъестественного, помести вас 1000 лет назад вы так же естественно рассказали бы про электричество и как сделать лейденскую банку; что полеты аппаратов тяжелее воздуха возможны и как устроен самолет итд итп. И точно так же, помести эту систему из топика сверху — сто лет назад и человечество подумало бы, что обрело всезнающего бога.
4. Способность предсказывать следующее слово в произвольном тексте, опираясь НА ВЕСЬ ИМЕЮЩИЙСЯ ОПЫТ и интеллектуальный багаж человечества — это на самом деле способность гения. Способность добывать новые знания из старых, находя связи между ними. Не изобретая, не придумывая, а просто находя на тех сотнях миллионов страниц, где уже есть все доступные на сегодня факты.