Вселенная существует, я ее могу наблюдать. И если я не сторонник солипсизма, то могу утверждать, что Вселенная продолжит существовать даже если меня в ней не будет. А вот про сознание/самосознание я того же утверждать не могу. Мало того, наблюдения за больными с поврежденным мозгом наводят на мысль, что сознание - это просто набор более простых реакций на раздражители. Просто их комбинация заставляет нас любоваться собой (не только внешностью, но и своим умом и сообразительностью).
Я пока не могу увязать правила гиперграфа и его непрерывное вычисление и необходимость самосознания / наблюдателя для вычислений.
Простите, вы только что ввели еще одну непонятную сущность. Мартышка тоже интересуется своей природой, на ютубе полно смешных видео про это. Зачем это понятие необходимо для построения модели мира?
Простите за глупый вопрос, а зачем вообще вводить сущность сознания? Нельзя обойтись без этого? (Дальше будет жирно, я знаю) Ведь это просто завихрения электромагнитных полей в жирном куске материи. Чем я, например, отличаюсь от очень умного дельфина или кита? Или гориллы, знающей язык жестов? И далее по нисходящей: а от собаки? Мыши? Насекомого? Объемом и химией электропроводящей массы. Почему я - наблюдатель? А если эксперимент показывать горилле? (И далее по списку)
Кстати, да: я пользуюсь CoPilot, и с ним очень помогает следующее: в начале теста я пишу, что буду проверять в виде комментария. При наличии уже написанных 2-3 тестов он «подхватывает» и очень экономит время, зачастую выдавая целые блоки подготовки моков и проверки результатов. Эдакий контекстно-зависимый интеллектуальный копипаст
Статья об очень хорошем и полезном. Семантический поиск в 50 строк кода - это здорово. Я прям жду, чтобы этот инструмент пришел в мою IDE. Но было бы здорово, если бы Вы немного рассказали, как эта магия работает. Например:
Для обработки текста нейросети не работают напрямую с текстовой информацией. Вместо этого они преобразуют текст сначала в набор токенов (это могут быть кусочки текста от буквы до целой фразы, хотя сейчас распространен подход, в котором берут несколько букв, часто встречающихся вместе), а потом для каждого токена выдумывают случайный вектор в многомерном пространстве. Кстати, посмотреть, как фраза разваливается на токены, используемые в GPT моделях от OpenAI можно вот тут.
Соответствие токенов и этих случайных векторов нам бы лучше сохранить где-то (еще пригодится, чтобы понять, что там нейросеть нам пытается сказать, и сделать обратное преобразование из векторов в токены, а потом склеить эти токены, чтобы получился текст), поэтому все токены нумеруют (обычно в порядке убывания частоты их появления)
Случайные вектора - это как раз эмбеддинги и есть, но до того, как нейросеть обучится, они нам особой пользы не принесут. И магия нейросетей состоит в том, что после чтения всего интернета много раз, нейросеть растаскивает эти вектора в пространстве таким образом, что похожие по смыслу слова -> токены -> вектора оказываются рядом. И вот такие эмбеддинги уже полезные: по ним можно предположить, насколько два текста (текст -> токены -> эмбеддинги) схожи путем сравнения просто кучки чисел. И ровно их вы используете для поиска по кодовой базе.
Еще я бы рассказал пару слов об операции сравнения, но «поля этой книги слишком узки для неё».
Платный сегодня тоже лежал (HTTP 524, возможно, от балансировщика нагрузки). Но потом взлетел, по наблюдениям - действительно пошустрее и стабильнее выдает ответ
Но уже доступна модель text-davinci-003, ведет себя очень похожим образом. Она хорошо справляется с трансформациями текста, но не всегда следует инструкциям (как, впрочем, и ChatGPT).
ChatGPT, ..., потеснит программистов не потому, что он будет за них генерировать код по текстовому описанию алгоритма, а потому, что этот код никому не будет нужен.
Мне бы очень хотелось верить в это. Но пока к этому есть пара небольших препятствий:
(Теоретически преодолимо) Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью. Когда речь идет о работе с более-менее сложной предметной областью, таким размером контекста не обойтись: надо или тренировать модель но большом количестве текста из этой предметной области (а его может не быть или это очень дорого) или помещать все эти знания в контекст в виде правил (на что может не хватить места). Соответственно, изложить квантовую термодинамику или любой другой передний край науки ни в 4К, ни в 4М токенов невозможно. А создать достаточное количество текстов в этой области можно только когда она безнадежно устареет.
(Пока непреодолимо) ЯМ вероятностные по своей природе. Их функция - токен за токеном предсказывать, какой токен наиболее вероятен с учетом всех уже имеющихся в контексте. Соответственно, их способность к абстрактному мышлению фундаментально ограничена теми знаниями, что уже там есть (были в обучающем корпусе) и возможностью слово за словом выводить утверждения. Создание новых токенов, наделение их смыслом (т.е. задание таблиц вероятности их положения среди других токенов) пока невозможны.
(Возможно, преодолимо с ростом сложности) ЯМ пока плохо понимают, когда они лгут: в них нет критика, который бы заставил их переосмыслить написанное. Справедливости ради, если в отдельной сессии спросить ChatGPT верно ли утверждение, которое она сгенерировала в соседней вкладке, она иногда соображает, что написала чушь. С умилением вспоминаю как она уверенно утверждала, что фитоняши - это вид семян (простите за огромный скриншот).
(Возможно, преодолимо с ростом сложности) При наличии противоречий в контексте, ответ модели может меняться на диаметрально противоположный только благодаря лишнему пробелу, поставленному в случайном месте. Выявить и устранить подобные противоречия - интересная задача, но я пока не встречал работ на эту тему. Если у кого-то из хабровчан есть на примете научные работы - прошу поделиться.
И в то же время, я всей душой с Вами. Я хочу, чтобы в каждый телефон, в каждый дом пришел верный друг, советчик и помощник, Великий Инка (см. серию подростковых книг "Астровитянка", Н. Горькавый).
openai CLI позволяет также передавать датасет для валидациию Учитывая, что "время - деньги", по результатам валидации можно прикинуть, когда модель "сошлась" и уменьшить количество эпох обучения.
Если этот файл скачать (через CLI я не увидел способа, качаю python-скриптом), то в нем будет видно, как с ростом числа примеров (возможно) улучшаются показатели validation_loss, validation_sequence_accuracy, validation_token_accuracy. Если они делают это (условно) в середине файла, то можно подумать о сокращении количества эпох обучения
ПОДВИЗАТЬСЯ
подвизаюсь, подвизаешься, несов. (книжн.). Проявлять деятельность, работать, действовать в какой-н. области. Подвизается на своем поприще уже четверть столетия. Чехов. – Партию нельзя рассматривать, как нечто оторванное от окружающий людей. Она живет и подвизается внутри окружающей ее среды. Сталин.
Ушаков. Толковый словарь русского языка Ушакова. 2012
А это уточнение в расчетах влияет на наше оценку массы темной материи/модель распределения темной энергии? Может так случиться, что эти "темные" стали менее нужными, чтобы объяснить наблюдаемое движение рукавов галактики?
Вселенная существует, я ее могу наблюдать. И если я не сторонник солипсизма, то могу утверждать, что Вселенная продолжит существовать даже если меня в ней не будет. А вот про сознание/самосознание я того же утверждать не могу. Мало того, наблюдения за больными с поврежденным мозгом наводят на мысль, что сознание - это просто набор более простых реакций на раздражители. Просто их комбинация заставляет нас любоваться собой (не только внешностью, но и своим умом и сообразительностью).
Я пока не могу увязать правила гиперграфа и его непрерывное вычисление и необходимость самосознания / наблюдателя для вычислений.
Простите, вы только что ввели еще одну непонятную сущность. Мартышка тоже интересуется своей природой, на ютубе полно смешных видео про это. Зачем это понятие необходимо для построения модели мира?
Извините, я не троллю, а правда пытаюсь понять
Простите за глупый вопрос, а зачем вообще вводить сущность сознания? Нельзя обойтись без этого? (Дальше будет жирно, я знаю) Ведь это просто завихрения электромагнитных полей в жирном куске материи. Чем я, например, отличаюсь от очень умного дельфина или кита? Или гориллы, знающей язык жестов? И далее по нисходящей: а от собаки? Мыши? Насекомого? Объемом и химией электропроводящей массы. Почему я - наблюдатель? А если эксперимент показывать горилле? (И далее по списку)
Для интересующихся публикация на arxiv: Infinity-former: Infinite memory transformer
Машинный перевод?
Я на всякий случай погуглил, нет такой функции активации, как LSTM. Это тип рекуррентных нейросетей
Очень милый способ устроить сокращения персонала, не привлекая внимания санитаров
Кстати, да: я пользуюсь CoPilot, и с ним очень помогает следующее: в начале теста я пишу, что буду проверять в виде комментария. При наличии уже написанных 2-3 тестов он «подхватывает» и очень экономит время, зачастую выдавая целые блоки подготовки моков и проверки результатов. Эдакий контекстно-зависимый интеллектуальный копипаст
Статья об очень хорошем и полезном. Семантический поиск в 50 строк кода - это здорово. Я прям жду, чтобы этот инструмент пришел в мою IDE. Но было бы здорово, если бы Вы немного рассказали, как эта магия работает. Например:
Для обработки текста нейросети не работают напрямую с текстовой информацией. Вместо этого они преобразуют текст сначала в набор токенов (это могут быть кусочки текста от буквы до целой фразы, хотя сейчас распространен подход, в котором берут несколько букв, часто встречающихся вместе), а потом для каждого токена выдумывают случайный вектор в многомерном пространстве. Кстати, посмотреть, как фраза разваливается на токены, используемые в GPT моделях от OpenAI можно вот тут.
Соответствие токенов и этих случайных векторов нам бы лучше сохранить где-то (еще пригодится, чтобы понять, что там нейросеть нам пытается сказать, и сделать обратное преобразование из векторов в токены, а потом склеить эти токены, чтобы получился текст), поэтому все токены нумеруют (обычно в порядке убывания частоты их появления)
Случайные вектора - это как раз эмбеддинги и есть, но до того, как нейросеть обучится, они нам особой пользы не принесут. И магия нейросетей состоит в том, что после чтения всего интернета много раз, нейросеть растаскивает эти вектора в пространстве таким образом, что похожие по смыслу слова -> токены -> вектора оказываются рядом. И вот такие эмбеддинги уже полезные: по ним можно предположить, насколько два текста (текст -> токены -> эмбеддинги) схожи путем сравнения просто кучки чисел. И ровно их вы используете для поиска по кодовой базе.
Еще я бы рассказал пару слов об операции сравнения, но «поля этой книги слишком узки для неё».
за статью - еще раз спасибо!
Кажется, это не чат-бот, это скрины обычного поиска.
Платный сегодня тоже лежал (HTTP 524, возможно, от балансировщика нагрузки). Но потом взлетел, по наблюдениям - действительно пошустрее и стабильнее выдает ответ
Если я не ошибаюсь, тут принято такое отправлять личным сообщением
Как обещают OpenAI, "coming soon".
Но уже доступна модель
text-davinci-003, ведет себя очень похожим образом. Она хорошо справляется с трансформациями текста, но не всегда следует инструкциям (как, впрочем, и ChatGPT).Мне бы очень хотелось верить в это. Но пока к этому есть пара небольших препятствий:
(Теоретически преодолимо) Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью. Когда речь идет о работе с более-менее сложной предметной областью, таким размером контекста не обойтись: надо или тренировать модель но большом количестве текста из этой предметной области (а его может не быть или это очень дорого) или помещать все эти знания в контекст в виде правил (на что может не хватить места). Соответственно, изложить квантовую термодинамику или любой другой передний край науки ни в 4К, ни в 4М токенов невозможно. А создать достаточное количество текстов в этой области можно только когда она безнадежно устареет.
(Пока непреодолимо) ЯМ вероятностные по своей природе. Их функция - токен за токеном предсказывать, какой токен наиболее вероятен с учетом всех уже имеющихся в контексте. Соответственно, их способность к абстрактному мышлению фундаментально ограничена теми знаниями, что уже там есть (были в обучающем корпусе) и возможностью слово за словом выводить утверждения. Создание новых токенов, наделение их смыслом (т.е. задание таблиц вероятности их положения среди других токенов) пока невозможны.
(Возможно, преодолимо с ростом сложности) ЯМ пока плохо понимают, когда они лгут: в них нет критика, который бы заставил их переосмыслить написанное. Справедливости ради, если в отдельной сессии спросить ChatGPT верно ли утверждение, которое она сгенерировала в соседней вкладке, она иногда соображает, что написала чушь. С умилением вспоминаю как она уверенно утверждала, что фитоняши - это вид семян (простите за огромный скриншот).
(Возможно, преодолимо с ростом сложности) При наличии противоречий в контексте, ответ модели может меняться на диаметрально противоположный только благодаря лишнему пробелу, поставленному в случайном месте. Выявить и устранить подобные противоречия - интересная задача, но я пока не встречал работ на эту тему. Если у кого-то из хабровчан есть на примете научные работы - прошу поделиться.
И в то же время, я всей душой с Вами. Я хочу, чтобы в каждый телефон, в каждый дом пришел верный друг, советчик и помощник, Великий Инка (см. серию подростковых книг "Астровитянка", Н. Горькавый).
openaiCLI позволяет также передавать датасет для валидациию Учитывая, что "время - деньги", по результатам валидации можно прикинуть, когда модель "сошлась" и уменьшить количество эпох обучения.После завершения обучения в "обучении" появится прикрепленный файл:
Если этот файл скачать (через CLI я не увидел способа, качаю python-скриптом), то в нем будет видно, как с ростом числа примеров (возможно) улучшаются показатели validation_loss, validation_sequence_accuracy, validation_token_accuracy. Если они делают это (условно) в середине файла, то можно подумать о сокращении количества эпох обучения
На мой взгляд, Вы переоцениваете коллективные «большие деньги». Так и до масонов с рептилоидами можно докатиться.
«Всего добился сам», кажется, отсутствует в статье. А как пример человека, который очень много работает, он хорош.
ПОДВИЗАТЬСЯ
подвизаюсь, подвизаешься, несов. (книжн.). Проявлять деятельность, работать, действовать в какой-н. области. Подвизается на своем поприще уже четверть столетия. Чехов. – Партию нельзя рассматривать, как нечто оторванное от окружающий людей. Она живет и подвизается внутри окружающей ее среды. Сталин.
Ушаков. Толковый словарь русского языка Ушакова. 2012
А это уточнение в расчетах влияет на наше оценку массы темной материи/модель распределения темной энергии? Может так случиться, что эти "темные" стали менее нужными, чтобы объяснить наблюдаемое движение рукавов галактики?
Ага, я ждал КДПВ оттуда
Microsoft говорит, что до 163 млн. чел. пользуются интернетом на скоростях до 25 МБит/с:
Источник: blogs.microsoft.com/on-the-issues/2019/04/08/its-time-for-a-new-approach-for-mapping-broadband-data-to-better-serve-americans
UPD: Всего жителей: 330 млн. чел.: www.census.gov/popclock