ChatGPT, ..., потеснит программистов не потому, что он будет за них генерировать код по текстовому описанию алгоритма, а потому, что этот код никому не будет нужен.
Мне бы очень хотелось верить в это. Но пока к этому есть пара небольших препятствий:
(Теоретически преодолимо) Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью. Когда речь идет о работе с более-менее сложной предметной областью, таким размером контекста не обойтись: надо или тренировать модель но большом количестве текста из этой предметной области (а его может не быть или это очень дорого) или помещать все эти знания в контекст в виде правил (на что может не хватить места). Соответственно, изложить квантовую термодинамику или любой другой передний край науки ни в 4К, ни в 4М токенов невозможно. А создать достаточное количество текстов в этой области можно только когда она безнадежно устареет.
(Пока непреодолимо) ЯМ вероятностные по своей природе. Их функция - токен за токеном предсказывать, какой токен наиболее вероятен с учетом всех уже имеющихся в контексте. Соответственно, их способность к абстрактному мышлению фундаментально ограничена теми знаниями, что уже там есть (были в обучающем корпусе) и возможностью слово за словом выводить утверждения. Создание новых токенов, наделение их смыслом (т.е. задание таблиц вероятности их положения среди других токенов) пока невозможны.
(Возможно, преодолимо с ростом сложности) ЯМ пока плохо понимают, когда они лгут: в них нет критика, который бы заставил их переосмыслить написанное. Справедливости ради, если в отдельной сессии спросить ChatGPT верно ли утверждение, которое она сгенерировала в соседней вкладке, она иногда соображает, что написала чушь. С умилением вспоминаю как она уверенно утверждала, что фитоняши - это вид семян (простите за огромный скриншот).
(Возможно, преодолимо с ростом сложности) При наличии противоречий в контексте, ответ модели может меняться на диаметрально противоположный только благодаря лишнему пробелу, поставленному в случайном месте. Выявить и устранить подобные противоречия - интересная задача, но я пока не встречал работ на эту тему. Если у кого-то из хабровчан есть на примете научные работы - прошу поделиться.
И в то же время, я всей душой с Вами. Я хочу, чтобы в каждый телефон, в каждый дом пришел верный друг, советчик и помощник, Великий Инка (см. серию подростковых книг "Астровитянка", Н. Горькавый).
openai CLI позволяет также передавать датасет для валидациию Учитывая, что "время - деньги", по результатам валидации можно прикинуть, когда модель "сошлась" и уменьшить количество эпох обучения.
Если этот файл скачать (через CLI я не увидел способа, качаю python-скриптом), то в нем будет видно, как с ростом числа примеров (возможно) улучшаются показатели validation_loss, validation_sequence_accuracy, validation_token_accuracy. Если они делают это (условно) в середине файла, то можно подумать о сокращении количества эпох обучения
ПОДВИЗАТЬСЯ
подвизаюсь, подвизаешься, несов. (книжн.). Проявлять деятельность, работать, действовать в какой-н. области. Подвизается на своем поприще уже четверть столетия. Чехов. – Партию нельзя рассматривать, как нечто оторванное от окружающий людей. Она живет и подвизается внутри окружающей ее среды. Сталин.
Ушаков. Толковый словарь русского языка Ушакова. 2012
А это уточнение в расчетах влияет на наше оценку массы темной материи/модель распределения темной энергии? Может так случиться, что эти "темные" стали менее нужными, чтобы объяснить наблюдаемое движение рукавов галактики?
От души поздравляю жителей Канады, у которых теперь в любом самом маленьком городке появится возможность пользоваться быстрым интернетом. Это, возможно, оттянет удаленщиков из крупных городов и благотворно скажется и на стоимости аренды в больших городах, и на бюджетах городов поменьше
12 — да, это из области фантастики. А 17 — запросто. Беглый гуглинг по аренде офисов до 20 кв.м. дает много результатов в районе 17+ кв.м. со стоимостью 1000р / кв.м. / мес. В первом попавшемся мне примере были фото приличного офиса Б-класса и туалета, кафе, фойе в том же здании. Располагается он у ТТК.
ИМХО, 17 кв.м. собственного пространства для работы — это довольно неплохо в сравнении с многолюдным (желаю Коворкингу 14 много клиентов!) местом.
Мне бы очень хотелось верить в это. Но пока к этому есть пара небольших препятствий:
(Теоретически преодолимо) Языковые модели (ЯМ) обладают ограниченным контекстом. Для ChatGPT это 4096 токенов (около 3К слов). За этой границей все сказанное в ходе сессии "забывается" моделью. Когда речь идет о работе с более-менее сложной предметной областью, таким размером контекста не обойтись: надо или тренировать модель но большом количестве текста из этой предметной области (а его может не быть или это очень дорого) или помещать все эти знания в контекст в виде правил (на что может не хватить места). Соответственно, изложить квантовую термодинамику или любой другой передний край науки ни в 4К, ни в 4М токенов невозможно. А создать достаточное количество текстов в этой области можно только когда она безнадежно устареет.
(Пока непреодолимо) ЯМ вероятностные по своей природе. Их функция - токен за токеном предсказывать, какой токен наиболее вероятен с учетом всех уже имеющихся в контексте. Соответственно, их способность к абстрактному мышлению фундаментально ограничена теми знаниями, что уже там есть (были в обучающем корпусе) и возможностью слово за словом выводить утверждения. Создание новых токенов, наделение их смыслом (т.е. задание таблиц вероятности их положения среди других токенов) пока невозможны.
(Возможно, преодолимо с ростом сложности) ЯМ пока плохо понимают, когда они лгут: в них нет критика, который бы заставил их переосмыслить написанное. Справедливости ради, если в отдельной сессии спросить ChatGPT верно ли утверждение, которое она сгенерировала в соседней вкладке, она иногда соображает, что написала чушь. С умилением вспоминаю как она уверенно утверждала, что фитоняши - это вид семян (простите за огромный скриншот).
(Возможно, преодолимо с ростом сложности) При наличии противоречий в контексте, ответ модели может меняться на диаметрально противоположный только благодаря лишнему пробелу, поставленному в случайном месте. Выявить и устранить подобные противоречия - интересная задача, но я пока не встречал работ на эту тему. Если у кого-то из хабровчан есть на примете научные работы - прошу поделиться.
И в то же время, я всей душой с Вами. Я хочу, чтобы в каждый телефон, в каждый дом пришел верный друг, советчик и помощник, Великий Инка (см. серию подростковых книг "Астровитянка", Н. Горькавый).
openaiCLI позволяет также передавать датасет для валидациию Учитывая, что "время - деньги", по результатам валидации можно прикинуть, когда модель "сошлась" и уменьшить количество эпох обучения.После завершения обучения в "обучении" появится прикрепленный файл:
Если этот файл скачать (через CLI я не увидел способа, качаю python-скриптом), то в нем будет видно, как с ростом числа примеров (возможно) улучшаются показатели validation_loss, validation_sequence_accuracy, validation_token_accuracy. Если они делают это (условно) в середине файла, то можно подумать о сокращении количества эпох обучения
На мой взгляд, Вы переоцениваете коллективные «большие деньги». Так и до масонов с рептилоидами можно докатиться.
«Всего добился сам», кажется, отсутствует в статье. А как пример человека, который очень много работает, он хорош.
ПОДВИЗАТЬСЯ
подвизаюсь, подвизаешься, несов. (книжн.). Проявлять деятельность, работать, действовать в какой-н. области. Подвизается на своем поприще уже четверть столетия. Чехов. – Партию нельзя рассматривать, как нечто оторванное от окружающий людей. Она живет и подвизается внутри окружающей ее среды. Сталин.
Ушаков. Толковый словарь русского языка Ушакова. 2012
А это уточнение в расчетах влияет на наше оценку массы темной материи/модель распределения темной энергии? Может так случиться, что эти "темные" стали менее нужными, чтобы объяснить наблюдаемое движение рукавов галактики?
Ага, я ждал КДПВ оттуда
Microsoft говорит, что до 163 млн. чел. пользуются интернетом на скоростях до 25 МБит/с:
Источник: blogs.microsoft.com/on-the-issues/2019/04/08/its-time-for-a-new-approach-for-mapping-broadband-data-to-better-serve-americans
UPD: Всего жителей: 330 млн. чел.: www.census.gov/popclock
От души поздравляю жителей Канады, у которых теперь в любом самом маленьком городке появится возможность пользоваться быстрым интернетом. Это, возможно, оттянет удаленщиков из крупных городов и благотворно скажется и на стоимости аренды в больших городах, и на бюджетах городов поменьше
Извините, а у кого-нибудь, кроме меня, ASMR вызывают беспокойство вместо успокоения?
У вас в IsDefaultVerbose() отрицание отклеилось.
У топикстартера цены в неделю указаны, а у вас в месяц
Спасибо, очень интересно. Продолжайте, пожалуйста
Интересно, а оборудование СОРМ в теории могло бы оказывать "услугу" таргетированная рекламы? Или оно только на чтение?
BadComedian тоже
Поясните, пожалуйста, если кто понимает: как автор мессенджера планирует монетизировать свое творение?
Нет ли риска усиления государственного контроля в случае "обобществления" сети?
ИМХО, 17 кв.м. собственного пространства для работы — это довольно неплохо в сравнении с многолюдным (желаю Коворкингу 14 много клиентов!) местом.