Трафик Grok взлетел более чем на 1 000 000% в марте — благодаря позиционированию как нецензурируемой, но при этом мощной и интеллектуальной платформы, а также связи с Илоном Маском — прежде чем упасть более чем на 5200% к началу мая.
Падение на 5200% - это сильно. Я всегда думал, что больше 100% упасть невозможно
С одной стороны Вы правы: мало кто смотрит рекламу внимательно. С другой, я помню рекламу Coca Cola, тоже сгенерированную ИИ недавно. Было отвратительно. Тот факт, что в этой рекламе работа ИИ осталась незамеченной, говорит, что и качество генерации, и умение пользоваться этим инструментом выросли. Как по мне, та ещё веха.
Одно дело поиграть, набросать прототип, другое - сделать готовый продукт. Это - следующий уровень зрелости технологии.
Я бы ответил утвердительно: думающая модель выдает лучший код по сравнению с бесплатной версией. Deep Search - очень полезно, когда надо быстро ознакомиться с общей картиной по определенной теме, подобрать неплохие источники для глубокого изучения. Распознавание картинок несколько раз в месяц тоже помогает: чек распознать, собрать нужные детали в магазине и убедиться, что они подходят друг к другу, оценить состав продуктов питания. И я еще не продвинутый пользователь: люди шарят экран, используют голосовой режим и тоже хвалят
Во-первых, зачем ждать? Такие уже есть. Согласно US National Center for Education Statistics, в 2019 году 17% американцев были фактически безграмотны (тест включает в себя чтение, письмо, арифметику, решение задач). Ссылка
Во-вторых, не исключено, что ИИ к тому времени вовсю будет уже заменять даже тех, кто может решать сложные задачи.
Не знаю, чем мы (человечество) будем заниматься, но, кажется, работа как средство выживания (добывания ресурсов) уйдет в прошлое (вероятно, через боль и страдания миллионов)
Почитав комментарии, хочу отметить, что эти прогнозы не зря сам Saxo называет «невероятными»/«возмутительными». Их цель - не предсказать что произойдет, а слегка потроллить публику и обсудить интересные тенденции.
Our annual Outrageous Predictions is a series of events that, while highly unlikely, could just happen. If they did, they would send shockwaves across financial markets. They are not our official forecast but are meant to spark discussions and challenge consensus.
Мой корявый перевод: Наши ежегодные «Невероятные прогнозы» представляют собой серию событий, которые, хотя и крайне маловероятны, все же могут произойти. Если это случится, они вызовут шок на финансовых рынках. Эти прогнозы не являются нашим официальным прогнозом, но предназначены для того, чтобы стимулировать дискуссии и бросать вызов общепринятому мнению.
80% там и близко нет: p() = exp(-loss), что для loss=1.8 дает те самые ≈16%, что, правда, на 3 порядка больше вероятности при равномерном распределении (1/1132).
Что касается токенизации - «сомнительно, но ок».
Вы не трекали веса/градиенты модели? Может, по ним можно было бы судить, что обучение продолжается?
Наблюдение: загадочная штука: loss растет, вероятность (вес в распределении вероятностей) правильного токена уменьшается, а точность повышается. При loss = 1.8 вес правильного токена ≈ 16% (что, правда, не говорит о распределении весов других 1131 токенов).
Вопрос к автору: Есть ли какие-то другие метрики, по которым можно судить, сходится ли модель к гроккингу или просто вхолостую ворочает матрицы?
ЗЫ: Цифры из формулы для Negative log-likelihood loss и калькулятора на телефоне, могу ошибаться)
Плюсик за полезную ссылку. Почитал список компаний:
Lockheed Martin Corporation
Northrop Grumman
Palantir
Большая четверка аудиторов (Deloitte, E&Y, KPMG, PwC) и Accenture
Куча университетов
Банки
U.S. Chamber of Commerce
Кажется, все в сборе (оборонные подрядчики, аудиторы/консультанты, банки, университеты), только Boeing не хватает.
Мне нравится, что в этом органе собрались те, кто влияет на политику и бюджет вместе с теми, кто разрабатывает модели своими руками. Пока они договорятся, успеют подумать, что и как надо регулировать.
Было бы менее здорово видеть там какую-нибудь правительственную комиссию с кучей чиновников и одного консультанта, который пишет им все документы - от этого толку меньше (с моего дивана кажется)
3 года назад попал в компанию, выдававшую рабочие ноутбуки всем разработчикам. Предложили выбор: Mac или Win, я решил попробовать Mac (до этого в глаза не видел MacOS). Достался 2019 Pro Max на Intel.
2 недели привыкания, изучения горячих клавиш, настройки окружения - и больше желания вернуться на Windows нет.
Прошел год, выдали свежий ноут на M2. Билды собираются побыстрее, тесты гоняются быстрее, вентилятор почти не шумит. С точки зрения UI разницы нет, все как летало, так и летает.
Потом компания навесила защитного софта, который жрет больше, чем VSCode, но все равно все работало идеально, пока не поставили сетевой анализатор, который делает MitM для всего трафика через свои сервера, сетевые запросы получили задержку в 30-100 мсек на каждое HTTPS соединение. Стало грустнее, но UI все так же хорош.
Когда придет пора расставаться с компанией или понадобится личный ноутбук, без сомнений куплю MB. Разве что не знаю Air или Pro. Смущает 24GB лимит для Air, но если исключить LLM, то для моей работы этого с запасом хватает.
Всем рекомендую 🙂
И пара интересных штук, чтобы жизнь была полегче:
Oh-my-zsh: делает работу в консоли куда приятнее, плагин для git- золото.
iTerm2: удобный терминал
Amethyst: оконный менеджер, вызывает боль первые несколько дней, потом без него жить невозможно. Сам укладывает окна на каждом из экранов, облегчает работу авиацию между ними. На тачпэде осталось только переключение экранов, остальное быстрее клавишами.
Каков финансовый результат вашего портфеля за 2023 в сравнении с, например, S&P500 (X% vs 26%)? А в идеале CAGR за последние лет 5-10, это бы изрядно добавило веса подходу, реализованному Вами.
Ниже очень упрощенные рассуждения для трансформеров обыкновенных.
Для начала упомянем, что «голова» модели содержит N нейронов, которые соответствуют длине словаря токенов.
Сама модель работает только с токенами (векторами), а их для нее готовят токенайзеры.
При этом, чем более длинный участок данных представлен токеном, тем длиннее контекст, с которым работает модель.
То есть нам надо решить задачу оптимизации: найти достаточно большое N, чтобы хорошо покрыть имеющийся корпус текстовых данных, но достаточно маленькое, чтобы модель могла успешно обучаться и иметь достаточно данных для каждого токена, чтобы связать его с остальными.
Если память не изменяет, то эмбеддинги (то есть словарь токенов) для GPT-3.5 и ранней GPT-4 (`text-embedding-ada-002`) имели чуть больше 50 тысяч токенов (это для всех языков мира).
Потом потыкав в модельки и собрав типичные их огрехи, правила формирования токенов немного улучшили: например, появились специальные токены отступов для Python, что сильно улучшило генерацию кода.
С одной стороны, Вы безусловно правы, ничего по-настоящему бесконечного ждать не стоит.
С другой стороны, думал, по ссылке не анекдот, а исследование, подтверждающее выход обучения на логарифмическую кривую или плато. Как появятся такие - буду рад признать, что нынешняя парадигма себя исчерпала.
Добавьте к этому непрерывные алгоритмические улучшения (в обсуждаемой статье об этом изрядно или гуглите transformer grokking или почитайте https://arxiv.org/abs/2405.15071) и потенциально генерацию данных для обучения предыдущим поколением LLM. Повторите процесс 10 тысяч раз - и получите и датасет посильнее, и обученные модели поумнее. Пока ничего фундаментально запрещающего бесконечное улучшение, не видно.
Падение на 5200% - это сильно. Я всегда думал, что больше 100% упасть невозможно
И у кожаных мешков, просиживающих часы перед монитором
Зато здорово, что можно выпустить сразу несколько статей высочайшего качества одновременно:
https://habr.com/ru/companies/gazpromneft/articles/907702/
(Разница в 2 минуты)
С одной стороны Вы правы: мало кто смотрит рекламу внимательно. С другой, я помню рекламу Coca Cola, тоже сгенерированную ИИ недавно. Было отвратительно. Тот факт, что в этой рекламе работа ИИ осталась незамеченной, говорит, что и качество генерации, и умение пользоваться этим инструментом выросли. Как по мне, та ещё веха.
Одно дело поиграть, набросать прототип, другое - сделать готовый продукт. Это - следующий уровень зрелости технологии.
Ей и сейчас можно пользоваться бесплатно (с лимитами и оговорками): это модель по умолчанию.
Я бы ответил утвердительно: думающая модель выдает лучший код по сравнению с бесплатной версией. Deep Search - очень полезно, когда надо быстро ознакомиться с общей картиной по определенной теме, подобрать неплохие источники для глубокого изучения. Распознавание картинок несколько раз в месяц тоже помогает: чек распознать, собрать нужные детали в магазине и убедиться, что они подходят друг к другу, оценить состав продуктов питания. И я еще не продвинутый пользователь: люди шарят экран, используют голосовой режим и тоже хвалят
Во-первых, зачем ждать? Такие уже есть. Согласно US National Center for Education Statistics, в 2019 году 17% американцев были фактически безграмотны (тест включает в себя чтение, письмо, арифметику, решение задач). Ссылка
Во-вторых, не исключено, что ИИ к тому времени вовсю будет уже заменять даже тех, кто может решать сложные задачи.
Не знаю, чем мы (человечество) будем заниматься, но, кажется, работа как средство выживания (добывания ресурсов) уйдет в прошлое (вероятно, через боль и страдания миллионов)
Почитав комментарии, хочу отметить, что эти прогнозы не зря сам Saxo называет «невероятными»/«возмутительными». Их цель - не предсказать что произойдет, а слегка потроллить публику и обсудить интересные тенденции.
Ссылка на пресс-релиз (источник)
Мой корявый перевод: Наши ежегодные «Невероятные прогнозы» представляют собой серию событий, которые, хотя и крайне маловероятны, все же могут произойти. Если это случится, они вызовут шок на финансовых рынках. Эти прогнозы не являются нашим официальным прогнозом, но предназначены для того, чтобы стимулировать дискуссии и бросать вызов общепринятому мнению.
Учитывая, что суд хочет заставить Google продать браузер, OpenAI может просто купить Chrome
Читал другие цифры и могу сказать про себя:
Пишу на TypeScript/Python, о которых AI знает много
AI экономит время
AI не напишет хороший код за меня (по крайней мере пока)
Примеры, где мне помогает auto-complete:
Boilerplate код: стандартные обертки функции, повторяющиеся много раз внутри модуля: обработка и логирование ошибок, проверка контракта функции
Комментарии к функциям (после пары слов часто дает разумное продолжение строки)
Конвертация объектов в код: я запихиваю в редактор JSON-объект и прошу AI превратить это в описание класса
Примеры, где мне помогает chat:
Создание Unit-тестов: базовые сценарии, покрывающие 60-70% всех ветвлений модуля
Названия функций, которые я не помню «с ходу», но знаю, что она есть и что она делает
Узнать, какие есть популярные библиотеки для решения нетипичной задачи (редко)
AI ошибается, так что бездумно использовать его не получается. Но пользы для меня ощутимо больше, чем вреда
80% там и близко нет: p() = exp(-loss), что для loss=1.8 дает те самые ≈16%, что, правда, на 3 порядка больше вероятности при равномерном распределении (1/1132).
Что касается токенизации - «сомнительно, но ок».
Вы не трекали веса/градиенты модели? Может, по ним можно было бы судить, что обучение продолжается?
Наблюдение: загадочная штука: loss растет, вероятность (вес в распределении вероятностей) правильного токена уменьшается, а точность повышается. При loss = 1.8 вес правильного токена ≈ 16% (что, правда, не говорит о распределении весов других 1131 токенов).
Вопрос к автору: Есть ли какие-то другие метрики, по которым можно судить, сходится ли модель к гроккингу или просто вхолостую ворочает матрицы?
ЗЫ: Цифры из формулы для Negative log-likelihood loss и калькулятора на телефоне, могу ошибаться)
Плюсик за полезную ссылку. Почитал список компаний:
Lockheed Martin Corporation
Northrop Grumman
Palantir
Большая четверка аудиторов (Deloitte, E&Y, KPMG, PwC) и Accenture
Куча университетов
Банки
U.S. Chamber of Commerce
Кажется, все в сборе (оборонные подрядчики, аудиторы/консультанты, банки, университеты), только Boeing не хватает.
Мне нравится, что в этом органе собрались те, кто влияет на политику и бюджет вместе с теми, кто разрабатывает модели своими руками. Пока они договорятся, успеют подумать, что и как надо регулировать.
Было бы менее здорово видеть там какую-нибудь правительственную комиссию с кучей чиновников и одного консультанта, который пишет им все документы - от этого толку меньше (с моего дивана кажется)
3 года назад попал в компанию, выдававшую рабочие ноутбуки всем разработчикам. Предложили выбор: Mac или Win, я решил попробовать Mac (до этого в глаза не видел MacOS). Достался 2019 Pro Max на Intel.
2 недели привыкания, изучения горячих клавиш, настройки окружения - и больше желания вернуться на Windows нет.
Прошел год, выдали свежий ноут на M2. Билды собираются побыстрее, тесты гоняются быстрее, вентилятор почти не шумит. С точки зрения UI разницы нет, все как летало, так и летает.
Потом компания навесила защитного софта, который жрет больше, чем VSCode, но все равно все работало идеально, пока не поставили сетевой анализатор, который делает MitM для всего трафика через свои сервера, сетевые запросы получили задержку в 30-100 мсек на каждое HTTPS соединение. Стало грустнее, но UI все так же хорош.
Когда придет пора расставаться с компанией или понадобится личный ноутбук, без сомнений куплю MB. Разве что не знаю Air или Pro. Смущает 24GB лимит для Air, но если исключить LLM, то для моей работы этого с запасом хватает.
Всем рекомендую 🙂
И пара интересных штук, чтобы жизнь была полегче:
Oh-my-zsh: делает работу в консоли куда приятнее, плагин для git- золото.
iTerm2: удобный терминал
Amethyst: оконный менеджер, вызывает боль первые несколько дней, потом без него жить невозможно. Сам укладывает окна на каждом из экранов, облегчает работу авиацию между ними. На тачпэде осталось только переключение экранов, остальное быстрее клавишами.
Каков финансовый результат вашего портфеля за 2023 в сравнении с, например, S&P500 (X% vs 26%)? А в идеале CAGR за последние лет 5-10, это бы изрядно добавило веса подходу, реализованному Вами.
Ниже очень упрощенные рассуждения для трансформеров обыкновенных.
Для начала упомянем, что «голова» модели содержит N нейронов, которые соответствуют длине словаря токенов.
Сама модель работает только с токенами (векторами), а их для нее готовят токенайзеры.
При этом, чем более длинный участок данных представлен токеном, тем длиннее контекст, с которым работает модель.
То есть нам надо решить задачу оптимизации: найти достаточно большое N, чтобы хорошо покрыть имеющийся корпус текстовых данных, но достаточно маленькое, чтобы модель могла успешно обучаться и иметь достаточно данных для каждого токена, чтобы связать его с остальными.
Если память не изменяет, то эмбеддинги (то есть словарь токенов) для GPT-3.5 и ранней GPT-4 (`text-embedding-ada-002`) имели чуть больше 50 тысяч токенов (это для всех языков мира).
Потом потыкав в модельки и собрав типичные их огрехи, правила формирования токенов немного улучшили: например, появились специальные токены отступов для Python, что сильно улучшило генерацию кода.
С одной стороны, Вы безусловно правы, ничего по-настоящему бесконечного ждать не стоит.
С другой стороны, думал, по ссылке не анекдот, а исследование, подтверждающее выход обучения на логарифмическую кривую или плато. Как появятся такие - буду рад признать, что нынешняя парадигма себя исчерпала.
Сразу оговорюсь, я оголтелый AGI-оптимист, так что не воспринимайте на 100% серьезно.
Тут в соседей новости (https://habr.com/ru/companies/bothub/news/823338/) есть цифры недо-интеллека:
Мне кажется, весьма неплохо для ин-тер-нета.
Добавьте к этому непрерывные алгоритмические улучшения (в обсуждаемой статье об этом изрядно или гуглите transformer grokking или почитайте https://arxiv.org/abs/2405.15071) и потенциально генерацию данных для обучения предыдущим поколением LLM. Повторите процесс 10 тысяч раз - и получите и датасет посильнее, и обученные модели поумнее. Пока ничего фундаментально запрещающего бесконечное улучшение, не видно.
Как будто патриотический паблик почитал. Не пишите, пожалуйста, больше
Вы написали, что нужна будет подписка для доступа к ChatGPT. Если я правильно помню презентацию, подписка будет не нужна.
Если по подписке вам доступны дополнительные возможности, то вроде бы вы можете их задействовать, но это опционально.
Также, перечень возможностей не озвучили (да и вообще мне неясно, что там есть сейчас, кроме лимитов повыше)