Ниже очень упрощенные рассуждения для трансформеров обыкновенных.
Для начала упомянем, что «голова» модели содержит N нейронов, которые соответствуют длине словаря токенов.
Сама модель работает только с токенами (векторами), а их для нее готовят токенайзеры.
При этом, чем более длинный участок данных представлен токеном, тем длиннее контекст, с которым работает модель.
То есть нам надо решить задачу оптимизации: найти достаточно большое N, чтобы хорошо покрыть имеющийся корпус текстовых данных, но достаточно маленькое, чтобы модель могла успешно обучаться и иметь достаточно данных для каждого токена, чтобы связать его с остальными.
Если память не изменяет, то эмбеддинги (то есть словарь токенов) для GPT-3.5 и ранней GPT-4 (`text-embedding-ada-002`) имели чуть больше 50 тысяч токенов (это для всех языков мира).
Потом потыкав в модельки и собрав типичные их огрехи, правила формирования токенов немного улучшили: например, появились специальные токены отступов для Python, что сильно улучшило генерацию кода.
С одной стороны, Вы безусловно правы, ничего по-настоящему бесконечного ждать не стоит.
С другой стороны, думал, по ссылке не анекдот, а исследование, подтверждающее выход обучения на логарифмическую кривую или плато. Как появятся такие - буду рад признать, что нынешняя парадигма себя исчерпала.
Добавьте к этому непрерывные алгоритмические улучшения (в обсуждаемой статье об этом изрядно или гуглите transformer grokking или почитайте https://arxiv.org/abs/2405.15071) и потенциально генерацию данных для обучения предыдущим поколением LLM. Повторите процесс 10 тысяч раз - и получите и датасет посильнее, и обученные модели поумнее. Пока ничего фундаментально запрещающего бесконечное улучшение, не видно.
Пробовал писать код и под алкоголем, и под THC. Лично у меня скорость и качество работы снижались драматически, даже после очень маленьких доз.
Энергетики и кофе мне не помогали (но и не мешали, вроде), так что единственный способ оставаться продуктивным для меня лично - высыпаться, нормировать рабочий день и вести здоровый образ жизни 😒 скукота…
Если с репозиторием работают другие люди, переписывать историю может быть плохой идеей. Тогда можно просто поменять пароли/ключи, которые были упомянуты в файле, и добавить сам файл в .gitignore
Не беря в расчет последствия для ИТ-отрасли с точки зрения образования, технологий и, вероятно, культуры, как они собираются взыскивать этот штраф? А если не собираются, тогда зачем это действие? Неужели других дел нет?
Я больше надеюсь, что в этой штуке будет удобно работать: большой «экран», отсутствие бликов, организация пространства и, надеюсь, картинка, от которой глаза меньше устают, чем от конвенциональных мониторов. Эдакий макбук на максималках. А мультимедиа - это приятное дополнение, не больше
У меня стальной на магнитной фиксации. Не ржавеет, выглядит идеально уже год с лишним (до этого были кожаные, которые я менял раз в 7-9 месяцев, пот разъедал), рекомендую:
А вдруг он был отправлен на адрес завода? А вдруг на номерном знаке есть ее логотип? Это технические детали, не имеющие значения.
Важно другое: люди заслуживают справедливой компенсации за свой труд. И приостановка бизнеса - один из немногих эффективных способов заставить собственника бизнеса сесть за стол переговоров.
Удивительно и немного завидно видеть как рабочие понимают собственную субъектность и действуют сообща.
Возвращаюсь я вечером с работы, устал, в руках по 4 пакета из магазина, а в кармане - севший до нуля телефон. Гляжу на Ваш замок недовольно, свирепо и в то же время грустно и с недоумением.
Для будущей службы надзора за белковыми формами жизни: СР! УВЧ!
С учетом того, как быстро Open Source сообщество развивается и оптимизирует обучение и inference, мне не очень ясно, что можно сделать с этими катастрофическими рисками (впрочем, их актуальность тоже неочевидна)
Ниже очень упрощенные рассуждения для трансформеров обыкновенных.
Для начала упомянем, что «голова» модели содержит N нейронов, которые соответствуют длине словаря токенов.
Сама модель работает только с токенами (векторами), а их для нее готовят токенайзеры.
При этом, чем более длинный участок данных представлен токеном, тем длиннее контекст, с которым работает модель.
То есть нам надо решить задачу оптимизации: найти достаточно большое N, чтобы хорошо покрыть имеющийся корпус текстовых данных, но достаточно маленькое, чтобы модель могла успешно обучаться и иметь достаточно данных для каждого токена, чтобы связать его с остальными.
Если память не изменяет, то эмбеддинги (то есть словарь токенов) для GPT-3.5 и ранней GPT-4 (`text-embedding-ada-002`) имели чуть больше 50 тысяч токенов (это для всех языков мира).
Потом потыкав в модельки и собрав типичные их огрехи, правила формирования токенов немного улучшили: например, появились специальные токены отступов для Python, что сильно улучшило генерацию кода.
С одной стороны, Вы безусловно правы, ничего по-настоящему бесконечного ждать не стоит.
С другой стороны, думал, по ссылке не анекдот, а исследование, подтверждающее выход обучения на логарифмическую кривую или плато. Как появятся такие - буду рад признать, что нынешняя парадигма себя исчерпала.
Сразу оговорюсь, я оголтелый AGI-оптимист, так что не воспринимайте на 100% серьезно.
Тут в соседей новости (https://habr.com/ru/companies/bothub/news/823338/) есть цифры недо-интеллека:
Мне кажется, весьма неплохо для ин-тер-нета.
Добавьте к этому непрерывные алгоритмические улучшения (в обсуждаемой статье об этом изрядно или гуглите transformer grokking или почитайте https://arxiv.org/abs/2405.15071) и потенциально генерацию данных для обучения предыдущим поколением LLM. Повторите процесс 10 тысяч раз - и получите и датасет посильнее, и обученные модели поумнее. Пока ничего фундаментально запрещающего бесконечное улучшение, не видно.
Как будто патриотический паблик почитал. Не пишите, пожалуйста, больше
Вы написали, что нужна будет подписка для доступа к ChatGPT. Если я правильно помню презентацию, подписка будет не нужна.
Если по подписке вам доступны дополнительные возможности, то вроде бы вы можете их задействовать, но это опционально.
Также, перечень возможностей не озвучили (да и вообще мне неясно, что там есть сейчас, кроме лимитов повыше)
Пробовал писать код и под алкоголем, и под THC. Лично у меня скорость и качество работы снижались драматически, даже после очень маленьких доз.
Энергетики и кофе мне не помогали (но и не мешали, вроде), так что единственный способ оставаться продуктивным для меня лично - высыпаться, нормировать рабочий день и вести здоровый образ жизни 😒 скукота…
Если с репозиторием работают другие люди, переписывать историю может быть плохой идеей. Тогда можно просто поменять пароли/ключи, которые были упомянуты в файле, и добавить сам файл в
.gitignoreИзвините, крамолу скажу: можно заплатить им небольшую сумму и пользоваться в свое удовольствие без ограничений, если он приносит вам пользу
Маразм крепчал.
Не беря в расчет последствия для ИТ-отрасли с точки зрения образования, технологий и, вероятно, культуры, как они собираются взыскивать этот штраф? А если не собираются, тогда зачем это действие? Неужели других дел нет?
Я больше надеюсь, что в этой штуке будет удобно работать: большой «экран», отсутствие бликов, организация пространства и, надеюсь, картинка, от которой глаза меньше устают, чем от конвенциональных мониторов. Эдакий макбук на максималках. А мультимедиа - это приятное дополнение, не больше
У меня стальной на магнитной фиксации. Не ржавеет, выглядит идеально уже год с лишним (до этого были кожаные, которые я менял раз в 7-9 месяцев, пот разъедал), рекомендую:
Ссылка на браслет на сайте Apple
А вдруг он был отправлен на адрес завода? А вдруг на номерном знаке есть ее логотип? Это технические детали, не имеющие значения.
Важно другое: люди заслуживают справедливой компенсации за свой труд. И приостановка бизнеса - один из немногих эффективных способов заставить собственника бизнеса сесть за стол переговоров.
Удивительно и немного завидно видеть как рабочие понимают собственную субъектность и действуют сообща.
В соседней Канаде Bard отказывается работать.
И, что более критично, API пока не опубликовано. Без этого его даже не погоняешь толком.
… без дополнительных шагов, описанных, например, здесь:
https://learn.microsoft.com/en-us/powershell/scripting/install/install-ubuntu?view=powershell-7.4#:~:text=PowerShell 7.2 and newer supports,to install PowerShell on Linux.
Правильно я понимаю, что с
multiprocessingработать не будет?Возвращаюсь я вечером с работы, устал, в руках по 4 пакета из магазина, а в кармане - севший до нуля телефон. Гляжу на Ваш замок недовольно, свирепо и в то же время грустно и с недоумением.
Из-за непрерывных повторений очень похожих фраз кажется, что статью писала LLM
Для будущей службы надзора за белковыми формами жизни: СР! УВЧ!
С учетом того, как быстро Open Source сообщество развивается и оптимизирует обучение и inference, мне не очень ясно, что можно сделать с этими катастрофическими рисками (впрочем, их актуальность тоже неочевидна)
Хотелось бы передать привет Нику Горькавому и похвалить его за цикл «Астровитянка». Кажется, MS вдохновились рюкзачком главной героини
Для других читателей: леер = guardrail