Проблемы расхождения в fp16 проявлялись чаще, чем в fp32. В основном это было связано с переполнением значений fp16 в активациях и градиентах. Максимум fp16 по модулю — 65535. Итогом переполнения становился NaN в loss'е.
А через какие операции у вас прошел inf, чтобы стать NaN?
Для большинства операций inf вполне безопасен: x/inf=0, x*inf=inf (если x!=0), exp(inf)=inf, log(inf)=inf, tanh(inf)=1
Напишу наверху, чтобы было видно сразу тем, кто столкнулся, и как бороться:
Люблю (любил) Тинькофф, но такой поступок совсем не одобряю. А перед этим ещё и одностороннее списание за якобы неправомерное обогащение. Сам себе и судья и палач, это уже совсем никуда не годится.
1) Обязательно пишем жалобу в банк (можно через чат). Вам отказывают в чате - скрините, сохраняете.
06 Навязывание дополнительных услуг при заключении договора
12 Несогласие с условиями заключенного договора
3) Заполняем все данные, прикладываем какие есть скриншоты. Если с вас списали проценты, то и их тоже.
Что произойдет дальше.
ЦБ по каждой жалобе делает сначала собственное мини-расследование, и обязывает банк дать официальный ответ в ограниченный срок. Потом смотрит ответ банка, и если такой ответ не устроит ЦБ, может влепить ему штраф, и односторонне обязать всю эту авантюру отменить. Обязательно в жалобе пишите, что ничего не оформляли, согласия не давали, услугу вам отключать отказываются, просмотр сториз - это не явное согласие.
Что может пойти не так.
Там наверняка юристы банка будут ссылаться на какой-то пункт, или что в сториз было "если вы просмотрите сториз до конца, услуга считается активированной". Если такой ответ всё-же устроит ЦБ по какой-то причине, то тут только либо идти в суд (но суммы копеечные, в суд идти не выгодно), либо голосовать рублём.
А такое уже было?
Мало кто помнит (но я помню) 2000-е года, когда тинёк только только начинал, они рассылали кредитные карты в конвертах всем подряд. Они изначально были с балансом 0, нужно было заполнить свои паспортные данные и отправить их обратно по почте. Через неделю-две на карте появлялись деньги, и пошел кредит. И вот там было столько случаев, что закопаешься. Начиная с того, что карточку могли украсть, заканчивая тем, что карточку получал на руки родственник, заполнял его данные, а оригинальный получатель ничего не знал, пока к нему не приходили приставы или коллекторы с огромным долгом...
Наступили 2015-е, и тинёк так делать перестал, засиял всеми красками Ит-банка, а теперь похоже снова скатывается в дикие абузные схемы. Прям расстроился...
Один мой знакомый будто бы рассказывал, будто бы в Яндексе вообще плохо с защитой от внутренней угрозы. Людям доступны данные, совершенно не касающиеся их зоны ответственности, в том числе персданные.
Доверие сотрудникам - это хорошо, однако здоровая безопасность точно должна быть. Особенно в чувствительных областях - там, где хранятся фамилии, адреса, телефоны.
Надо учитывать особенности ведения статистики у нас. Например, насколько я знаю, если после нападения человек умер в больнице, это не считается убийством, и не идет в статистику убийств (информацию надо проверить).
В графике "годовое кол-во преступлений в РФ (тыс случ)" сказано, что совершено 76_000 грабежей за 2020 год. В следующем, который на 1млн, цифра становится 260 / 1млн . Гуглим население России - 144млн. А 76_000 * 1_млн / 144_млн = 76_000 / 144 = 526.68 , то есть в 2 раза больше, чем тут. Опять же, по США их 244_000 / 329 = 740 работает как надо. Что-то где-то ошибки с вычислениями, мне кажется.
Очень круто! По ходу чтения появилось пару вопрсоов:
90 GB/s в all-reduce тестах удалось достичь при запуске теста на всех 137 машинах (т.е. используя 137 * 8 = 1,096 карт)?
Если это не является коммерческой тайной, то какие бенчмарки вы запускали что-бы оценить 4 vs 8 сетевых карт на узел? В частности, оценивали ли вы, например, влияние конфигурации с 4ми картами на узел на тренировку таких моделей, как GPT-3 (Megatron-LM), в которой есть все 3 типа паралелизма (tensor/pipeline/data) и которой нужно 16 узлов с 8 GPU каждой для одной реплики?
(1) 90GB/s был получен в момент когда у нас было всего 64хоста и сразу-же отдали в продакшен потому что время поджимало. Остальные подключили через пару недель . В этом и была наша ошибка. Если бы стали прогонять на всех машинах то скорее всего поймали-бы баг c adaptive-route-ами.
(2) Очень хороший вопрос, у нас чуть хитрее тест выглядел, так как у нас все хосты уже собраны с 4сетевыми карточками, поэтому мы делали обратный тест. Сравнивали результаты где на хосте используется только 4GPU, и 8 GPU, тоесть в первом случае у нас получалось соотношение GPU:NET 1:1. На linpack разница получалась ~3%. Коллеги из ML хотели сделать такой-же эксперимент на Megatron-LM, но результат я не знаю. Но раз не пришли ругаться значит значительной разницы не заметили.
Кодовое слово не помогает - моя теща, когда услышала по телефону голос "дочери" "сбившей насмерть человека", забыла сразу про все, чему мы ее учили и кинулась собирать деньги по соседям и знакомым. Хорошо хоть что за деньгами позвонила в том числе и мне. Убедить ее, что ей звонят мошенники не удалось - она была в шоковом состоянии и не соображала абсолютно ничего, вот прям совсем - пришлось жену на машине экстренно отправить к ней, это спасло ситуацию.
Спасибо большое за верное наблюдение и за ссылку на medium, это полезно! Я добавил замечание в статью:
Здесь стоит оговориться, что статья MuZero v1 вышла 19 ноября 2019, а MuZero v2 — 21 февраля 2020, так что можно считать это достижением 2019-2020 годов.
похоже, ответ есть в статье:
«Если Google даст вам идеальный ответ на запрос, вы не нажмёте ни на одну рекламную ссылку,»С удивлением увидел что уже год как прибили ангуляр...
Начать стоит с места под могилку.
Банк Империал зря старался что ли
Пффф, очень простые, эффективные и экономные меры
Картинка
https://chat.openai.com/chat
Кстати, есть ещё скрытый налог на здоровье - об этом тоже надо думать.
По данным The Human Mortality Database:
А через какие операции у вас прошел inf, чтобы стать NaN?
Для большинства операций inf вполне безопасен: x/inf=0, x*inf=inf (если x!=0), exp(inf)=inf, log(inf)=inf, tanh(inf)=1
можно попробовать Big model inference в Transformers 4.20 от Hugging Face при отсутствии таких ресурсов
Напишу наверху, чтобы было видно сразу тем, кто столкнулся, и как бороться:
Люблю (любил) Тинькофф, но такой поступок совсем не одобряю. А перед этим ещё и одностороннее списание за якобы неправомерное обогащение. Сам себе и судья и палач, это уже совсем никуда не годится.
1) Обязательно пишем жалобу в банк (можно через чат). Вам отказывают в чате - скрините, сохраняете.
2) Заходим на сайт ЦБ, оформляем жалобу . Под случай в статье подходит парочка:
06 Навязывание дополнительных услуг при заключении договора
12 Несогласие с условиями заключенного договора
3) Заполняем все данные, прикладываем какие есть скриншоты. Если с вас списали проценты, то и их тоже.
Что произойдет дальше.
ЦБ по каждой жалобе делает сначала собственное мини-расследование, и обязывает банк дать официальный ответ в ограниченный срок. Потом смотрит ответ банка, и если такой ответ не устроит ЦБ, может влепить ему штраф, и односторонне обязать всю эту авантюру отменить. Обязательно в жалобе пишите, что ничего не оформляли, согласия не давали, услугу вам отключать отказываются, просмотр сториз - это не явное согласие.
Что может пойти не так.
Там наверняка юристы банка будут ссылаться на какой-то пункт, или что в сториз было "если вы просмотрите сториз до конца, услуга считается активированной". Если такой ответ всё-же устроит ЦБ по какой-то причине, то тут только либо идти в суд (но суммы копеечные, в суд идти не выгодно), либо голосовать рублём.
А такое уже было?
Мало кто помнит (но я помню) 2000-е года, когда тинёк только только начинал, они рассылали кредитные карты в конвертах всем подряд. Они изначально были с балансом 0, нужно было заполнить свои паспортные данные и отправить их обратно по почте. Через неделю-две на карте появлялись деньги, и пошел кредит. И вот там было столько случаев, что закопаешься. Начиная с того, что карточку могли украсть, заканчивая тем, что карточку получал на руки родственник, заполнял его данные, а оригинальный получатель ничего не знал, пока к нему не приходили приставы или коллекторы с огромным долгом...
Наступили 2015-е, и тинёк так делать перестал, засиял всеми красками Ит-банка, а теперь похоже снова скатывается в дикие абузные схемы. Прям расстроился...
Продолжаю утверждать, что минимум в одном проекте, родственном Еде, персданные клиентов были доступны каждому второму разработчику.
Один мой знакомый будто бы рассказывал, будто бы в Яндексе вообще плохо с защитой от внутренней угрозы. Людям доступны данные, совершенно не касающиеся их зоны ответственности, в том числе персданные.
Доверие сотрудникам - это хорошо, однако здоровая безопасность точно должна быть. Особенно в чувствительных областях - там, где хранятся фамилии, адреса, телефоны.
Надо учитывать особенности ведения статистики у нас. Например, насколько я знаю, если после нападения человек умер в больнице, это не считается убийством, и не идет в статистику убийств (информацию надо проверить).
В графике "годовое кол-во преступлений в РФ (тыс случ)" сказано, что совершено
76_000грабежей за 2020 год. В следующем, который на 1млн, цифра становится260 / 1млн. Гуглим население России - 144млн. А76_000 * 1_млн / 144_млн = 76_000 / 144 = 526.68, то есть в 2 раза больше, чем тут. Опять же, по США их244_000 / 329 = 740работает как надо. Что-то где-то ошибки с вычислениями, мне кажется.Очень круто! По ходу чтения появилось пару вопрсоов:
90 GB/s в all-reduce тестах удалось достичь при запуске теста на всех 137 машинах (т.е. используя 137 * 8 = 1,096 карт)?
Если это не является коммерческой тайной, то какие бенчмарки вы запускали что-бы оценить 4 vs 8 сетевых карт на узел? В частности, оценивали ли вы, например, влияние конфигурации с 4ми картами на узел на тренировку таких моделей, как GPT-3 (Megatron-LM), в которой есть все 3 типа паралелизма (tensor/pipeline/data) и которой нужно 16 узлов с 8 GPU каждой для одной реплики?
(1) 90GB/s был получен в момент когда у нас было всего 64хоста и сразу-же отдали в продакшен потому что время поджимало. Остальные подключили через пару недель . В этом и была наша ошибка. Если бы стали прогонять на всех машинах то скорее всего поймали-бы баг c adaptive-route-ами.
(2) Очень хороший вопрос, у нас чуть хитрее тест выглядел, так как у нас все хосты уже собраны с 4сетевыми карточками, поэтому мы делали обратный тест. Сравнивали результаты где на хосте используется только 4GPU, и 8 GPU, тоесть в первом случае у нас получалось соотношение GPU:NET 1:1. На linpack разница получалась ~3%. Коллеги из ML хотели сделать такой-же эксперимент на Megatron-LM, но результат я не знаю. Но раз не пришли ругаться значит значительной разницы не заметили.
В ближайших планах, на ubuntu 20.04. Кстати про то как "правильно" запускать pythorch в распределенном виде будет в следующем посте
Кодовое слово не помогает - моя теща, когда услышала по телефону голос "дочери" "сбившей насмерть человека", забыла сразу про все, чему мы ее учили и кинулась собирать деньги по соседям и знакомым. Хорошо хоть что за деньгами позвонила в том числе и мне. Убедить ее, что ей звонят мошенники не удалось - она была в шоковом состоянии и не соображала абсолютно ничего, вот прям совсем - пришлось жену на машине экстренно отправить к ней, это спасло ситуацию.
И это притом, что их уже раз кидали мошенники:
https://habr.com/ru/post/538794/
и после был проведен тщательный ликбез, с разбором разных ситуаций и объяснено, как и что говорить и кому звонить в случае сомнений. Бесполезно...
С наступившим Вас 2021 годом!