Собирая очередной десктоп решил мигрировать с дорогущего билда all-asus на all-gigabyte. Если все их улучшайзеры отключить сразу, то вполне себе тихая и беспроблемная система (2 года).
от себя: для профилактики боли в кистях рук и локтевых суставов выберите удобный для вас ручной эспандер (мягкая резина, широкий, хорошее усилие на сжатие) и носите его постоянно в кармане брюк. Хватает позаниматься пока идешь по улице. Ну и для единоборцев: кулак здоровее становится :)
перефразируя известную цитату "я так могу, и каждый это может, вопрос лишь в том, как спорятся дела".
На небольших проектах думаю многие так начинали, но в статье, насколько понял, этот подход советуют и для энтерпрайза. А там, подозреваю, обилия специфичных кейсов просто взрыв состояний произойдет в голове бедного экспериментатора.
Судя по статье, автор знает, что и как нужно (с)делать. Интересно будет почитать, как он лично попробует применить своё видение процесса "и швец, и жнец, и на дуде игрец" в конкректном продукте.
Правильно ли я понял, что заключение предполагает наличие массы квалифицированных разработчиков на низком старте, готовых через 2 года включиться в контрактную разработку?
пардон за жаргонизм, "на лапе" == "всё готово для запуска, только нажать".
"вымывание фич" - некорректно выразился. После последовательного применения активация (картинка), подающаяся на вход следующей итерации теряет часть информации, и следующий инференс выдаёт менее аккуратный результат. Это как раз то, что Вы описали "не туда или стабилизация". Для более-менее сложных моделей (как Ваша) интуитивно ожидается вариант "не туда", но т.к. в статье достаточно короткие и ёмкие описания кажется есть шанс и после большого числа итераций увидеть сопоставимый вход.
В общем вопрос (если всё под рукой), возможно ли повторить попытку N3 из статьи много раз и увидеть то же самое?
Есть ли возможность автоматизировать передачу между сетями (наугад выбирая рендеренную картинку), организовать цикл из шагов 2-4, и прогнать его раз 100 (вдруг всё на лапе)? Интерес состоит в проверке наличия вымывания фич.
Топология мозга в постоянном изменении, уверен Вы знаете об отмирании нейронов начиная с определенного возраста и постоянном образовании новых связей на протяжении всей жизни (можно почитать\послушать Савельева на эту тему). Конечно, я не утверждал "мышление == морфология мозга", это было лишь как гипотеза в какую сторону могло бы пойти развитие. Я скорее про то, что "знания" ML модели - это фиксированные веса + алгоритм, что не кажется похожим на мышление.
Мне не понятен смысл применения "мыслит", "осознаёт" к натренированным моделям ML. Модель поставляется либо с фиксированным набором весов, либо в pre-trained состоянии, подразумевающим fine-tuning, что опять-таки продуцирует фиксированный набор весов. Где там мысль? Ладно бы они в процессе работы научились себе топологию менять, хоть как-то имитируя постоянное создание новых связей мозга, но ведь, насколько знаю, и эта, топологическая, часть - фиксирована.
Собирая очередной десктоп решил мигрировать с дорогущего билда all-asus на all-gigabyte. Если все их улучшайзеры отключить сразу, то вполне себе тихая и беспроблемная система (2 года).
Так, рыбалку уже притянули. По известной теории, скоро в аргументации должен появиться Гитлер.
1) SDK доступен, там достаточно большое количество примеров (google: "Ascend CANN download")
2) Железо тоже есть (google: "Orange Pi AI Studio Pro", на thg вроде дельная заметка про него), для китайского рынка $1100 за 96Gb конфиг
Гравитация, у нас отмена :)
от себя: для профилактики боли в кистях рук и локтевых суставов выберите удобный для вас ручной эспандер (мягкая резина, широкий, хорошее усилие на сжатие) и носите его постоянно в кармане брюк. Хватает позаниматься пока идешь по улице. Ну и для единоборцев: кулак здоровее становится :)
скорее всего речь про количество бит на элемент вектора: [0.1, 123, 34, 155] -> [0, 1, 0, 1]
Старик Бжез свою Великую шахамтную доску задолго до Теслы написал
Еще у Бжезинского в монографии было: две трети мировых денег крутятся в азиатско-тихоокеанском регионе.
перефразируя известную цитату "я так могу, и каждый это может, вопрос лишь в том, как спорятся дела".
На небольших проектах думаю многие так начинали, но в статье, насколько понял, этот подход советуют и для энтерпрайза. А там, подозреваю, обилия специфичных кейсов просто взрыв состояний произойдет в голове бедного экспериментатора.
Судя по статье, автор знает, что и как нужно (с)делать. Интересно будет почитать, как он лично попробует применить своё видение процесса "и швец, и жнец, и на дуде игрец" в конкректном продукте.
на картинке 14.6PF на fp8, в тексте - на bf16/fp16
Правильно ли я понял, что заключение предполагает наличие массы квалифицированных разработчиков на низком старте, готовых через 2 года включиться в контрактную разработку?
Интересная статья. Пара вопросов:
1) С++ компилятор переставляет statements без зависимости по данным? Если да, то как изложенный подход справится с этим?
2) конвертор в модельный Си язык для истинного параллелизма (например Promela в SPIN model checker) не проще было бы (не связываясь с "ассемблером")?
Intel@Poland очень даже не отказывается (при этом и громадный офис не забывает достроить).
В Huawei конечно с удалёнкой мягко говоря сложнее.
Знающий товарищ вовремя посоветовал взять Riva128, и я не пожалел
пардон за жаргонизм, "на лапе" == "всё готово для запуска, только нажать".
"вымывание фич" - некорректно выразился. После последовательного применения активация (картинка), подающаяся на вход следующей итерации теряет часть информации, и следующий инференс выдаёт менее аккуратный результат. Это как раз то, что Вы описали "не туда или стабилизация". Для более-менее сложных моделей (как Ваша) интуитивно ожидается вариант "не туда", но т.к. в статье достаточно короткие и ёмкие описания кажется есть шанс и после большого числа итераций увидеть сопоставимый вход.
В общем вопрос (если всё под рукой), возможно ли повторить попытку N3 из статьи много раз и увидеть то же самое?
Есть ли возможность автоматизировать передачу между сетями (наугад выбирая рендеренную картинку), организовать цикл из шагов 2-4, и прогнать его раз 100 (вдруг всё на лапе)?
Интерес состоит в проверке наличия вымывания фич.
Топология мозга в постоянном изменении, уверен Вы знаете об отмирании нейронов начиная с определенного возраста и постоянном образовании новых связей на протяжении всей жизни (можно почитать\послушать Савельева на эту тему).
Конечно, я не утверждал "мышление == морфология мозга", это было лишь как гипотеза в какую сторону могло бы пойти развитие.
Я скорее про то, что "знания" ML модели - это фиксированные веса + алгоритм, что не кажется похожим на мышление.
Мне не понятен смысл применения "мыслит", "осознаёт" к натренированным моделям ML. Модель поставляется либо с фиксированным набором весов, либо в pre-trained состоянии, подразумевающим fine-tuning, что опять-таки продуцирует фиксированный набор весов. Где там мысль? Ладно бы они в процессе работы научились себе топологию менять, хоть как-то имитируя постоянное создание новых связей мозга, но ведь, насколько знаю, и эта, топологическая, часть - фиксирована.
"именованная инициализация" выглядит более уместной с учётом того, что уже есть понятие "передача параметров по имени"
Жаль, когда съезжал с Учёных 8, оставил фото М.А. рядом с его ГАЗиком, доставшееся мне от предыдущих постояльцев этого общежития