Все книги издательства Packt, что я видел, построены по одному принципу: вода + километры исходников. Возможно кому-то попадались их нормальные книги, как Manning или O’Reilly, но, увы, не мне
Стыдно признать, но Slack-плагин для интеграции с StackOverflow мы подключили лишь пару недель назад. Так что вопроса на SO никто из нас даже не видел :(
double -> float -> float16 -> float8. Хоть float8 и не описан в IEEE 754, создать его руками не так что бы очень сложно. SEM например 1/2/5, либо 1/3/4
Сравнение не совсем корректное. На второй картинке в топе процессоры с поддержкой AVX-512, аналога этих наборов у AMD все еще нет совсем. А AVX/AVX2 судя по этому же графику — вполне сопоставимую производительность дают.
p.s. И сравниваются в целом новое 8 поколение Intel, с Zen. Хорошо бы сравнивать полностью с Zen+ включая TR2
Весь смысл «безопасных мессенджеров» строго в невозможности доступа третих лиц к переписке с использованием незащищенных каналов связи.
Если у вас есть есть доступ к железу на котором крутится что-то «безопасное», то оно в любом случае не может считаться «безопасным». Как бы не новость.
В коде указанном в статье не упоминается нигде важнейший аспект — изначальное распределение весов. А это — один из важнейших аспектов все-таки. Возможно разница в accuracy этим объясняется.
Но в целом я с вами абсолютно согласен — Serverless, на мой взгляд, лишь красивый способ продать излишки вычислительных мощностей сверх-мелкой розницей. И без этого вполне можно обойтись: нечего баловать.
Может проще зайти с другой стороны? K8S в том же облаке и регионе, в нем крутится под(ы) c REST/gRPC endpoints, а тонкая lambda используется лишь для принятия запросов и отправке их на инференс. И тут уже и GPU можно использовать, и проблема Cold Start снимается навсегда.
Хех… Машинное обучение показывает лучшие результаты без влияния людей в процессе обучения прямо с изобретения логистической регрессии. А это уже 60 лет как, на секундочку.
И нет, NALU еще слишком новы, и все написанное там еще будут месяцами проверять на практике и пытаться применить в реальных задачах. Может будет круто. А может их ждет судьба RBM, Capsule Networks, RNTN, и сотен других архитектур не оправдавших высоких надежд или вытесненных улучшенными вариантами.
Именно! Для такой примитивной задачи понадобились годы поиска. и вот для этой одной задачи наконец нашли решение! Другие типы архитектур на подобное не способны.
Осталось теперь найти аналогичные решения для миллионов других задач.
В случае с OpenAI Five — используются самые обычные LSTM, и никакого обобщения там так же нет. Да и обучение с подкреплением, на секундочку, обычно подразумевает конечное количество состояний.
Хотя, раз DeepMind таки добились успеха в этом случае, возможно им удастся найти способы и для рекуррентных сетей. Было бы здорово.
Речь не о том, что сделали авторы. Речь про невозможность системного обобщения для сегодняшних нейросетей, в том числе и на примере x = f(x) разобранного в той статье.
Вы тикет на гитхабе не оставляли?
p.s. И сравниваются в целом новое 8 поколение Intel, с Zen. Хорошо бы сравнивать полностью с Zen+ включая TR2
Если у вас есть есть доступ к железу на котором крутится что-то «безопасное», то оно в любом случае не может считаться «безопасным». Как бы не новость.
p.s. Но, конечно, косяк :)
CUDA — предоставляет свою имплементацию BLAS — cuBLAS, плюс предоставляет приличный набор примитивов для построения нейросетей — cuDNN.
Ну а насчет AI — всплакнул, спасибо :)
Осталось теперь найти аналогичные решения для миллионов других задач.
В случае с OpenAI Five — используются самые обычные LSTM, и никакого обобщения там так же нет. Да и обучение с подкреплением, на секундочку, обычно подразумевает конечное количество состояний.
Хотя, раз DeepMind таки добились успеха в этом случае, возможно им удастся найти способы и для рекуррентных сетей. Было бы здорово.