Неправда, запросто он на видеокарту параллелится, и этим люди уже давно заморочились. Зачем кто-то говорит, что этого никто не делал, не понимаю. Я руками сделал и проверил, что в cublas то же самое. Да, менее численно устройство, но именно это везде работает, а не наивное умножение матриц.
О чём вы... Как умножаются матрицы в blas, известно, открытый код, модификация алгоритма Штрассена. На gpu примерно то же самое. Внутри нет промежуточного сложения и умножения, есть cublasGemm. Это применяют все по крайней мере при использовании torch. Напишите код Штрассена руками под GPU и убедитесь сравнением значений, что там именно он.
Ещё есть магия как тип структуры данных, противоположность детерминированности, чистых функций, отсутствия сторонних эффектов и сохранения консистентного состояния. Как есть чистый Haskell, а есть глубоко магическая монада IO. Среде между багами пространства и тотальным хаосом, наверное, хотя на деле недетерминизм аппаратной реализации и сетевого стека.
Сходимость бывает для вещественных чисел, а нейронки учатся на float, где в малом масштабе всё устроено совсем иначе. Так что практические следствия предельного перехода, возможно, имело бы смысл уточнить.
Статья понравилась, разбор на низком уровне смысла того, о чём люди спорят, не вникая в подробности и не читая asm, лучше всего такие споры разрешает. Хочется видеть больше разборов, как реализуется безопасность чего-то и какой ценой, какие бывают другие варианты сделать то же.
Однако поправил бы, что unsafe не снимает все проверки безопасности. Код внутри блока unsafe компилируется по почти всем тем же правилам, разрешается очень немногое дополнительно: адресная арифметика, разыменование сырых указателей, небезопасная работа с union, ffi, потоконебезопасность, послабления на mut&, передачу аргументов с гонкой данных и ещё там пара штуковин. Есть явный исчерпывающий список, что становится можно, это не всё подряд.
Не система счисления, а базовое поле, некорректно используется терминология. Для многих задач должно быть замкнуто. И как в таком тексте не упомянуть кольца Чжоу, и вообще ничего про алгебраическую геометрию? И в теореме про 27 прямых не наибольший показатель 3, а однородное уравнение, все степени ровно 3, проективное пространство над замкнутым полем любой характеристики. И это для комплексных чисел стало известно не в 2017, а очень много лет назад, ничего нового.
Ссылка не на классические результаты, а непонятно куда. Это не нейронкой сгенерировано всё вообще?
Если он будет создавать контейнеры свободно у вас, считайте, вы ему отдали root. Притом что это инструмент для взлома, собирающий информацию и способный действовать дальше от вашего имени, думаете, пользователь в безопасности? В первую очередь нет, ещё до жертв маминого хакера. Неужели ничего не смущает?
Если не уметь пользоваться компилятором и вместо понимаемого самостоятельно колонна поручать нейронке делать то, чего сам не понял, то да, очень плохо... Или речь про "не уметь" в отношении чего-то другого?
На нём много держится, но не надо его идеализировать. Он нетерпимый неприятный человек, ненавидит русских и ушёл от принципов свободной разработки, довольно мерзкий тип. При всех заслугах.
Если код нужно только писать, это может экономить время. А если ещё и отлаживать, чтобы работало нормально и делало что-то осмысленное, уже не работает. Когда сокращают время на разработку вот так, время на отладку умножается в десятки раз. И проще оказывается выкинуть этот вайб-мусор и сделать нормально с начала. А не можешь делать нормально — не делай никак.
Должно, одобряю. Но как ментор это тоже так себе, лучше кожаный. Для пет-проектов мб, главное на отдельной машине, чтобы рабочий код не получило и не испортило. Для исследований ну нет, это как взять в помощь умственно отсталого ученика. Принести пользы не может, проще сделать самому, но надо тратить время и терпеливо общаться. Возникает вопрос, зачем.
Использовал нейронку, чтобы сгенерировать код, который при использовании нейронок на torch даёт доступ к памяти на запись с адресной арифметикой, чтобы из питона положить в stack pointer указатель на функцию, которой вообще не должно было быть. После этого нам говорят, что это безопасный язык, ага)))
Ещё один религиозный автор с убеждением, что в ИИ надо просто верить. Если не получается, то что-то сам сделал не так, просто слабо верил. Потому и получалось плохо, нужно больше верить в ИИ. Не понравилось — попробуйте ещё, один раз не вайб-кодер. Почему-то автор не предполагает, что чтобы получать хороший код, надо головой думать, а не промпт писать.
Этот текст вообще не напоминает методичку. (Хотя это утверждается в конце), не содержит полезной информации по теме, чтобы разобраться. Видно, что автор вообще ничего об этом не знает и скорее всего даже не пытался разобраться, а сразу стал всех учить.
Никак не работает. И не решает задачи вообще. Может только относительно точно процитировать существующее человеческое решение или интерполировать текст решения чего-то. И то очень неточно.
В ML работают с float32, float16, ещё чем-то, но не с вещественными числами. Там даже нет ассоциативности сложения и умножения. Многие вычисления даже недетерминированы. Так что многие приложения "суровой" математики на самом деле обычно притянуты за уши и не работают, потому что в нейронках не вещественные числа, а доказывается всё для моделей, которые невозможно использовать, потому что никакой памяти не хватит, чтобы сохранить полностью даже одну бесконечную десятичную дробь. И численные методы работают с вещественными числами, а не f64, f32... Всё сложнее.
Поскольку инференс есть вычисление функции с параметрами, часть которых оптимизирована (обучена), и нет чёткой границы, вычисление какой функции есть нейронка (можно хоть корень квадратного уравнения искать градиентным спуском на torch, и поди скажи потом, что квадратичная функция после этого не нейронка), а оскорблённые чувства есть некоторое высокое значение loss-функции, нужно запретить (только в штатах) подстановку аргументов, которая приводит функции к получению больших значений при вычислении. Один из вариантов — запретить первым делом float64, float32, там бывают очень большие числа, что уже провокация. Ещё можно запретить отдельно положительные числа в нейронках функциях на территории штатов. И ограничить возможности glibc там же. Могу только так реагировать на это. Смесь из троллей и идиотов, которым заняться нечем полезным.
Неправда, запросто он на видеокарту параллелится, и этим люди уже давно заморочились. Зачем кто-то говорит, что этого никто не делал, не понимаю. Я руками сделал и проверил, что в cublas то же самое. Да, менее численно устройство, но именно это везде работает, а не наивное умножение матриц.
О чём вы... Как умножаются матрицы в blas, известно, открытый код, модификация алгоритма Штрассена. На gpu примерно то же самое. Внутри нет промежуточного сложения и умножения, есть cublasGemm. Это применяют все по крайней мере при использовании torch. Напишите код Штрассена руками под GPU и убедитесь сравнением значений, что там именно он.
Ещё есть магия как тип структуры данных, противоположность детерминированности, чистых функций, отсутствия сторонних эффектов и сохранения консистентного состояния. Как есть чистый Haskell, а есть глубоко магическая монада IO. Среде между багами пространства и тотальным хаосом, наверное, хотя на деле недетерминизм аппаратной реализации и сетевого стека.
Сходимость бывает для вещественных чисел, а нейронки учатся на float, где в малом масштабе всё устроено совсем иначе. Так что практические следствия предельного перехода, возможно, имело бы смысл уточнить.
Статья понравилась, разбор на низком уровне смысла того, о чём люди спорят, не вникая в подробности и не читая asm, лучше всего такие споры разрешает. Хочется видеть больше разборов, как реализуется безопасность чего-то и какой ценой, какие бывают другие варианты сделать то же.
Однако поправил бы, что unsafe не снимает все проверки безопасности. Код внутри блока unsafe компилируется по почти всем тем же правилам, разрешается очень немногое дополнительно: адресная арифметика, разыменование сырых указателей, небезопасная работа с union, ffi, потоконебезопасность, послабления на mut&, передачу аргументов с гонкой данных и ещё там пара штуковин. Есть явный исчерпывающий список, что становится можно, это не всё подряд.
Не система счисления, а базовое поле, некорректно используется терминология. Для многих задач должно быть замкнуто. И как в таком тексте не упомянуть кольца Чжоу, и вообще ничего про алгебраическую геометрию? И в теореме про 27 прямых не наибольший показатель 3, а однородное уравнение, все степени ровно 3, проективное пространство над замкнутым полем любой характеристики. И это для комплексных чисел стало известно не в 2017, а очень много лет назад, ничего нового.
Ссылка не на классические результаты, а непонятно куда. Это не нейронкой сгенерировано всё вообще?
Если он будет создавать контейнеры свободно у вас, считайте, вы ему отдали root. Притом что это инструмент для взлома, собирающий информацию и способный действовать дальше от вашего имени, думаете, пользователь в безопасности? В первую очередь нет, ещё до жертв маминого хакера. Неужели ничего не смущает?
Ну-ну, сказал бы идеальный тестировщик))
Если не уметь пользоваться компилятором и вместо понимаемого самостоятельно колонна поручать нейронке делать то, чего сам не понял, то да, очень плохо... Или речь про "не уметь" в отношении чего-то другого?
На нём много держится, но не надо его идеализировать. Он нетерпимый неприятный человек, ненавидит русских и ушёл от принципов свободной разработки, довольно мерзкий тип. При всех заслугах.
Если код нужно только писать, это может экономить время. А если ещё и отлаживать, чтобы работало нормально и делало что-то осмысленное, уже не работает. Когда сокращают время на разработку вот так, время на отладку умножается в десятки раз. И проще оказывается выкинуть этот вайб-мусор и сделать нормально с начала. А не можешь делать нормально — не делай никак.
Должно, одобряю. Но как ментор это тоже так себе, лучше кожаный. Для пет-проектов мб, главное на отдельной машине, чтобы рабочий код не получило и не испортило. Для исследований ну нет, это как взять в помощь умственно отсталого ученика. Принести пользы не может, проще сделать самому, но надо тратить время и терпеливо общаться. Возникает вопрос, зачем.
Использовал нейронку, чтобы сгенерировать код, который при использовании нейронок на torch даёт доступ к памяти на запись с адресной арифметикой, чтобы из питона положить в stack pointer указатель на функцию, которой вообще не должно было быть. После этого нам говорят, что это безопасный язык, ага)))
Ещё один религиозный автор с убеждением, что в ИИ надо просто верить. Если не получается, то что-то сам сделал не так, просто слабо верил. Потому и получалось плохо, нужно больше верить в ИИ. Не понравилось — попробуйте ещё, один раз не вайб-кодер. Почему-то автор не предполагает, что чтобы получать хороший код, надо головой думать, а не промпт писать.
Этот текст вообще не напоминает методичку. (Хотя это утверждается в конце), не содержит полезной информации по теме, чтобы разобраться. Видно, что автор вообще ничего об этом не знает и скорее всего даже не пытался разобраться, а сразу стал всех учить.
Никак не работает. И не решает задачи вообще. Может только относительно точно процитировать существующее человеческое решение или интерполировать текст решения чего-то. И то очень неточно.
В ML работают с float32, float16, ещё чем-то, но не с вещественными числами. Там даже нет ассоциативности сложения и умножения. Многие вычисления даже недетерминированы. Так что многие приложения "суровой" математики на самом деле обычно притянуты за уши и не работают, потому что в нейронках не вещественные числа, а доказывается всё для моделей, которые невозможно использовать, потому что никакой памяти не хватит, чтобы сохранить полностью даже одну бесконечную десятичную дробь. И численные методы работают с вещественными числами, а не f64, f32... Всё сложнее.
Часть нейрогенеративных алгоритмов давно пора называть нейроденегеративными.
Поскольку инференс есть вычисление функции с параметрами, часть которых оптимизирована (обучена), и нет чёткой границы, вычисление какой функции есть нейронка (можно хоть корень квадратного уравнения искать градиентным спуском на torch, и поди скажи потом, что квадратичная функция после этого не нейронка), а оскорблённые чувства есть некоторое высокое значение loss-функции, нужно запретить (только в штатах) подстановку аргументов, которая приводит функции к получению больших значений при вычислении. Один из вариантов — запретить первым делом float64, float32, там бывают очень большие числа, что уже провокация. Ещё можно запретить отдельно положительные числа в
нейронкахфункциях на территории штатов. И ограничить возможности glibc там же. Могу только так реагировать на это. Смесь из троллей и идиотов, которым заняться нечем полезным.Оскорбление искусственных чувств в штатах скоро будет. За это будут сажать тех, кто в обход запретов заставляет нейронки что-то не то генерить.