Обновить
4
0

Пользователь

Отправить сообщение

Помоему нет проблемы в быстром поиске подсети. Правильнее вопрос было бы сформулировать так, ну допустим ты знаешь как быстро находить подсеть, и дальше чё? Если обучение с поиском подсети занимает x2 от обучения, например, сколько и в каких случаях ты выигрываешь?

Монументальный трудище! Ничего не скажешь! Жаль сейчас нельзя проголосовать за старые статьи.

Радостно читать и одновременно грустно. Алгоритм RigL я изобрёл в бородатом 2015-ом году за 4 года до выхода статьи. Но потом нейросети забросил, а вернулся к ним только сейчас.

Кроме того, в случае большой степени разреженности может быть так, что в каком-то слое не останется живых весов вообще

Просто надо не синглшот это делать, а в несколько подходов. Спрунили небольшую часть, пересчитали градиенты, ещё раз спрунили, ещё немножко, опять пересчитали, пока до нужного рейта не дожмёте. и dL/dw, как правило, логнормально распределены между 1e-3 и 1e-9 для каждого слоя. Даже если очень жестоко резать, останется часть весов, которые под резак не попадут, впрочем у меня были случаи, когда в каком-то слое оставалось всего несколько процентов весов.

для неструктурированного прунинга польза на практике наблюдается только при прореживании большого числа весов, так что можно перейти к представлению, работающему с разреженными тензорами.

torch spars при том же количестве активных весов работает в три раза медленнее, полагаю, потому что для каждого веса приходится грузить два инта с его индексами. То есть мы упираемся не в вычислительную скорость, а в скорость операций с памятью. Поскольку теоретически для передачи индексов можно использовать int16 и даже меньше, то кажется вполне достижимым замедление всего в 2 раза. Таким образом выигрыш будет наблюдаться только если уровень прореживания составляет 2-3 раза. Для сетей, которые от рождения были милипусечного размера, типа мобайлнета этого достичь трудно, но для огромных сетей, типа тех же трансформеров, выкорчевать две трети весом, мне кажется, не представляет никакого труда. Опять же self attention это простое произведение матриц. А простое spars умножение в наше время в торче идёт из коробки, там, правда, работа с индексами неудобная, в отличии от сторонних библиотек.

Ещё больше можно выиграть если изначально использовать не полную матрицу, а spars на этапе обучения. Все метрики для добавления весов в RigL можно посчитать за линейное время от количества входов-выходов. Там выигрыш вообще может быть конским. Правда, конечно, ценой такого эе конского усложнения кода.

Если вы понимаете такие нюансы и ещё и, не дай Бог, понимаете в чём суть споров вокруг трактовки этого дела, значит Вы не нуждаетесь в послании к Гёделю и уже не сможете ещё раз открыть для себя этот дивный новый мир. :))) Тому же, кто задаёт такие вопросы, скорее всего этой ссылки хватит.

Гуглите теорему Гёделя о неполноте. Это абсолютная истина в относительной и субъективно выбранной вами аксиоматике. Если вы, как Лобачевский, например, выберете другую аксиоматику результат будет другой, и математически доказано, что невозможно математически доказать какая из относительно выбранных аксиоматик истинная.

Проще всего человеку поверить в теорию, объясняющую, что он лучше других. Вот и автор такой, казалось бы, рациональной статьи попался в эту же ловушку. :))))

У любого человека есть флажки, за которые его рассуждения и логика не распространяются. Это не потому что человек тупой, просто сначала Гёдель, а потом и эмпирические попытки построить искусственный интеллект на основе логики первого порядка, показали, что если у вас этих флажков нет даже простейшие рассуждения занимают время стремящееся к бесконечности, причём факториально, то есть очень и очень быстро. Потом, кстати пришли умные люди, тот же Пенроуз и доказали, что Тьюринговая проблема останова и теорема Гёделя о неполноте сводятся одна к другой, и говорят ровно о том же самом - Без флажков дальше которых рассуждения не продолжаются рассуждения практически невозможны, потому что с неизвестной заранее вероятностью - бесконечны.

У одних эти флажки чуть поближе, у других чуть подальше, но они есть и они сильно ближе чем люди о себе думают. Например если сказать на хабре, что любой человек не понимающий зачем нужен патриотизм, и что выживание интеллекта может быть только групповым и любой человек, утверждающий свою автономность просто недостаточно образован в области современной эволюционной биологии - тут сразу начнётся истерика, вырывание последних волосиков от ненависти и ты сразу с удивлением увидишь, что огромная часть аудитории этого сайта гораздо более наивно и зашорена, чем люди сбивающиеся в стаю по признаку плоскости земли. И я уверен, почти ни один из них не станет отказываться от возможности ругаться в камментах и не пойдёт вместо этого заглядывать в телескоп - то есть не пойдёт читать книжки эволюционных биологов, таких же как описываемый в статье, только современных, на 150 лет новее. Вместо этого они откажутся "заявив, что сама мысль о необходимости патриотизма оскорбительна для здравого смысла."

Можете проверить, если не струсите, конечно, потому что это очень опасно для кармы на сайте. Сделайте опрос - Кто возмётся оспорить, что альтруизм и борьба за выживание в первую очередь своей группы нормальное состояние интеллекта, а кто вместо этого пойдёт, например, читать книжку "Секрет нашего успеха" Джозефа Хенрика. Для реально заинтересовавшихся вышла на русском в этом году под научной редакцией Маркова: https://elementy.ru/bookclub/book/1577/Sekret_nashego_uspekha (Joseph Henrich. The Secret of Our Success: How Culture is Driving Human Evolution, Domesticating our Species, and Making us Smarter) Ну или там ещё можно с десяток ссылок накидать всякого относительно простого и научно-популярного.

И знаете что, плоскоземельщики на этом фоне выглядят милыми и безобидными людьми, открытыми новому и готовые к диалогу.

Отсюда же следует ответ на ваш второй вопрос - почему люди не смотрят в телескоп, не идут читать книжки Хенрика или слушать видеолекции Сапольского в Гарварде? Да потому что к любой точке зрения можно придраться. Почти что к любой теории можно поставить эксперимент вызывающий сомнения. Если бы человек принимал каждое сомнение как повод для перепроверки он бы вообще никуда не продвинулся. Человек принимает какую-то точку зрения и долгое время следует в рамках этой точки зрения пока количество опровержений не превзоёдёт некоторого достаточно большого порога, а до тех пор неувязки игнорирует. Только если неувязок становится критически много человек сносит свои старые красные флажки и начинает искать места для втыкания новых, и это единственный способ формировать работающие обобщения. Потому что что новые флажки дальше, а значит рассуждать вы будете медленнее, обобщения у вас будут более сложные и трудоёмкие, и не факт, что вы вообще сможете их сформулировать, сколь бы гениальны не были.

Два простых примера - если бы каждый факт наблюдения эффекта плацебо (естественно не зная, что это за эффект) с древнейших времён был достаточным основанием, чтобы люди отказывался от накопленных знаний о действующих веществах которому это наблюдение явно противоречит, фармакология до сих пор оставалась на уровне ивовой коры и святой молитвы. Только поверив во много логичных объяснений, каждое из которых можно опровергнуть намазав бородавку цветным карандашом, человек выяснил, что есть необъяснимый остаток, который нужно отделять аж двойным слепым тестированием. Ну и да, даже если Вы Эйнштейн общая теория физики может вам не покориться не смотря на то, что кванты и теория относительности несовместимы в особо циничной форме, и есть мильён примеров того как одно или другое не работает, и единственное объяснение почему: "Ну, вы просто не в том масштабе".

То есть люди вот так вот неправильно и нелогично устроены потому, что интеллект и культура - свойства не особи, а её культурной группы, и для того чтобы культура группы совершенствовалась иногда особи должна делать так, как выгодно группе и эволюции, хотя с позиции индивидуалистической особи это может казаться странным, нелогичным и явно опровержимым. Проблема не в людях, а в том, что вы просто не в том масштабе. Вы рассуждаете о поведении одной особи, а значение для дальнейшего существования имеет лишь групповой результат.

Если вы до сих пор пользуетесь для этого Гуглом, то у меня есть для вас откровение масштаба Апокалипсиса. - поиск по картинке в гугле по сравнению с яндексом - всё равно что посадить сантехника Дейва играть с каспаровым. У гугла уже четвёртая картинка в поиске левая, не имеющая отношения к запросу. Яндекс находит как минимум 30 упоминаний в разных размерах включая версию из Фоллаута 76, и варианты где картинка висит под другим ракурсом или существенно поцарапана. А среди похожих находит, например https://www.kindpng.com/picc/m/251-2519486_fo3mz-giddyup-buttercup-giddyup-buttercup-hd-png-download.png или https://chpic.su/_data/stickers/f/Fallout_CHAT/Fallout_CHAT_049.webp

Статья огнище!!! Хотя теоретически там есть где указать на теоретический предел, сдвинули они его одним махом очень прилично.

Готовы ли будут корпорации заплатить 3 миллиарда долларов за рецепт лекарства от рака (если технология позволит находить и такие решения в виде исследовательских статей)? Как скоро нейросеть включат в соавторы работы, которая получит престижную награду вроде Нобелевской премии?

В 60-ых, когда впервые стали появляться им на основе исчисления предметов первого порядка, учёные уже пытались свою программу в соавторы записать, но из-за велико-антропного шовинизма это не проканало.

Это пугало бы ещё больше, если бы муравьи тоже не прошли зеркальный тест.

Согласен, замечал такой эффект, проблема в том, что когда с человеком случается момент думанья может оказаться, что он ответ на хабре пишет, а не код. И всё, считайте рабочий день потерян зря, ждём до следующей вспышки, а мозг в это время думает над тем как круто бы можно было отредактировать тот комментарий час назад..

Вы не пробовали проконтроллировать качество кода сделанного для вас удалёнщиком? А если их у вас хотя бы пять? Получается, что вы простую задачу, которую может сделать даже дурак, заменяете на задачу, которой лид вынужден будет внимательно и придирчиво заниматься полный рабочий день.

Когда-то тоже далал такую штуку для себя. И был неприятно удивлён тем, какая часть времени вылетает в трубу без видимого результата. Вот и сейчас мне надо адлгоритм многопотосчной подгрузки картинок в своем пэт-проджекте кодить, а я вместо этого на хабр отвлекаюсь.

Но многие программисты не осознают, что порой на отвлечение тратят две трети времени. А ведь всё это по друрацки потерянное время можно было бы потратить с пользой. Киберпанк, например, ещё раз перепройти. Но нет, вместо этого туплю в сайтики. :)

Каким тупым нужно быть, чтобы сидеть в офисном опенспейсе и коммитить раз в день в репозиторий, и делать при этом вид, что все из себя против слежки на рабочем месте, и никогда подобного не допустите. :/

Не, понятно, конечно, что это может вам не нравиться, то делать вид, что у вас этого нет - это надо какую-то запредельную избирательность восприятия иметь.

В статье с гордостью упоминается 251секунда. Вот видимо это примерно и есть ресурс надёжности пока что. :)

Это реальный случай, когда Маск выпустил один из первых своих двигателей. Ему же для ведения бизнеса очень важно рассказывать какой он прекрасный и превосходный, чтобы капитализация не падала, а двигатель был ещё пока не очень, с открытым контуром, и достаточно скромным давлением в камере. Вот его PR служба и начала разгонять, что он создал великолепный двигатель с рекордной тяговооружённостью, перегнав по этому параметру даже рекордсмена - советский НК-33.

Конечно все кто в теме отлично понимали как обстоят дела, но как вы думаете, кому поверит рядовой читатель Хабра, или типичный рядовой покупатель акций? Какому-то зануде, который посчитал какие-то страшные формулки, и говорит, что УИ у двигателя примерно как у Королёвской "семёрки", а побить рекорд в характеристике, которую никто не вкачивает со времён королёвской Н-1, на которой этот двигатель стоял, не велико достижение, или великому Маску, который говорит, что сделал рекордный двигатель, и тычет в табличку с параметром, который вычислять не нужно и он реально выглядит лучше чем у других?

Я тогда в этой дискуссии участвовал и большинство таки топило за Мерлинов даже после всех объяснений. Конечно сейчас он уже пытается создавать двигатели как у взрослых ребят. То что стоит на старшипе готово погоняться по характеристикам с РД-180, но если посмотреть какая доля этих двигателей доживает до конца работы ступеней (на любой трансляции его пусков есть иконочка, показывающая какие двигатели ещё тянут, а какие уже поотрубались), и в каком проценте запусков происходило разрушение как минимум части двигательной группы (около 100% пока) становится ясно, что в ракетостроении для взрослых PR не спасает, нужно быть реально лучшим. А с этим напряжёнка.

Ну сам я в ВДД не разбираюсь, но википедии подчёркивается именно экономия топлива за счёт более эффективного сгорания топливной пары. Может там можно более оптимальное соотношение топлива к окислителю делать, а может скорость сгорания решает. Да и в самой новости подчёркивается возможность применения на верхних ступенях, а там что тяговооруженность, что абсолютное значение тяги имеет на много меньшее значение чем УИ. Удельная мощность гораздо важнее на первой ступени, но судя по видимой части конструкции как раз для этого он малопригоден - без большого расширительного сопла при атмосферном давлении много не налетаешь.

Я думаю, более вероятно, что двигатель разрабатывается для разгонных блоков, но пока это ранние этапы, так что характеристика пока ещё не очень, вот они не говорят главной характеристики чтобы не портить себе PR раньше времени.

Как обычно, рассуждения об эффективности, но нигде не приводится главная харастеристика эффективности - удельный импульс. Пиар службы такие пиар службы всегда. А может сознательно скрывают, чтобы не позориться, как маск когда-то, на заре своих мерлинов.

Там он у него вихревой, но не исключено, что что-то общее в них есть.

На самом деле ответ на этот вопрос существует. Все сколько-нибудь значительные люди, имеющее отношение к OpenAI - спонсоры демократической партии. Их конкуренты - тоже. Тот же гугл печатал научные статьи, как они влияли на выборы в разных индийских штатах манипулируя выдачей. Всерьёз полагаете, что они будут настраивать свои модели так, чтобы они могли отражать мнение Такера Карлсона?

Гораздо большую фрустрацию вызывает то, что нашёлся один человек, плюсанувший ваш комментарий, и искренне считающий, что публичные акты покаяния нужны для антиколониализма, а не для унижения и закабаления среднего класса, у которого надо отжать деньги, во вторую очередь, а в первую очередь права и чувство собственного достоинства, подталкивающее за эти права бороться.

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность