Comments 133
Первые 2 слова в названии как демотиватор.
Да, заставили критически отнестись к остальному.
Но без ошеломительных открытий британских ученых вы никогда не смогли бы приготовить идеальный сэндвич с беконом! А это, согласитесь, многого стоит.
Последние 2 тоже «желтоваты», раз уж моделируется всего 1млрд нейронов. Не лучше ли в заголовке так и указать: «1% человеческого мозга»
Первые 2 слова в названии как демотиватор.
Для мотивации нужно было, как любит знакомый ватник, написать «святые старцы»?
Так может они мозг британских ученых моделируют. Это легче технически…
В норме в человеческом мозге происходит постоянное уничтожение одних синапсов и связей и возникновение других, отмирают аксоны и появляются новые, это как волнующееся море, постоянное изменение архитектоники. Как такую специфику нейронов возможно реализовать в железе.
Программно.
Может использовать масштабную систему со слоем ПЛИС как симуляцию нейронов и отельным слоем контроллеров которые будут по необходимости пересобирать связи ПЛИС. Сгореть всё это может, относительно, быстро, но за то можно смоделировать это самое «море».
Что значит невозможно? Вся описанная вами «специфика» это всего-лишь возникновение и уничтожение связей между нейронами (а так же изменение их «силы»). Это давно реализовано практически во всех нейроморфных архитектурах. Включая эту — связи по мере надобности создаются, стираются, настраиваются их «веса».
Обычный дропаут?
на этом можно майнить или уже тоже не прибыльно )
не позволит архитектура :)
Скорее отсутствие подходящего софта. Но это дело наживное.
Вполне позволит, архитектура условно универсальная (хоть и оптимизированная под одну конкретную задачу). Т.е. может исполнять любой произвольный код если он и нужные данные умещаются в небольшую локальную память. Но при майнинге они (и код и данные) совсем небольшие, так что написать нужный софт тоже можно.
Другое дело что по эффективности это примерно как майнить на миллионе старых смартфонов. Это возможно, но очень неэффективно и бессмысленно, если только эти смартфоны и питание к ним не достались тебе совершенно бесплатно. Типа ботнета из зараженных мобилок, на которых украсть нечего, но хоть тогда по несколько копеек из каждой выжать майнингом.
Другое дело что по эффективности это примерно как майнить на миллионе старых смартфонов. Это возможно, но очень неэффективно и бессмысленно, если только эти смартфоны и питание к ним не достались тебе совершенно бесплатно. Типа ботнета из зараженных мобилок, на которых украсть нечего, но хоть тогда по несколько копеек из каждой выжать майнингом.
Да 50% мощностей в идиологии блокчейна смертный приговор, бери и коси себе транзакции с маленькиx проектов построеных на задумках крипти.
*Как сказано ниже при осуществлении подходящего софта, ну и дела всегда если наживное, то интересное. Если не прав поправте)
*Как сказано ниже при осуществлении подходящего софта, ну и дела всегда если наживное, то интересное. Если не прав поправте)
Извините за петросянщину, но стоит ему попытаться обработать женскую логику и он сгорит от перегрузки)))
Чую кучу дизлайков опять.
Кстати, у меня вопрос. Тут написано что с поставленной задачей может справится и 16 ядер, а остальные это для отказо-устойчивости. Вопрос, а миллиона не многовато для таких целей? Или я чего-то не понимаю?
Чую кучу дизлайков опять.
Кстати, у меня вопрос. Тут написано что с поставленной задачей может справится и 16 ядер, а остальные это для отказо-устойчивости. Вопрос, а миллиона не многовато для таких целей? Или я чего-то не понимаю?
Имеются ввиду справиться с задачами в рамках одного модуля, а не в глобальном смысле. Таких же модулей в формате 16+2 всего 57 тысяч. 114 тысяч избыточных ядер на всю систему.
Все верно. Единственно что модуль (нода) в данном случае это всего один чип (SoC).
А на одну плату (которые тут модулями как раз называют) размещается несколько десятков таких чипов (в стандартном варианте — 48 чипов на плату) и сеть для связи между ними и с соседними подобными платами.
В результате суперкомпьютер получается очень компактным относительно традиционных — в одной стандартной серверной стойке умещается машина на ~ 100 000 ядер.
А на КДПВ собственно весь компьютер с миллионом ядер целиком уместился (10 серверных стоек) с очень скромным по меркам суперов потреблением энергии (~100 кВт).
А на одну плату (которые тут модулями как раз называют) размещается несколько десятков таких чипов (в стандартном варианте — 48 чипов на плату) и сеть для связи между ними и с соседними подобными платами.
В результате суперкомпьютер получается очень компактным относительно традиционных — в одной стандартной серверной стойке умещается машина на ~ 100 000 ядер.
А на КДПВ собственно весь компьютер с миллионом ядер целиком уместился (10 серверных стоек) с очень скромным по меркам суперов потреблением энергии (~100 кВт).
Но ведь и ядра у него тоже очень скромные для супера. и общая мощь.
Ядрышки действительно очень простые, но так специально сделано. Т.к. не сами вычисления являются узким местом при моделировании нейронных сетей приближенных к биологическим.
А общая мощь это смотря на чем сравнивать — с точки зрения универсальных (общих) вычислений 200 триллионов операций в секунду это действительно относительно немного. Такой супер окажется где-нибудь во 2й тысяче суперкопьютеров если попытаться решать какие-то общие задачи на нем. И эффективность использования энергии тоже получится заурядная.
Но вот на конкретных задачах моделирования нейронов под которую он оптимизирован ситуация совершенно другая: чтобы крутить модель на 1 миллиард нейронов в реальном времени нужен «обычный» суперкомпьютер ближе к началу первой сотни, занимающий небольшое здание (сотни стоек набитых железом) и потребляющий несколько МВт мощности. Причем еще далеко не на каждом это выйдет в принципе — классическому суперу проще смоделировать более крупную или более сложную (с большей детализацией) сеть, но медленнее (например тратя по 1 минуте расчетов на 1 секунду смоделированного времени). А вот 1 млрд. в реалтайме многим будет не по силам — шины памяти и сеть между нодами окажутся перегружены, а процессоры будут наоборот большую часть времени простаивать ожидая поступления данных.
Или вот такая относительно скромная машинка, помещающаяся в одной комнате и потребляющая ~0.1 МВт.
И это при том, что процессоры тут сделаны по очень сильно устаревшему процессу — 130нм. Простой перенос этой же архитектуры на современные производственные возможности даст скачок выч. мощности и эффективности больше чем на порядок.
А общая мощь это смотря на чем сравнивать — с точки зрения универсальных (общих) вычислений 200 триллионов операций в секунду это действительно относительно немного. Такой супер окажется где-нибудь во 2й тысяче суперкопьютеров если попытаться решать какие-то общие задачи на нем. И эффективность использования энергии тоже получится заурядная.
Но вот на конкретных задачах моделирования нейронов под которую он оптимизирован ситуация совершенно другая: чтобы крутить модель на 1 миллиард нейронов в реальном времени нужен «обычный» суперкомпьютер ближе к началу первой сотни, занимающий небольшое здание (сотни стоек набитых железом) и потребляющий несколько МВт мощности. Причем еще далеко не на каждом это выйдет в принципе — классическому суперу проще смоделировать более крупную или более сложную (с большей детализацией) сеть, но медленнее (например тратя по 1 минуте расчетов на 1 секунду смоделированного времени). А вот 1 млрд. в реалтайме многим будет не по силам — шины памяти и сеть между нодами окажутся перегружены, а процессоры будут наоборот большую часть времени простаивать ожидая поступления данных.
Или вот такая относительно скромная машинка, помещающаяся в одной комнате и потребляющая ~0.1 МВт.
И это при том, что процессоры тут сделаны по очень сильно устаревшему процессу — 130нм. Простой перенос этой же архитектуры на современные производственные возможности даст скачок выч. мощности и эффективности больше чем на порядок.
Ну так и не стоит тогда сравнивать мощность, не?
Простой перенос не пройдет. Потратится сравнимое время, надо будет все перепоэктировать.
Простой перенос не пройдет. Потратится сравнимое время, надо будет все перепоэктировать.
Я думаю Британские ученые все это знают, но не хотят еще 10 лет проектировать под новое железо.
Если на данном железе будет результат, то это выльется в новый проект на новом железе. может даже спроектированном специально под эту задачу на этом компьютере.
Если на данном железе будет результат, то это выльется в новый проект на новом железе. может даже спроектированном специально под эту задачу на этом компьютере.
Женская логика, такая же, как и мужская, просто базис, на котором она строится отличается. Как только вы примете это к сведению, всё становится значительно яснее.
А можно чуть детальнее? Очень интересная мысль, хотелось бы понять разницу базиса как вы ее видите
Есть разница между мужским и женским мышлением. Она основана на физиологических отличиях и социальных. Физиология, как мы понимаем, это эволюционный характер отличий. Например, преобладание другого гормонального фона. Социальные отличия это в первую очередь воспитание и ценности, которые устанавливает социум для женщин. Следом идут реакции общества на поведение женщин. Это всё и устанавливает с самого рождения разницу базисов, которая влияет на ход мыслей и принятие решений.
Сейчас, например, для женщин многое значительно проще и доступнее, чем было раньше, менее ста лет назад. То, что уже веками было доступно мужчинам. Социум будет перестраиваться под это ещё долго.
Для примера. В нашем социуме, отношение к женщине, у которой в 25 лет нет мужа и детей, у многих будет жалеющее. В 30 лет — как же так, что с тобой не в порядке? Т.е. женщина без определённого «стандартного» социального положения считается неполноценной. При приёме на работу им постоянно приходится обговаривать, когда они планируют иметь детей, ибо работодателю важно понимать, когда будет декрет. Мои знакомые чайлдфри девушки натыкаются, иногда, на недоверие в этом отношении. И этот список отличий в ожиданиях можно долго продолжать. То, о чём многие мужчины просто не задумываются, ибо никогда в жизни не сталкивались.
Сейчас, например, для женщин многое значительно проще и доступнее, чем было раньше, менее ста лет назад. То, что уже веками было доступно мужчинам. Социум будет перестраиваться под это ещё долго.
Для примера. В нашем социуме, отношение к женщине, у которой в 25 лет нет мужа и детей, у многих будет жалеющее. В 30 лет — как же так, что с тобой не в порядке? Т.е. женщина без определённого «стандартного» социального положения считается неполноценной. При приёме на работу им постоянно приходится обговаривать, когда они планируют иметь детей, ибо работодателю важно понимать, когда будет декрет. Мои знакомые чайлдфри девушки натыкаются, иногда, на недоверие в этом отношении. И этот список отличий в ожиданиях можно долго продолжать. То, о чём многие мужчины просто не задумываются, ибо никогда в жизни не сталкивались.
Спасибо за развернутый ответ
В принципе обо всех проблемах описанных в примере известно, да и их куда больше чем только это. Но пока что громче всего обсуждают только вопросы неравной ЗП и условий труда, хотя проблема куда шире
К сожалению есть и обратная сторона монеты, как мне кажется — попытка уровнять неуравниваемое (например кол-во девушек разработчиков в open source среде или вообще в любой IT компании)
К слову — социальные отличия сильно разнятся в разных странах (не сочтите за капитана очевидность). Из того что слышал на западе куда проще относятся и к child free и к девушкам в 25 без пары и в 30 без семьи. А в СНГ до сих пор для девушек рожающих после 30 используют весьма неприятное слово «старороженица». Сразу ощущение будто обвиняют в неполноценности или болезненности
В принципе обо всех проблемах описанных в примере известно, да и их куда больше чем только это. Но пока что громче всего обсуждают только вопросы неравной ЗП и условий труда, хотя проблема куда шире
К сожалению есть и обратная сторона монеты, как мне кажется — попытка уровнять неуравниваемое (например кол-во девушек разработчиков в open source среде или вообще в любой IT компании)
К слову — социальные отличия сильно разнятся в разных странах (не сочтите за капитана очевидность). Из того что слышал на западе куда проще относятся и к child free и к девушкам в 25 без пары и в 30 без семьи. А в СНГ до сих пор для девушек рожающих после 30 используют весьма неприятное слово «старороженица». Сразу ощущение будто обвиняют в неполноценности или болезненности
А в СНГ до сих пор для девушек рожающих после 30 используют весьма неприятное слово «старороженица». Сразу ощущение будто обвиняют в неполноценности или болезненности
Тут не в «традициях» дело, а, скорее, в статистике. Возраст за тридцать увеличивает вероятность проблем со здоровьем у ребенка и матери, особенно если это первые роды. По методичке из женской консультации, ЕМНИП, это примерно так же нехорошо, как курить во время беременности (там было что-то около 10 негативных факторов с указанием баллов, в том числе эти). Тем, у кого риски выше, могут назначить дополнительные анализы/исследования или положить на сохранение. Слишком юный возраст по той же методичке — тоже не гуд.
Ну вот, опять эти методички
Есть два показателя из этих методичек к которым аппелируют чаще всего:
1. Фертильность после 35 уменьшается на 35%
2. Риск врожденных дефектов у ребенка при родах около 40 возрастает в два раза
Проблема с утверждением #1 состоит в том что данные «исследования» основаны на переписи Французского населения 17го века. Как вы понимаете в те времена было очень много других факторов влияющих на проблемы с рождаемость и здоровье в целом. Да и попросту после 35 их мужья уже могли умереть. По современным данным у современной женщины в 27 вероятность забеременеть составляет 86% в течении года попыток. В 37 лет эта вероятность снижается… аж до 82%. Фертильность реально падает только после 40, но не 30
Проблема с утверждением #2 в том что оно… строго говоря полностью честное. Только не полное. Полное утверждение звучит как «Вероятность дефектов увеличивается с 0.5% до 1%». Просто разница в 0.5% никого не пугает, а вот «удваивается» и правда звучит устрашающе
К слову: ситуация с «запугиванием» девушек на тему того что после 35 они не смогут родить не присуща только СНГ, на западе она также существует и поддерживается многими компаниями снимающими с этого сливки (например клиники по заморозке яицеклеток, чтоб «вы все еще могли иметь детей после 35»)
Есть два показателя из этих методичек к которым аппелируют чаще всего:
1. Фертильность после 35 уменьшается на 35%
2. Риск врожденных дефектов у ребенка при родах около 40 возрастает в два раза
Проблема с утверждением #1 состоит в том что данные «исследования» основаны на переписи Французского населения 17го века. Как вы понимаете в те времена было очень много других факторов влияющих на проблемы с рождаемость и здоровье в целом. Да и попросту после 35 их мужья уже могли умереть. По современным данным у современной женщины в 27 вероятность забеременеть составляет 86% в течении года попыток. В 37 лет эта вероятность снижается… аж до 82%. Фертильность реально падает только после 40, но не 30
Проблема с утверждением #2 в том что оно… строго говоря полностью честное. Только не полное. Полное утверждение звучит как «Вероятность дефектов увеличивается с 0.5% до 1%». Просто разница в 0.5% никого не пугает, а вот «удваивается» и правда звучит устрашающе
К слову: ситуация с «запугиванием» девушек на тему того что после 35 они не смогут родить не присуща только СНГ, на западе она также существует и поддерживается многими компаниями снимающими с этого сливки (например клиники по заморозке яицеклеток, чтоб «вы все еще могли иметь детей после 35»)
разница между 0.5% до 1% пугает
«Вероятность дефектов увеличивается с 0.5% до 1%». Просто разница в 0.5% никого не пугает, а вот «удваивается» и правда звучит устрашающе
Ну, вероятность надо рассматривать в контексте серьезности негативного исхода. А в данном случае он вполне серьезен — куча нервов и денег в течение нескольких лет. Не сказал бы, что это прям пустяки.
Про уменьшение фертильности — да, снижение вроде бы небольшое, но есть anecdotal evidence в виде историй людей, которые долго откладывали, а потом не смогли (хотя, противоположные примеры тоже имеются). Ну и, помимо фертильности, есть еще фактор уменьшения пула возможных отцов, например.
Да, каждый волен строить свою жизнь, как считает нужным. Однако, учитывая тяжесть последствий неправильного выбора, я все же считаю, что не стоит смотреть на риски позднего рождения детей как на «миф и ерунду».
Пожалуй я не верно выразился. Естественно любое повышение шансов на такие исходы весьма пугающи и если вы станете тем самым 0.5% — то на шансы вообще будет наплевать, т.к. это проблема на всю жизнь и вам с ней жить
Я лишь хотел сказать, что все не ТАК страшно как пишут в методичках. Там ведь вообще все описано дико пугающе. Точные и реальные данные дают возможность более точно оценивать для себя готовы ли вы идти на такие риски. ИМХО, в большинстве случаев (и я знаю такие примеры), стараться родить «пораньше до 35 хоть от кого» приводят к куда большим проблемам и с более высокими рисками чем реальные проблемы с рождаемость после 35. Т.е. излишнее запугивание может быть губительнее незнания
Я лишь хотел сказать, что все не ТАК страшно как пишут в методичках. Там ведь вообще все описано дико пугающе. Точные и реальные данные дают возможность более точно оценивать для себя готовы ли вы идти на такие риски. ИМХО, в большинстве случаев (и я знаю такие примеры), стараться родить «пораньше до 35 хоть от кого» приводят к куда большим проблемам и с более высокими рисками чем реальные проблемы с рождаемость после 35. Т.е. излишнее запугивание может быть губительнее незнания
Dозраст за тридцать увеличивает вероятность проблем со здоровьем у ребенка и матери, особенно если это первые роды.
На самом деле это миф который тянется аж из 17 века (насколько я помню), риск проблем увеличивается после 40 лет причём с 0.1% до 0.2% тема неплохо освещена в Адам портит всё 2 сезон 1 серия (там же пруфы на научные статьи)
скажу честно — мое сообщение выше практически полностью основано на этой серии ))
Хотя пруфы я просматривал на всякий случай. Там куда больше данных, хотя и воспринимаются сложнее
Хотя пруфы я просматривал на всякий случай. Там куда больше данных, хотя и воспринимаются сложнее
UFO just landed and posted this here
>То есть под женской логикой человек просто намекает на отсутствие всякой логики.
Далеко не всегда. Хотя я и согласен что это уже настолько часто используется как синоним женской глупости, что стоит такие шутки употреблять аккуратно. Однако для меня «женская логика» как раз таки больше описывает то о чем писал выше Grox. Т.е. именно различия в принятии тех или иных решений (или в получении иных выводов из той же ситуации), основанные на различии в биологии и разных социальных нормах которые обоснованно и не очень навязываются обществом. Т.е. я действительно считаю что модель поведения (и как результат получаемые выводы из одной и той же информации) у мужчин и женщин часто не совпадают. Это не говорит о преобладании одного пола над другим, не говорит о их мыслительных способностях, лишь говорит что «они разные». Точно также как и темнокожие и светлокожие имеют несколько больше отличий (как минимум биологических), чем только объем пигмента в коже. Также это не значит что нужно освещать эти различия при любом споре и делать утверждения основываясь на них. Это не делает одних лучше других, но отрицать разницу тоже не стоит. Биологическая разница между рассами помогает ученым создавать лекарственные препараты которые лучше подходят для каждой отдельной рассы.
Вероятно более глубокое понимание разницы между мужчиной и женщиной в будущем поможет организовать более продуктивное и здоровое общество. Как минимум мы проходим этап «женщина — не человек» и приходим к насаживанию икуственного равенства. Еще не идеально, но уже прогресс
Далеко не всегда. Хотя я и согласен что это уже настолько часто используется как синоним женской глупости, что стоит такие шутки употреблять аккуратно. Однако для меня «женская логика» как раз таки больше описывает то о чем писал выше Grox. Т.е. именно различия в принятии тех или иных решений (или в получении иных выводов из той же ситуации), основанные на различии в биологии и разных социальных нормах которые обоснованно и не очень навязываются обществом. Т.е. я действительно считаю что модель поведения (и как результат получаемые выводы из одной и той же информации) у мужчин и женщин часто не совпадают. Это не говорит о преобладании одного пола над другим, не говорит о их мыслительных способностях, лишь говорит что «они разные». Точно также как и темнокожие и светлокожие имеют несколько больше отличий (как минимум биологических), чем только объем пигмента в коже. Также это не значит что нужно освещать эти различия при любом споре и делать утверждения основываясь на них. Это не делает одних лучше других, но отрицать разницу тоже не стоит. Биологическая разница между рассами помогает ученым создавать лекарственные препараты которые лучше подходят для каждой отдельной рассы.
Вероятно более глубокое понимание разницы между мужчиной и женщиной в будущем поможет организовать более продуктивное и здоровое общество. Как минимум мы проходим этап «женщина — не человек» и приходим к насаживанию икуственного равенства. Еще не идеально, но уже прогресс
Можно спросить, как риски рождения детей после 30 лет, связаны с женской логикой и с мужской логикой в данном контексте?Да никак, я просто миф прокомментировал. С точки зрения логики я честно говоря не вижу особых различий, если и есть то чисто культурные\социальные. Для девушек в основном создаётся психологическое\социальное давление в виду существования стереотипов что профессии\занятия где превалирует логическое и критическое мышление не подходят для девушек (IT, инженерия, наука и тд). В силу такого давления и того что девушки на уровне биохимии менее агрессивные и менее конкурентные (много меньше тестостерона) и более эмоционально восприимчивые, они предпочитаю не бороться против стереотипов и навязанных «ценностей» и тем самым поддерживают их, но как мне кажется девушек, с подобными ярко выраженными механизмами не так чтобы и много.
UFO just landed and posted this here
Женщины по темпераменту также отличаются как и мужское население, существуют классификации психотипов.
Эмоциональная восприимчивость, на мой взгляд, зависит от сочетания биологически активных и химических веществ в каждом организме.
Я про это и говорю. За конкуренцию и агрессивность в основном отвечает тестостерон, а за эмоциональность отвечают в основном эстрогены. Очевидно что в основном у мужского пола Тестостерон превышает количество эстрогенов. Агрессивные женщины с сильными признаками конкуренции это скорее исключение.
А способность к критическому аналитическому мышлению...
Я с этим никак не спорил (ну разве что конкуренция больше зависит от гормонов), я лишь сказал что социальные условия создают определённое психологическое давление на девушек, в следствии чего эти навыки девушки развивают слабо.
«Адам портит всё» это развлекательное шоу. У него часто нестыковки, недостоверные сведение и прочая развлекательная ерунда. То, что там показывается, нужно несколько раз перепроверять, не только «факты», но и его «логику» и выводы.
UFO just landed and posted this here
UFO just landed and posted this here
Mad_Max, спасибо за Ваши коментарии, интересно было почитать, и ответило на некоторые вопросы.
Остальным товарищам, устроившим обсуждение женской логики, поведения и окружения, я бы посоветовал бы не относится так ко всему серьезно. И уж тем более разводить полемику на пустом месте. В мире хватает «равноправия», «феминизма» и прочей бесполезной ерунды, которую можно бесконечно обсуждать и устраивать крики. Если на простую шутку (старую как 80386) вы реагируете ТАК остро, то не уверен что вам следует что-либо читать на этом сайте.
В любом случае, сколько людей, столько и мнений, и не стоит навязывать свое остальным.
Mad_max. Еще раз спасибо.
Остальным товарищам, устроившим обсуждение женской логики, поведения и окружения, я бы посоветовал бы не относится так ко всему серьезно. И уж тем более разводить полемику на пустом месте. В мире хватает «равноправия», «феминизма» и прочей бесполезной ерунды, которую можно бесконечно обсуждать и устраивать крики. Если на простую шутку (старую как 80386) вы реагируете ТАК остро, то не уверен что вам следует что-либо читать на этом сайте.
В любом случае, сколько людей, столько и мнений, и не стоит навязывать свое остальным.
Mad_max. Еще раз спасибо.
Как-то сразу не ясен маштаб. Создали суперкомпьютер с 1 миллионом ядер и только планируют на 1 миллиард, а у человека 100 миллиардов нейронов, т.е. 0.1% от человеческого. Но все равно работа впечатляет.
Один процент же) Сто миллиардов нейронов, а поделить не можете)
Полагаю, нейроны мозжечка можно не учитывать, а это 2/3 всех. В коре человеческого мозга под 20 млрд + подкорковые структуры (гиппокамп, амигдала, ограда, и т.д) где-то ещё 10 млрд.
Похоже, нельзя — в недавней статье про аутизм упоминалось, что при некорректном развитии в основном страдает именно мозжечок (уменьшается количество нейронов Пуркинье, по меньшей мере), а следствия крайне глобальны.
В упомянутой статье указано, что именно недоразвитость мозжечка приводит к аутизму? Или имеет место стандартная корелляция, и мис-интерпретация следствия как причины?
Люди с аутизмом не особо подвижны, часто стереотипичны в своем поведении (качания, фиксированные положения), а мозжечок, как орган автоматизации стереотипики, очевидно адаптируясь под такую ограниченную моторику, усыхает. А учитывая кейс про китаянку, родившуюся без мозжечка, и не страдавшую аутизмом, всё-таки есть смысл оставить мозжечок за скобками интеллекта. Хотя, вроде, были статьи, в которых указывалось, что мозжечок всё-таки служит неким хелпером и для высших функций интеллекта, типа развивает моторное воображение.
Люди с аутизмом не особо подвижны, часто стереотипичны в своем поведении (качания, фиксированные положения), а мозжечок, как орган автоматизации стереотипики, очевидно адаптируясь под такую ограниченную моторику, усыхает. А учитывая кейс про китаянку, родившуюся без мозжечка, и не страдавшую аутизмом, всё-таки есть смысл оставить мозжечок за скобками интеллекта. Хотя, вроде, были статьи, в которых указывалось, что мозжечок всё-таки служит неким хелпером и для высших функций интеллекта, типа развивает моторное воображение.
всего на проект потратили £15 000 000.Интересно, можно ли сделать компьютер в сто раз мощнее, если потратить полтора миллиарда?
Вполне, архитектура хорошо практически линейно масштабируется. Причем тут из этих 15 Млн большая часть ушла на исследования и проектирование, а не на саму машину.
Причем и пара миллиардов уже есть — на проект Human Brain Project в рамках которого они работают выделено по-моему 5 или 10 миллиардов. Но это делится на множество научных групп и подпроектов и конкретно этой пока досталось совсем немного.
Причем и пара миллиардов уже есть — на проект Human Brain Project в рамках которого они работают выделено по-моему 5 или 10 миллиардов. Но это делится на множество научных групп и подпроектов и конкретно этой пока досталось совсем немного.
Они там 30 лет делают нечто, а AlexeyR тут на хабре нынче очень интересно и убедительно расписывает, как все их представления далеки от реальности работы мозга… Грустно, столько усилий и денег потрачены боитанскими учёными на столь безосновательном фундаменте…
Ну, эти-то ребята играют в спайковые сети, а у них есть совершенно замечательные математические свойства качественно отличающие их от более примитивных моделей, так-что надежда получить гешефт с масштаба там не нулевая…
При всём уважении к Редозубу, идеи которого мне искренне нравятся, даже если они не верны окажутся по факту, со спайковыми сетями у него явно не сложилось, он как то мельком от них отмахивается, мол есть ещё и такие чудики :-)
Но дело в том, что идти можно как от физиологии, так и от математики, а лучше делать это как-то сообща, и спайковые сети это как раз то…
При всём уважении к Редозубу, идеи которого мне искренне нравятся, даже если они не верны окажутся по факту, со спайковыми сетями у него явно не сложилось, он как то мельком от них отмахивается, мол есть ещё и такие чудики :-)
Но дело в том, что идти можно как от физиологии, так и от математики, а лучше делать это как-то сообща, и спайковые сети это как раз то…
А почему нельзя использовать виртуализацию? Зачем на каждый нейрон целое ядро?
Насколько я знаю (с нейробиологией не особо знаком), сам по себе нейрон реализует довольно простую логику, вся сложность за счет их колличества и связей между ними — зачем в таком случае привязка нейрона к железному ядру?
Насколько я знаю (с нейробиологией не особо знаком), сам по себе нейрон реализует довольно простую логику, вся сложность за счет их колличества и связей между ними — зачем в таком случае привязка нейрона к железному ядру?
UFO just landed and posted this here
«Все, что ты знаешь — ложь!» © Илья Кормильцев
Спайковики используют весьма сложные модели нейронов и даже связей между ними.
И виртуализацию использовали за долго то того как это стало мэйнстриом.
Смысл всей этой физической вундервафли в том, что бы иметь возможность исследования самых различных моделей без ущерба производительности, которая обычно становится камнем преткновения…
Спайковики используют весьма сложные модели нейронов и даже связей между ними.
И виртуализацию использовали за долго то того как это стало мэйнстриом.
Смысл всей этой физической вундервафли в том, что бы иметь возможность исследования самых различных моделей без ущерба производительности, которая обычно становится камнем преткновения…
А кто сказал что тут по выделенному ядру на каждый нейрон?
Или вы тоже миллионы с миллиардами спутали? Машина с ~1 миллионом ядер (57 тыс. процессоров/чипов) моделирует до миллиарда нейронов. В среднем по 1000 нейронов на ядро.
Как раз за счет «виртуализации» — за счет того, что электронные схемы работают намного быстрее биологических одно ядро успевает моделировать ~1000 нейронов параллельно.
А самое большое ограничение даже не сама скорость обсчета работы нейрона, а память (где хранить все состояния) и шин данных (обмен сигналами между нейронами).
Или вы тоже миллионы с миллиардами спутали? Машина с ~1 миллионом ядер (57 тыс. процессоров/чипов) моделирует до миллиарда нейронов. В среднем по 1000 нейронов на ядро.
Как раз за счет «виртуализации» — за счет того, что электронные схемы работают намного быстрее биологических одно ядро успевает моделировать ~1000 нейронов параллельно.
А самое большое ограничение даже не сама скорость обсчета работы нейрона, а память (где хранить все состояния) и шин данных (обмен сигналами между нейронами).
Наконец-то его достроили.
Я про прототипы суперкомпьютеров (на несколько сотен чипов и соответственно неск. тысяч ядер) на этой архитектуре (SpiNNaker) читал еще лет 10 назад. Она появилась «в железе» еще до того как нейроморфными чипами занялись в IBM и Intel.
И уже тогда он показывал очень хорошие результаты, особенно по энергоэффективности вычислений по сравнению с классическими компьютерами.
И только сейчас появилась полномасштабная машина на подобной архитектуре.
Плохо что сами чипы до сих пор используют старой архитектуры — первая версия этого чипа создана почти 15 лет назад и спроектирована была под давно и сильно устаревшие нормы 130нм тех. процесса.
Но судя по описанию за все это огромное по меркам IT прошедшее совершенно ничего не изменилось:
— те же 18 (16 основных + 2 служебных) ядра на чип
— те же 96(64+32) КБ быстрой SRAM памяти на каждое ядро (в основном цикле работы все основные данные, т.е. программа моделирования и все параметры всех моделируемых нейронов и «веса» всех синапсов полностью умещаются в ней — это один из принципиальных моментов дающих многократное преимущество над традиционными архитектурами — почти все данные локальны, обмена с памятью практически нет, обмен с другими ядрами асинхронный и идет так же минуя память — пакеты бегают напрямую из ядра в ядро по мesh-сети).
— те же 128 МБ SDRAM памяти на один чип (разделяемой между 18 ядрами), для хранения вспомогательной информации, не требующей сверх быстрого доступа
— то же моделирование 1000 нейронов / 256К синапсов на ядро в реальном времени (=со скоростью не ниже биологических аналогов)
Похоже финансирования и времени перепроектировать все это дело под возможности современной полупроводниковой индустрии ученым так и не выделили. А очень жаль, разница могла бы быть кардинальной.
Ядра там очень простые, но зато очень компактные и эффективные, в современный чип уровня современных старших GPU или серверных CPU можно было уместить до 1000 подобных ядер с сохранением приемлемого потребления энергии и нагрева (даже на древних 130нм чип потреблял всего около 1 Вт имея 18 ядер — почти на 2 порядка меньше чем одноядерные x86 того времени и на 3 порядка в расчете на 1 работающее ядро).
И соответственно из таких можно было бы строить машину с десятками миллионов ядер, моделирующую работу десятков миллиардов нейронов в реальном времени. Например способную моделировать в реальном времени весь неокортекс человека целиком.
Я про прототипы суперкомпьютеров (на несколько сотен чипов и соответственно неск. тысяч ядер) на этой архитектуре (SpiNNaker) читал еще лет 10 назад. Она появилась «в железе» еще до того как нейроморфными чипами занялись в IBM и Intel.
И уже тогда он показывал очень хорошие результаты, особенно по энергоэффективности вычислений по сравнению с классическими компьютерами.
И только сейчас появилась полномасштабная машина на подобной архитектуре.
Плохо что сами чипы до сих пор используют старой архитектуры — первая версия этого чипа создана почти 15 лет назад и спроектирована была под давно и сильно устаревшие нормы 130нм тех. процесса.
Но судя по описанию за все это огромное по меркам IT прошедшее совершенно ничего не изменилось:
— те же 18 (16 основных + 2 служебных) ядра на чип
— те же 96(64+32) КБ быстрой SRAM памяти на каждое ядро (в основном цикле работы все основные данные, т.е. программа моделирования и все параметры всех моделируемых нейронов и «веса» всех синапсов полностью умещаются в ней — это один из принципиальных моментов дающих многократное преимущество над традиционными архитектурами — почти все данные локальны, обмена с памятью практически нет, обмен с другими ядрами асинхронный и идет так же минуя память — пакеты бегают напрямую из ядра в ядро по мesh-сети).
— те же 128 МБ SDRAM памяти на один чип (разделяемой между 18 ядрами), для хранения вспомогательной информации, не требующей сверх быстрого доступа
— то же моделирование 1000 нейронов / 256К синапсов на ядро в реальном времени (=со скоростью не ниже биологических аналогов)
Похоже финансирования и времени перепроектировать все это дело под возможности современной полупроводниковой индустрии ученым так и не выделили. А очень жаль, разница могла бы быть кардинальной.
Ядра там очень простые, но зато очень компактные и эффективные, в современный чип уровня современных старших GPU или серверных CPU можно было уместить до 1000 подобных ядер с сохранением приемлемого потребления энергии и нагрева (даже на древних 130нм чип потреблял всего около 1 Вт имея 18 ядер — почти на 2 порядка меньше чем одноядерные x86 того времени и на 3 порядка в расчете на 1 работающее ядро).
И соответственно из таких можно было бы строить машину с десятками миллионов ядер, моделирующую работу десятков миллиардов нейронов в реальном времени. Например способную моделировать в реальном времени весь неокортекс человека целиком.
Сделали большой комп и хорошо, причем тут человеческий мозг?
Намедни слушал передачу о человеческом мозге, так признают, что адекватно понять не могут как устроен и как работает.
Тупая машина.
Намедни слушал передачу о человеческом мозге, так признают, что адекватно понять не могут как устроен и как работает.
Тупая машина.
понять не могут как устроен и как работаетА это совершенно нормально. Мы многими вещами пользуемся без понимания как устроено и как работает. Хотя бы та же квантовая механика. Но модели построены, формулы написаны, они работают. Так же и с мозгом. Есть модель, по ней построили железку, включили — изучили как работает. Сравниваем с оригиналом. Уточняем модель, строим новую железку, которая будет работать ещё лучше. Так работает научный метод.
Есть модель, по ней построили железку, включили — изучили как работает. Сравниваем с оригиналом. Уточняем модель, строим новую железку, которая будет работать ещё лучше. Так работает научный метод.ИМХО научный метод работает не всегда так. Нпр., была модель флогистона, одно время она работала и ее пытались улучшать, а потом пришлось отказаться.
Мы многими вещами пользуемся без понимания как устроено и как работает. Хотя бы та же квантовая механика.
Зачем так глубоко нырять, подымемся на уровень выше. Обыкновенная радиосвязь. Никто не знает что есть радиоволна. Но все пользуются.
С учетом того, что в одном мозжечке 50 % нейронов головного мозга, а за разумную деятельность мозжечок не отвечает, то я думаю даже миллиарда смоделированных нейронов хватит для серьезного прорыва. И вообще если мы возьмем только доли мозга отвечающие за самосознание и мышление, то еще может и миллиард за глаза сойдет для 90% людей:D
Минимально нужно моделировать хотя бы неокортекс, отвечающий за почти всю высшую нервную деятельность. А это где-то 15-20 миллиардов нейронов.
Если получится смоделировать хотя бы мышь или морскую свинку это уже будет анриал
UFO just landed and posted this here
в современный чип уровня современных старших GPU или серверных CPU можно было уместить до 1000 подобных ядер
А ведь это целая индустрия. Интересно а какому нибудь миллиардеру такая задача под силу?
Нанять команду которая спроектирует такой чип и заказать производство? Сам чип делать как ADM свои новые процы. Центральный кристалл память и шины к другим кристаллам и кристаллы сателлиты. Ведь ASIC для крипты успешно делают.
И как можно применять такой чип в повседневных задачах?
2 ноября исследователи Манчестерского университета запустили самый мощный суперкомпьютер, архитектура которого моделирует человеческий мозг. В нем работает миллион ядер ARM9, которые могут обрабатывать 200 триллионов операций в секунду. Компьютер проектировали 20 лет, и еще 10 лет собирали. Работы по конструированию начали в 2006 году, а всего на проект потратили £15 000 000.
Прочитал и невольно вспомнил новость о ней:
Супруга бывшего главы Международного банка Азербайджана Замира Гаджиева была арестована полицией Великобритании. Её планируют экстрадировать в Азербайджан, если она не подтвердит законное происхождение своих доходов. Гаджиева умудрилась спустить в самом известном универмаге Лондона Harrods 16 миллионов фунтов стерлингов (около 1 миллиарда и 380 миллионов рублей) за несколько лет, сообщает Би-би-си.
Кто на что деньги тратит...?(
Я удивлен, что в комментариях так и не было ни одной шутки про Скайнет.
Хочу такую же работу — с дедлайном через 30 лет.
Дурака поваляю 29 лет, поиграюсь в конструктор и уволюсь.
Ну или сдохну.
Дурака поваляю 29 лет, поиграюсь в конструктор и уволюсь.
Ну или сдохну.
UFO just landed and posted this here
Там не только отчеты, но и «железо» создавалось и демонстрировалось по этапам.
— спроектировали чип, провели валидацию — следующий кусочек
— заказали, получили, протестировали и продемонстрировали первые рабочие чипы в кремнии — следующий
— создали большие «системные платы» под такие чипы, довели их до ума, продемонстрировали работу
— решили вопросы поиска оптимальной топологии сети(у них получилась одноранговая mesh сеть в форме тора) и взаимодействия подобных плат, создали работающий первый мультимодульный блок (блок состоящий из нескольких плат, на каждой по 48 процессоров и пачка сетевых интерфейсом) работающий как одно целое
— создали первый большой компьютер (на 100 000 ядер), продемонстрировали, что применяемый подход хорошо масштабируется на большие системы.
— тогда только получили деньги на заказ производства большой партии чипов и плат под них и строительство полномасштабной системы на 1 миллион ядер
— спроектировали чип, провели валидацию — следующий кусочек
— заказали, получили, протестировали и продемонстрировали первые рабочие чипы в кремнии — следующий
— создали большие «системные платы» под такие чипы, довели их до ума, продемонстрировали работу
— решили вопросы поиска оптимальной топологии сети(у них получилась одноранговая mesh сеть в форме тора) и взаимодействия подобных плат, создали работающий первый мультимодульный блок (блок состоящий из нескольких плат, на каждой по 48 процессоров и пачка сетевых интерфейсом) работающий как одно целое
— создали первый большой компьютер (на 100 000 ядер), продемонстрировали, что применяемый подход хорошо масштабируется на большие системы.
— тогда только получили деньги на заказ производства большой партии чипов и плат под них и строительство полномасштабной системы на 1 миллион ядер
Надеюсь, не получится как с японцами.
Не боитесь, что фанаты Функционально Программирования и фанаты Пролога сольют вам карму за то, что по ссылке написанно?
Неудачи проекта объясняются сочетанием целого ряда объективных и субъективных факторов:
…
— ошибочный выбор языков типа Лисп и Пролог для создания базы знаний и манипулирования данными. В 1980-е годы эти системы программирования пользовались популярностью для САПР и экспертных систем, однако эксплуатация показала, что приложения оказываются малонадёжными и плохо отлаживаемыми по сравнению с системами, разработанными обычными технологиями, отчего от этих идей пришлось отказаться. Кроме того, трудность вызвала реализация «параллельного Пролога», которая так и не была успешно решена.
UFO just landed and posted this here
А в оригинале речь о человеческом мозге? По количеству нейронов модель соответствует мозгу птицы, наподобие сороки или больших попугаев, если верить Википедии.
P.S. правда, в статье о мозге человека на Вики упоминается цифра в 100 млрд. нейронов для человека. А в списке животных по количеству нейронов у человека всего лишь 16 млрд. И оба факта подтверждаются пруфами…
P.S. правда, в статье о мозге человека на Вики упоминается цифра в 100 млрд. нейронов для человека. А в списке животных по количеству нейронов у человека всего лишь 16 млрд. И оба факта подтверждаются пруфами…
Миллионы ядер, а PUBG все равно лагает…
Большой процент мозга тратится на функции обеспечения жизнедеятельности тела, а не на интеллектуальные задачи. Так что может и 1% хватить.
Интересно как в будущем, подводя процент моделирования человеческого мозга все ближе к 100%, будут смотреть на проблему отсутствия у суперкомпьютера человеческого тела и исходящие из этого уже психологические различия.
Тут в комментариях, шутя, упоминают скайнет, а стоило бы — Crystal Society
Там как раз тельце добавили из похожих соображений.
Ну да, ИИ, еще бы к нему базу данных прикрутить нормальную… А то вся мощность будет простаивать из-за выборки из БД. Собственно финишь… Лучше бы рассказали как к ИИ прикручивается БД с разно-сложной информацией. А то Обработка информации с камер — не очень интересная история. Про это уже писали.
БД для настоящего нейроморфного ИИ нужны в основно для обучения — подойдут и любые обычные.
Все «усвоенные» (изученные) данные у нейронных хранятся в самой структуре сети, а не в каком-то отдельном выделенном хранилище, доступ к которому обязательно стал бы узким местом.
В этом плане у НС вообще нет жесткого разделения на собственно программу (алгоритмы) и данные. И то и другое смешано и распределяется по всей структуре.
Все «усвоенные» (изученные) данные у нейронных хранятся в самой структуре сети, а не в каком-то отдельном выделенном хранилище, доступ к которому обязательно стал бы узким местом.
В этом плане у НС вообще нет жесткого разделения на собственно программу (алгоритмы) и данные. И то и другое смешано и распределяется по всей структуре.
Как помню, проекты железногомозга так все и заканчивались ничем. Вспоминаются моделирование червя и ярды в никуда на проект human brain project.
Что в этом проекте такого инновационного, кроме «еще больше ядер»?
Что в этом проекте такого инновационного, кроме «еще больше ядер»?
UFO just landed and posted this here
Бессмысленный и беспощадный миллион ядер. Древняя архитектура на мобильных процах, отсутствие задачи(вообще. полное. от слова..) и участие в мегамутном проджекте — успех гарантирован.
ИИ прям ждет не дождется заселения в это нейроморфное чудо из говна и палок. Даже обидно за нейроночку
ИИ прям ждет не дождется заселения в это нейроморфное чудо из говна и палок. Даже обидно за нейроночку
Один из других подпроектов human brain project, в котором якобы «деньги уходят в никуда» занимается как раз этим — изучает живые мозги (пока мышек), включая сканирование и «оцифровку» связей с рекордным разрешением. Запуск моделей на полученных связей (а модели в будущем будет в т.к. на описанном в этой статье компе крутиться), сравнение полученной картины работы нейросети (например реакция на электрические импульсы) с таковой реакций в живых мозгах.
А вообще их таких подпроектов целых 10
— в одном строят такие вот нейроморфные компьютеры
— в другом занимаются моделированием на традионных компьютерах
— еще одном изучают живые мозги и разрабатывают способы «считывания» информации с них
— еще в одном пилят специализированное ПО
— в другом занимаются изучением, систематизацией и обобщением всех исследований работы мозга ведущихся по всему миру другими учеными не входящими в проект
и так далее
А вообще их таких подпроектов целых 10
— в одном строят такие вот нейроморфные компьютеры
— в другом занимаются моделированием на традионных компьютерах
— еще одном изучают живые мозги и разрабатывают способы «считывания» информации с них
— еще в одном пилят специализированное ПО
— в другом занимаются изучением, систематизацией и обобщением всех исследований работы мозга ведущихся по всему миру другими учеными не входящими в проект
и так далее
UFO just landed and posted this here
Это НЕ этот сайт. Над подобными задачами в разных местах с переменных успехом работают, но конкретный проект (Brain Architecture Project), не входит в human brain project. Это намного более старый(начался почти на 10 лет раньше) и простой по своей сути проект.
В human brain project работают уже на совершенно другом уровне — точность и детализация на порядки выше.
В вашем примере: механические(острым лезвием) срезы тканей мозга, толщина среза 20 мкм, химическое подкрашивание, оптическое сканирование подкрашенных срезов, разрешение 2D сканирования ~500 нм на пиксель
human brain project — сверхтонкие срезы тонким сфокусированным ионным пучком по ~ 5-10 нм (в ~2000 раз тоньше), электронные сканирующие микроскопы, разрешение 2D сканирования до 1 нм/пиксель (в ~500 раз выше).
Тут уже вообще и все связи между нейронами видно и примерно их «веса» можно оценить на основе размеров и формы синапсов, а так же их количества (между отростками 2х нейронами часто имеется множество отдельных синапсов если связь между ними «сильная»)
Хотя такие проекты как Brain Architecture Project тоже нужны — там зато сканируют весь мозг целиком и определяют его общую макроструктуру, распределение типов по отделам клеток, основные преобладающие связи и их примерную топологию но уровне целого мозга. Причем разных видов животных, что позволяет выявлять и изучать общее, различия, делать обобщения.
А в human brain project сканируют уже с точностью до отдельных синапсов и даже отдельных рецепторов на их поверхностях и синаптических пузырьков содержащих нейромедиаторы, точно определяя самую мелкую микроструктуру мозга. Но с такой уже достигнутой точностью пока еще невозможно отсканировать и «оцифровать» целый мозг. Даже такой небольшой как мышиный или крысиный пока сложновато — слишком много работы и данных, а времени и ресурсов не особо много.
Даже 1 мм3 мозга на максимальной достигнутой детализации — это до 200 000 тысяч проходов «ионного ножа» и сканера по очереди, 200 000 полученных цифровых изображений, каждое на гигапиксель (~ 1 Гигабайт данных если без сжатия) объемом.
Которые потом надо еще обрабатывать и переводить в топологию и веса нейронной сети из сырых графических данных. Что отдельная сложная задача (но ей тоже уже занимаются — в другом подпроекте).
В human brain project работают уже на совершенно другом уровне — точность и детализация на порядки выше.
В вашем примере: механические(острым лезвием) срезы тканей мозга, толщина среза 20 мкм, химическое подкрашивание, оптическое сканирование подкрашенных срезов, разрешение 2D сканирования ~500 нм на пиксель
human brain project — сверхтонкие срезы тонким сфокусированным ионным пучком по ~ 5-10 нм (в ~2000 раз тоньше), электронные сканирующие микроскопы, разрешение 2D сканирования до 1 нм/пиксель (в ~500 раз выше).
Тут уже вообще и все связи между нейронами видно и примерно их «веса» можно оценить на основе размеров и формы синапсов, а так же их количества (между отростками 2х нейронами часто имеется множество отдельных синапсов если связь между ними «сильная»)
Хотя такие проекты как Brain Architecture Project тоже нужны — там зато сканируют весь мозг целиком и определяют его общую макроструктуру, распределение типов по отделам клеток, основные преобладающие связи и их примерную топологию но уровне целого мозга. Причем разных видов животных, что позволяет выявлять и изучать общее, различия, делать обобщения.
А в human brain project сканируют уже с точностью до отдельных синапсов и даже отдельных рецепторов на их поверхностях и синаптических пузырьков содержащих нейромедиаторы, точно определяя самую мелкую микроструктуру мозга. Но с такой уже достигнутой точностью пока еще невозможно отсканировать и «оцифровать» целый мозг. Даже такой небольшой как мышиный или крысиный пока сложновато — слишком много работы и данных, а времени и ресурсов не особо много.
Даже 1 мм3 мозга на максимальной достигнутой детализации — это до 200 000 тысяч проходов «ионного ножа» и сканера по очереди, 200 000 полученных цифровых изображений, каждое на гигапиксель (~ 1 Гигабайт данных если без сжатия) объемом.
Которые потом надо еще обрабатывать и переводить в топологию и веса нейронной сети из сырых графических данных. Что отдельная сложная задача (но ей тоже уже занимаются — в другом подпроекте).
Есть данные о производительности этого поделия? Что-то мне подсказывает, что штук 10 карточек gpu или tpu обгонят это чудо на мобильных процессорах, а лет через пять — любой тостер.
И как может придти в голову ученым использовать процы общего назначения? Из всей этой коробочки нужно всего с десяток операций, а не все полтыщи. Для спайков же не нужна магия arm?
В 2018 ожидаешь движений в сторону tpu и asic всяких, а тут британские ученые мобильным процессором в матрицы блеать. Заведи они акк где-нибудь в облаках и сотня инстансов tpu выдадут те же флопсы.
И как может придти в голову ученым использовать процы общего назначения? Из всей этой коробочки нужно всего с десяток операций, а не все полтыщи. Для спайков же не нужна магия arm?
В 2018 ожидаешь движений в сторону tpu и asic всяких, а тут британские ученые мобильным процессором в матрицы блеать. Заведи они акк где-нибудь в облаках и сотня инстансов tpu выдадут те же флопсы.
Если посчитать, a9 352 — 655 MFlops/core. Пусть будет 1 гигафлопс. Миллион ядер = 1 петафлопс.
64 TFLOPs — NVIDIA Tesla T4 GPU
180 TFLOPs — tpu 3 gen
Итого, вместо миллиона говноядер можно был взять пять карточек tpu или 15 карточек gpu, или 60 штук геймерских nvidia 2080. Стоит это всё $50 тыс. Бгг
64 TFLOPs — NVIDIA Tesla T4 GPU
180 TFLOPs — tpu 3 gen
Итого, вместо миллиона говноядер можно был взять пять карточек tpu или 15 карточек gpu, или 60 штук геймерских nvidia 2080. Стоит это всё $50 тыс. Бгг
что штук 10 карточек gpu или tpu обгонят это чудо на мобильных процессорах
Ну если вы найдёте 10 карточек которые в сумме будут давать 7 терабайт оперативной памяти + 96 гигов быстрой кэш памяти, и с шириной шины в 5 миллиардов пакетов (пакеты 40 — 72 бита). То да наверно карточки смогут работать быстрее.
Проблема не в скорости вычислений, самое проблемное место в таких проектах это память и передача информации. пруф по числам тут apt.cs.manchester.ac.uk/projects/SpiNNaker/architecture
Что-то я смотрю по arm a9 и вижу 1600 MB/s. А это точно суперкомп, а не sd-карта? Это примерно в 2000 раз медленнее tpu.
Cloud TPU v3 Beta
420 teraflops
128 GB HBM 2.4TB/sec
7 терабайт = всего лишь 50 таких карточек, а не млн недоядер
При этом вы получаете какую надо память(HBM), а не это чудо прошлого века.
Ну а то, что всего 2 карточки выдают столько же флопсов — это фейл для вот этой херни, что нагородили британские ученые. За $15 млн можно было арендовать железо на 100 лет или просто купить за $50тыс полсотни геймерских карт(с такой же охренительной памятью).
Cloud TPU v3 Beta
420 teraflops
128 GB HBM 2.4TB/sec
7 терабайт = всего лишь 50 таких карточек, а не млн недоядер
При этом вы получаете какую надо память(HBM), а не это чудо прошлого века.
Ну а то, что всего 2 карточки выдают столько же флопсов — это фейл для вот этой херни, что нагородили британские ученые. За $15 млн можно было арендовать железо на 100 лет или просто купить за $50тыс полсотни геймерских карт(с такой же охренительной памятью).
Ну вот и организуйте 50 карточек так чтобы шина между ними была в 25 — 45 гигабайт в секунду. Вы привязались в флопсам, но дело то не в них, они то как раз являются не столь значимой характеристикой. Производителность число дробилки это одно, но в данном случае нужна производительность памяти и обмена.
Госпади, вы не врубаетесь в порядок чисел и не понимаете, что этого говно имеет память в 2000 раз медленнее tpu(да gpu тоже). Какая разница какая у вас там шина, если проц умеет только 1600 MB/s. Сравните — 2.4TB/sec у тпу.
Какие нах терабиты в arm ядрах?
Вот поэтому и нигде нет инфы о производительности, есть только «200 триллионов операций чего-то там», это чтобы никто не узнал какою херню собрали британские ученые.
Какие нах терабиты в arm ядрах?
Вот поэтому и нигде нет инфы о производительности, есть только «200 триллионов операций чего-то там», это чтобы никто не узнал какою херню собрали британские ученые.
и еще раз по цифрам.
7 терабайт оперативной памяти + 96 гигов быстрой кэш памяти — сегодня этим никого не удивишь
с шириной шины в 5 миллиардов пакетов — это конечно пздц трешак. о чем вы?
25 — 45 гигабайт в секунду — это уже отсталые технологии. 616GBps — GeForce RTX 2080, домашняя видеокарта и 2.4 TB/sec для TPU.
Эти дебилы все что имееют — 1600 MB/s и уйти от этого невозможно. Вот это косяк в архитектуре, который нельзя исправить никак.
В самом закритичном месте — память, они догадались воткнуть мобильный arm. И не видать им теперь терабитов в сек, я сомневаюсь, что там даже эти жалкие 1600 MB/s достижимы.
7 терабайт оперативной памяти + 96 гигов быстрой кэш памяти — сегодня этим никого не удивишь
с шириной шины в 5 миллиардов пакетов — это конечно пздц трешак. о чем вы?
25 — 45 гигабайт в секунду — это уже отсталые технологии. 616GBps — GeForce RTX 2080, домашняя видеокарта и 2.4 TB/sec для TPU.
Эти дебилы все что имееют — 1600 MB/s и уйти от этого невозможно. Вот это косяк в архитектуре, который нельзя исправить никак.
В самом закритичном месте — память, они догадались воткнуть мобильный arm. И не видать им теперь терабитов в сек, я сомневаюсь, что там даже эти жалкие 1600 MB/s достижимы.
1600 MB/s это 1 ядро, коих миллион. И каждое является самостоятельным. гпу же этот mimd процессоры которые обрабатывают данные совершенно по другому, из-за другого принципа обработки данных и скорость в определённых задачах получается выше, и это не одна из этих задач. А впрочем забудьте вы либо тролль, либо у вас синдром даннинга крюгера.
нет, вы не можете так считать.
1 ядро = 1 флопс, млн ядер = млн флопс
НО
1 ядро = 1600 MB/s, млн ядер = 1600 MB/s
Производительность всей системы жестко ограничена сверху вот этими 1600 MB/s. Больше мобильное ядро не вытащит. На интерконнектах между вот этими говноядрами вы потеряете еще целую вечность.
Потому что память — это bandwidth и latency. Поэтому в TPU используется сверхскоростная HBM память(на gpu тоже), поэтому эта память физически находится прямо у вычислителя(tpu — не процессор), используются специальные шины/контроллеры — всё это невозможно на десктопной и тем более мобильной платформе. Только так можно получить заветные тирабиты в секунду. Пока это ядро отсылает одну матрицу, TPU отправит 2000 таких матриц за то же время. И уже сегодня нужно не 2000, а миллионы — вот куда нужно стремиться, а не взад.
Ну и что вы собрались считать на этом калькуляторе? TPU бы не справился со спайками? В жизни не поверю, что для этого нужны именно армы и какая-то особо изощренная медленная архитектура из говна и палок.
Сегодня память на домашней видеокарте работает в тысячу раз быстрее чем на их тормознутом суперкомпьютере. Ах да, 1 TPU по флопсам = 500 000 ядер arm. Стоило оно того?
1 ядро = 1 флопс, млн ядер = млн флопс
НО
1 ядро = 1600 MB/s, млн ядер = 1600 MB/s
Производительность всей системы жестко ограничена сверху вот этими 1600 MB/s. Больше мобильное ядро не вытащит. На интерконнектах между вот этими говноядрами вы потеряете еще целую вечность.
Потому что память — это bandwidth и latency. Поэтому в TPU используется сверхскоростная HBM память(на gpu тоже), поэтому эта память физически находится прямо у вычислителя(tpu — не процессор), используются специальные шины/контроллеры — всё это невозможно на десктопной и тем более мобильной платформе. Только так можно получить заветные тирабиты в секунду. Пока это ядро отсылает одну матрицу, TPU отправит 2000 таких матриц за то же время. И уже сегодня нужно не 2000, а миллионы — вот куда нужно стремиться, а не взад.
Ну и что вы собрались считать на этом калькуляторе? TPU бы не справился со спайками? В жизни не поверю, что для этого нужны именно армы и какая-то особо изощренная медленная архитектура из говна и палок.
Сегодня память на домашней видеокарте работает в тысячу раз быстрее чем на их тормознутом суперкомпьютере. Ах да, 1 TPU по флопсам = 500 000 ядер arm. Стоило оно того?
И то и другое похоже. Запущенный случай.
96 ГБ это даже не кэш. Тут это собственно основная рабочая память. Там где в других архитектурах SRAM используется как кэш-буфер при доступе к основной (DRAM) памяти, тут SRAM это основная рабочая память и есть. А DRAM во внешнем отдельном кристалле — вспомогательная.
Никакого кэширования, никаких иерархий кэширования (которых в современных архитектурах уже по 3, а то и по 4 уровня), широких шин передачи данных между кэшами разных уровней, проблем синхронизации и когерентности кэшей, блоков предварительной выборки из памяти в кэш, блоков предсказания ветвлений и прочего.
Просто огромная куча костылей(предназначенных компенсировать низкую скорость и высокие задержки работы обычной памяти) выкинута и за счет этого серьезно сэкономлен транзисторный бюджет и площадь чипа. Которые в свою очередь пошли на увеличение кол-ва ядер и объема SRAM памяти в одном чипе и интеграцию скоростного сетевого роутера в каждый чип, общающегося с ядрами и SRAM напрямую.
Данные при работе просто пишутся и читаются из SRAM сидящей прямо в каждом ядре с минимальными фиксированными (заранее известными) задержками. ЕМНИП это всего 2 такта, против 3-5 тактов для L1 кэша и порядка 10 тактов для L2 в самых современных и мощных процессорах общего назначения. Впрочем это больше за счет низкой рабочей частоты ядер, а не особенностей реализации памяти.
Подход довольно специфический, особенно сточки зрения программиста: либо ты уложился в тесные рамки объема (32 кб на код программы, 64 кб на основной блок данных) и тогда получаешь огромное преимущество и эффективность, либо не уложился — и тогда можно даже не запускать тесты, сразу понятно, что все будет работать очень медленно, намного хуже обычных процессоров.
Никакого кэширования, никаких иерархий кэширования (которых в современных архитектурах уже по 3, а то и по 4 уровня), широких шин передачи данных между кэшами разных уровней, проблем синхронизации и когерентности кэшей, блоков предварительной выборки из памяти в кэш, блоков предсказания ветвлений и прочего.
Просто огромная куча костылей(предназначенных компенсировать низкую скорость и высокие задержки работы обычной памяти) выкинута и за счет этого серьезно сэкономлен транзисторный бюджет и площадь чипа. Которые в свою очередь пошли на увеличение кол-ва ядер и объема SRAM памяти в одном чипе и интеграцию скоростного сетевого роутера в каждый чип, общающегося с ядрами и SRAM напрямую.
Данные при работе просто пишутся и читаются из SRAM сидящей прямо в каждом ядре с минимальными фиксированными (заранее известными) задержками. ЕМНИП это всего 2 такта, против 3-5 тактов для L1 кэша и порядка 10 тактов для L2 в самых современных и мощных процессорах общего назначения. Впрочем это больше за счет низкой рабочей частоты ядер, а не особенностей реализации памяти.
Подход довольно специфический, особенно сточки зрения программиста: либо ты уложился в тесные рамки объема (32 кб на код программы, 64 кб на основной блок данных) и тогда получаешь огромное преимущество и эффективность, либо не уложился — и тогда можно даже не запускать тесты, сразу понятно, что все будет работать очень медленно, намного хуже обычных процессоров.
Sign up to leave a comment.
Британские ученые запустили суперкомпьютер с 1 млн ядер, который моделирует человеческий мозг