«Закон Мура» — мертв. Да здравствует «закон Хуанга»

    image

    Правило, согласно которому количество транзисторов, размещаемых на кристалле интегральной схемы, удваивается каждые 18 месяцев, больше неверно. Но действует новый закон, который назван в честь генерального директора Nvidia, компании, которая сейчас является самой передовой в ​​области коммерческого ИИ.

    Закон Хуанга — это наблюдение в области компьютерных наук и инженерии, согласно которому прогресс в области графических процессоров (GPU) растет гораздо быстрее, по сравнению с центральными процессорами (CPU). Это наблюдение противоречит закону Мура.

    Это наблюдение было сделано Дженсеном Хуангом, главным исполнительным директором Nvidia, на конференции по технологиям графических процессоров (GTC) 2018 года, проходившей в Сан-Хосе, Калифорния. Он заметил, что графические процессоры Nvidia были «в 25 раз быстрее, чем пять лет назад», тогда как закон Мура ожидал только десятикратного увеличения.

    По словам Хуанга, для задач искусственного интеллекта AlexNet потребовалось шесть дней на двух процессорах Nvidia GTX 580, чтобы завершить процесс обучения, но только 18 минут на современном сервере DGX-2 AI, что привело к ускорению в 500 раз. По сравнению с законом Мура, который фокусируется исключительно на транзисторах ЦП, Закон Хуанга охватывает сочетание достижений в архитектуре, межсоединениях, технологии памяти и алгоритмах.
    В нем описывается, как производительность кремниевых чипов, обеспечивающих искусственный интеллект, более чем удваивается каждые два года. Хотя рост можно отнести как к аппаратному, так и к программному обеспечению, его устойчивый прогресс делает его уникальным инструментом для всего, от автономных автомобилей, грузовиков и кораблей до распознавания лиц, голоса и объектов в наших личных гаджетах. С ноября 2012 года по май 2020 года производительность чипов Nvidia увеличилась в 317 раз для важного класса вычислений AI, говорит Билл Далли, главный научный сотрудник и старший вице-президент по исследованиям в Nvidia. Другими словами, в среднем производительность этих чипов ежегодно увеличивается более чем вдвое, и по сравнению с этим закон Мура бледнеет.

    image

    Специализацией Nvidia уже давно являются графические процессоры, которые эффективно справляются со множеством независимых задач одновременно. С другой стороны, центральные процессоры, подобные тем, на которых специализируется Intel, гораздо менее эффективны, но лучше справляются с быстрым выполнением одной задачи. Intel была основной движущей силой закона Мура, но далеко не единственной. Для его сохранения потребовались десятки тысяч инженеров и миллиарды долларов инвестиций в сотни компаний по всему миру. Точно так же Nvidia не единственная, кто руководствуется законом Хуанга.

    Традиционный ЦП сам по себе обычно неэффективен для обработки всех задач, встречающихся при работе ИИ. И графические процессоры лучше подходят для таких ИИ-емких задач. Это достигается благодаря наличию значительно большего количества ядер и способности обрабатывать небольшие пакеты заданий параллельно. Однако даже у графических процессоров есть свои ограничения, особенно в отношении энергопотребления.

    По словам участников рынка, покупка Arm позволит NVIDIA ускорить развитие искусственного интеллекта за счет периферийных вычислений: некоторые операции, критичные для производительности системы, будут выполняться непосредственно терминалом, а не передаваться на сервер. В тандеме с развитой серверной экосистемой это позволит NVIDIA добиться значительного прогресса в создании новых областей искусственного интеллекта.

    Балансировка вычислительных ресурсов также важна для NVIDIA, потому что если графические процессоры значительно превосходят процессоры мэйнфреймов по скорости, то «слабое звено» задержит разработку всей системы. Покупка Arm позволит ей приобрести ценный актив в разработке центральных процессоров. Вице-президент по маркетингу Стив Родди ожидает, что так называемый «закон Хуанга» будет исчерпан через десять лет, но за это время отрасль добьется значительных успехов в разработке искусственного интеллекта.

    Источник: The WSJ
    AdBlock похитил этот баннер, но баннеры не зубы — отрастут

    Подробнее
    Реклама

    Комментарии 126

      0

      Я еще лет 10 назад слышал прогноз сильного ИИ к 2025 году. Такими темпами может что-то и получится

        +3
        некоторые ученые полагают, что сильный ИИ (с сознанием) невозможен в принципе.
          +2
          другие некоторые ученые полагают, что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека, т.е. порядка 1012 нейронов с количеством связей порядка 1015 — типа, при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно.

          Только вот на существующей кремниевой элементной базе — да, невозможно.
            +1
            Чем элементная база не угодила?

            Чисто количественно она нужные параметры со временем сможет обеспечить. Знать бы только какие конкретные архитектуры нужны и какими данными их «наполнять».

            P.S.
            По 1 порядку в параметрах мозга человека лишние.
              +3
              Чем элементная база не угодила?

              Чисто количественно она нужные параметры со временем сможет обеспечить.

              Не-а. Мы уже уперлись в технологический предел. И при этом весьма примитивные нейросети требуют специализированных ускорителей, и жрут сотни ватт энергии. А надо еще 6+ порядков.

              Так что нужен альтернативный подход — чтобы и плотность повысить, и энергопотребление снизить.
                +2
                Я про «уперлись» и «кремний уже умер» слышу уже лет 10 как каждый год, а количество транзисторов в кремниевых чипах и их производительность в задачах которые хорошо распараллеливаются при обработке (нейросети в их числе), что позволяют все эти транзисторы пустить в полезную работу все это время росли прежними темпами пока «кремний умирал». О чем собственно эта статья про «закон Хуанга» (переименнованный маркетолагами старый добрый закон Мура). В традиционных CPU был застой, а в GPU и нейрочипах прогресс шел прежними темпами с использованием того же самого кремния.

                И еще как минимум лет на 10 вперед у компаний занимающихся производством чипов планы УЖЕ расписаны — фундаментально уже ясно как и куда двигаться дальше в кремниевых полупроводниках.

                Откуда опять же 6 порядков?

                Действительно специализированные (нейроморфные) чипы еще лет 5 назад уже могли в реальном времени эмулировать работу нейросетей с порядка миллиона нейронов и сотнями миллионов синапсов, укладываясь при этом потреблением в единицы Вт или даже меньше 1 Вт на чип.

                Современный уровень, уже где-то на 1 порядок выше — 1 нейроморфный чип при условии использовании передового из уже освоенных для серийного производства кремниевых технологий (7-8 нм) можно сделать под эмуляцию в реальном времени на ~10 млн нейронов с миллиардами синапсов на одном чипе.

                Таких пока правда на практике еще никто не делал, т.к. в отличии от универсальных CPU и GPU такие чипы годятся только для одной единственной задачи (эмуляции нейросетей одной определенной архитектуры) и не ясны коммерческие перспективы которые могли бы оправдать необходимые вложения в проектирование и запуск производства подобного чипа — для современных сложных чипов это уже минимум десятки миллионов долларов еще до выхода первых годных к использованию чипов с конвейера. Но технологии уже такое позволяют.

                Мозг человека полностью это порядка 100 млрд. (на ~4 порядка осталось), неокортекс отвечающий за все все высшие нервные функции, почти в 10 раз меньше, где-то 10-15 млрд. (~3 порядка осталось).
                  +2
                  Была бы дешёвая альтернатива кремнию — умер бы по-настоящему
                    +3
                    Вы что, издеваетесь? Куда уже дешевле кремния? Он же по сути под ногами лежит.
                      0
                      Вот поэтому и не умер)
                      Т. е. кремний, который «лет 10 как каждый год» «умирал», продолжает лежать под ногами, а дешёвых альтернатив не нашли
                        +1
                        Штука в том что мы практически упёрлись уже в физические ограничения кремния. Если делать затвор тоньше — электроны будут просто туннелировать через него и транзистор больше не будет транзистором. Там конечно ещё лет 10 можно будет поиграться с разными архитектурами кремниевых транзисторов но уже сейчас видно что прогресс начинает двигаться в сторону колличественного нежели качественного. Т.е. чипы становятся больше, тепловыделение тоже — 3090, например, выделяет до ~360Вт тепла на пике. Кремнию осталось реально недолго.
                          0

                          Не только кремния, у нас есть ещё фундаментальная проблема со скоростью распространения эм волн, она уже влияет на время доступа к памяти находящейся за пределами чипа...

                            +1
                            Будет больше многоуровневых кэшей и, скорей всего, «внос» памяти в чиплеты. Ваш К.О.
                              0

                              Про много уровней кэша и его размеры, вроде как проблема в том что для большинства текущих задач быстродействие заметно не повысится, а с hbm появляется проблема отвода энергии...

                                0
                                Ну отвод энергии тоже еще не на пределе, просто он не выгоден.
                                Задумкам по водяному охлаждению ВНУТРИ чипа уже лет 10, если не больше.
                                Многослойные бутерброды с трубками в средине тоже уже были.
                                0
                                И наоборот — отказ от кешей для задач, где мы знаем паттерн доступа к памяти и/или он слишком случайный (читай нейронки и графы). В такой ситуации кеш зря греет воздух, всё равно упираемся в пропускную способность памяти.

                                Но выходы тоже есть — параллелить шины к памяти, приносить память прям к ядру и т.д.
                              +1
                              Почти упёрлись, да не совсем ещё упёрлись. Ещё раза в два по всем осям планируется уменьшение, а потом все эти gate-all-around, 3d и прочие приключения. Ещё раз в сто обещают плотность нарастить.

                              nikolayv81 тут тоже много ещё чего можно сделать — кто сказал, что память обязательно должна быть так далеко от чипа? Можно и рядом (весь этот HBM), можно стопкой наращивать. Есть и третий вариант — делать память умнее, добавлять к ней способностей к вычислениям на месте (in-memory computing), начиная от битовых операций над отдельными строками, продолжая локальными вычислительными ядрами, которые прямо в чипе памяти будут делать несложные вычисления. В зависимости от того, насколько сильно привычную модель (отдельно процессор, отдельно память) перерабатывать, от 2х до двух порядков ускорение возможно.
                                0

                                Проблема распределённых вычислений она не столько в сложности компонентов сколько в отсутствии алгоритмов, ведь тот же мозг работает за счёт изменчивости связей в т.ч. на кремниевой основе этого добиться очень сложно (коммуникационные ключи не могут переплывать между чипами :)), про hbm тут напрямую стоит вопрос теплоотвода, и он, вроде, так просто, пока не решается, таже проблема возникает при уплотнении элементов, про раза 2 в каждом измерении это очень оптимистично на мой взгляд, хотелось бы чтобы было так...

                                  0
                                  Блоки программного кода то УЖЕ переплывают.
                                  Алгоритмы тоже вроде никуда еще не уткнулися.
                                    0

                                    Я так понимаю что помимо кода должны ещё и данные "приехать" на один узел

                                      0
                                      Ну NUMA вроде есть же, не?
                                    0
                                    Всё решается, основная проблема — до недавнего времени (что такое 10 лет в масштабе истории?) было выгоднее и реалистично повышать производительность generic вычислений, однопотока произвольного содержания.

                                    И было проще подождать пару лет, чем городить специализированный ускоритель (кроме графики разве что). Сейчас же однопоток (даже мало-паралелльный однопоток) упёрся (растёт, но очень медленно), а в специализированных ускорителях для отдельных задач — конь не валялся, возможны ускорения в сотни раз.
                                      0
                                      в специализированных ускорителях для отдельных задач — конь не валялся, возможны ускорения в сотни раз

                                      Это будет переход от «монолита» к «микроядрам/микросервисам» на аппаратном уровне, как бы? Свой PU (уже не C) на каждый кодек/шифратор/ect?
                                        0
                                        Да этот процесс уже полным ходом идёт — взгляните на современный телефон, там кроме процессора (несколько видов ядер, для скорости/экономии энергии) есть ещё GPU для графики/3д, DSP для обработки картинок/видео с камеры, аппаратный видео кодек/декодер, secure анклавы, ускорение нейросеток в NPU, отдельный чип для обработки движения/гироскопа, распознавание голосовых команда на отдельной железке.

                                        Поэтому да, скорее всего специализация будет расти, постепенно отдельные задачи будут из процессора выноситься. Но при этом вероятно продолжат консолидироваться на одном физическом чипе, потому что выносить сигнал за пределы кремния — часто дороже в плане энергии и времени, чем тысячу раз пересчитать локально.
                          +1
                          Откуда опять же 6 порядков?

                          Оттуда. Что современное оборудование способно поддерживать порядка миллионов эквивалентных нейронов. А надо триллионы.

                          Действительно специализированные (нейроморфные) чипы еще лет 5 назад уже могли в реальном времени эмулировать работу нейросетей с порядка миллиона нейронов и сотнями миллионов синапсов, укладываясь при этом потреблением в единицы Вт или даже меньше 1 Вт на чип.

                          Если вы про TrueNorth — да, но. Там развесовка шла однобитная, spiking neurons. Маловато будет, не для всех задач подойдет. Даже при потреблении 0.1 Вт на чип таких чипов потребуется миллион, и потребление составит соответственно сотни киловатт. Ок, это был 28 нм процесс, сейчас 5 нм, предположим потребление упадет раз в 5 — ок, десятки. Все равно много, и все равно существенный объем.

                          Cerebras WSE сам по себе жрет 20 кВт, сколько там эквивалентных нейронов — наверное сотни тысяч.

                          Говорю же — на кремниевой элементной базе такие вещи невозможны.
                          Закапывайте.
                            +2
                            А можно мы ещё потрепыхаемся? Это хорошо конечно строить экстраполяции в неизвестное будущее, видеть, что они не приводят к каким-то вашим наперёд заданным «идеалам» и призывать закопать работающее и перестать в него вкладываться. Чтобы что? Чтобы вытащить из воздуха работающее решение на порядки лучше? Так это только в мечтах такое случается, во всех остальных случая прогресс инкрементальный, сложный и медленный, но идёт и идёт и за десятилетия накапливается невероятный результат.

                            Поэтому прошу, пусть с нами пока (лет 10-15) останется «бесперспективный» кремний. Даже если бы нам чудом явилась инопланетная технология с компьютерами мощностью как мозг, мы всё равно пока не знаем как её задействовать толком, а так, будет развиваться постепенно и железо и софт и наше понимание того, что мы делаем. Куда особо торопиться-то? Потенциал даже существующих решений ещё по сути не начал распространяться по реальному миру.
                              +1
                              Чтобы что? Чтобы вытащить из воздуха работающее решение на порядки лучше?

                              Чтобы исследовать более подходящие для задач сильного ИИ технологии и элементную базу, и не тратить ресурсы, пытаясь прыгнуть выше головы.

                              если бы нам чудом явилась инопланетная технология с компьютерами мощностью как мозг, мы всё равно пока не знаем как её задействовать толком

                              А зачем тогда вообще над ней работать? Разработка технологии подразумевает закрытие определенных потребностей.

                              Потенциал даже существующих решений ещё по сути не начал распространяться по реальному миру

                              Ага, при том, что в каждом пятом проекте ИИ на ИИ и ИИ погоняет. Приходит зокащег с выпученными глазами — МНЕ НАДО ML СРОЧНО И ЧТОБЫ ОН САМ ДЕНЬГИ ДЕЛАЛ.
                              Ну, и делаем. Не то, чтобы сам деньги делает, но прикладные задачи решает, да.
                                +1
                                Чтобы исследовать более подходящие для задач сильного ИИ технологии и элементную базу
                                Так в том-то и вопрос, откуда эта элементная база так внезапно возьмётся?
                                  0
                                  откуда эта элементная база так внезапно возьмётся?

                                  у нас уже есть работающий референс на мясной основе. почему внезапно то? давайте смотреть в сторону биологических и молекулярных механизмов.
                                    +1

                                    С ними проблема с предсказуемостью… Работать может (история говорит что даже в космос может летать) но вот работать как сказали не всегда (то деталь к верху ногами в разъём забъёт то ещё что-то)

                                  +3
                                  > Чтобы исследовать более подходящие для задач сильного ИИ технологии и элементную базу, и не тратить ресурсы, пытаясь прыгнуть выше головы.

                                  Прыгнуть выше головы — это сказать «вот мясной референс, давайте сделаем такой же», а потом на вопрос «как именно?» ответить — «моё дело стратегия».

                                  Рынок полупроводников просто гигантский и направлений работы в нём — невероятное количество, на всех уровнях стека, начиная от прикладных задач в которых идёт экспоненциальный прогресс алгоритмов (те же самые нейросети Хуанга не зря в 500 раз быстрее для тех же задач стали тренироваться и работать), продолжая фреймворками, оптимизаторами, компиляторами всего этого добра, через системную архитектуру (отходить от привычного «это компьютер, в нём есть цпу, память, постоянное хранилище и ввод-вывод» — очень тяжело и медленно, даже в мелочах, потому что нужно в процессе сохранить то, что уже работает), к железу — у нас сейчас есть относительно быстрые процессоры, которые застопорились, растущие ГПУ, разные видеоускорители, на пороге целый зоопарк железа для МЛ, геномики и графовых вычислений, там ещё лет на 10-20 работы и выжать только на специализации под задачи можно два-три порядка ускорения; и ниже по стеку — прогресс в чипах, упаковке в одно целое, интерконнектах, многослойнойности и т.д. и ещё ниже — все эти новые рентгеновские лазеры, фоторезисты и способы обработки.

                                  Во всех этих областях есть куча задач на разных стадиях близости к массовому потребителю:
                                  • что-то прямо сейчас печатают, чтобы через несколько месяцев анонсировать и начать продавать,
                                  • что-то в виде тестовых чипов, отлаживается, чтобы через год пойти в тираж,
                                  • что-то только начали проектировать, потому что собралась команда делать чипы нового поколения, видя потенциал и глубину рынка в определённых задачах (условные чипы нвидии через поколение),
                                  • что-то — просто лабораторная работа, исследующая вопрос «что если мы заменим какое-нибудь ключевое предположение современных архитектур?» в симуляторе («что если память могла бы выполнять простые операции внутри себя, не копируя через все шины в процессор?»), результаты чего мы увидим в лучшем случае через 5-10лет;
                                  • что-то ещё дальше по стеку — лаборатории в которых решают суперспецифические и узкие проблемы для того, чтобы повысить мощность условных оловянных лазеров, которые дают рентген для следующего поколения EUV сканеров, которые через годы дойдут до будущих заводов, на которых будущие проектировщики будущего железа будут разрабатывать чипы для будущих задач. Т.е. в принципе эти люди уже сейчас делают то, результаты чего в каждом телефоне будут лет через 15.


                                  И вы предлагаете что? Пусть все эти специалисты остановятся, бросят свои дела, в которых они понимают и знают как принести улучшения, пойдут все, переучатся на несуществующие специальности «разработчиков биомозгов» на несуществующих курсах несуществующих университетов. Потом несуществующая индустрия «биокомпьютинга» построит им биолаборатории, подождёт неизвестное количество лет, получит неизвестные продукты в качестве результата и выпустит на рынок, в котором потребители сидят и жаждут купить непонятные им «биопродукты» с сильным ИИ в комплекте, а в промежутке пересидят на своих железках 2020 года выпуска (кому повезло уже купить такие, у подавляющего большинства более старое железо, а все заводы-то мы остановили, ведь кремний безперспективный).

                                  Вопрос «давайте смотреть» не стоит — люди смотрят, просто вы об этом ничего не знаете, потому что выбрали тусоваться в области «бесперспективного» кремния и завязанного на него айти, а не идти поднимать биологический эквивалент с его текущего (никакого) состояния.
                                    +1
                                    Прыгнуть выше головы — это сказать «вот мясной референс, давайте сделаем такой же», а потом на вопрос «как именно?» ответить — «моё дело стратегия».

                                    А чего б нет? Который раз повторяю — мы уже упираемся в ограничения, накладываемые физическими законами. Сделать чипы (неважно какой архитектуры) компактнее и экономичнее на несколько порядков — уже невозможно. До коллапса — лет 5. И даже рентгеновские лазеры рояль не сыграют — потому что размеры кристаллической решетки, туннелирование, и т.п. То есть неизбежно менять материал, неизбежно менять подход.
                                    Так почему не сейчас?

                                    И вы предлагаете что? Пусть все эти специалисты остановятся, бросят свои дела, в которых они понимают и знают как принести улучшения, пойдут все, переучатся на несуществующие специальности «разработчиков биомозгов» на несуществующих курсах несуществующих университетов.

                                    Да почему. Пусть занимаются. Только не надо шапкозакидательства, надо понимать, что все это ограничится киберолигофренией уровня на порядок-два ниже человеческого мозга и с запредельным энергопотреблением. Про киберсознание в таких условиях говорить не приходится.

                                    люди смотрят, просто вы об этом ничего не знаете

                                    Вы не знаете, что я знаю, чего не знаю, каковы мои источники, и т.п. Так что говорите, пожалуйста, за себя.

                                    идти поднимать биологический эквивалент с его текущего (никакого) состояния.

                                    А что ты сделал в свои годы для хип-хопа? Вы как-то скатились в ad hominem, дорогой оппонент.
                                    Там пока нечего поднимать, там такая terra incognita, что обходятся небольшим количеством высоколобых визионеров, осторожно тропящих тропки по очень тонкому в современных политических и экономических условиях льду.
                                      +1
                                      Сделать чипы (неважно какой архитектуры) компактнее и экономичнее на несколько порядков — уже невозможно. До коллапса — лет 5. И даже рентгеновские лазеры рояль не сыграют — потому что размеры кристаллической решетки, туннелирование, и т.п. То есть неизбежно менять материал, неизбежно менять подход.
                                      Так почему не сейчас?


                                      Поставлю напоминалку на 10 лет. Вот мой контр-прогноз: кремний ближайшие 10-15 лет будет продолжать быть топовым, а то и единственным материалом. Покажет прогресс 10х в плотности, 100х-1000х производительности в отдельных задачах. Да и чем плохо экстенсивное развитие? В энергии тоже продолжим шагать — домашний компьютер на пару киловатт? Возможен, автомобили на полмегаватта же есть. Надеюсь увидеть датацентр на гигаватт, вместо текущих десятков мегаватт.

                                      Альтернативный же подход — хм, надеюсь в лучшем случае у нас будут хотя бы какие-то прототипы био/днк/whatever компьютеров хотя бы лабах. Если будет коммерческий образец пусть даже самый тормозной, но доступный просто пойти купить в магазине — снимаю шляпу прозорливости.

                                      Короче, ставлю на реальный прогресс против фантазий о киберсознании.

                                      PS Впрочем посмотрел начало треда, а он и начался с фантазий о киберсознании. Ну что ж, может и не достигнем непонятных «сознаний» в машине, но «тупого», бессознательного узкоспециализированного интеллекта на кремнии будет хоть отбавляй.
                                        0
                                        чем плохо экстенсивное развитие?

                                        да ничем не плохо, кроме физических ограничений )
                                        тактовая частота уже лет 10 как не поднимается.
                                        техпроцесс почти выбран.

                                        надо бы новый материал, с большей подвижностью электронов, с меньшим периодом решетки, желательно такой же распространенный (нет, кремний — самый распространенный) и дешевый.

                                        ставлю на реальный прогресс против фантазий о киберсознании

                                        дык, все эти нейроморфные технологии — они зачем? ) они же в первую очередь сделать компьютер сознательным и осознанным. человекоподобным, но более совершенным. и бесправным.
                                        а примитивные перцептрончики, если не путаю, еще в 1960-х были на почтах.

                                        а бессознательного «интеллекта» и так сейчас хоть отбавляй, но толку? YOLOv3 поверх TF на RTX2080 Ti протаскивает максимум 10 FHD кадров в параллель, если мы говорим о времени отклика не более 300 мс. и как уже говорилось выше — мы все равно упираемся в фундаментальные ограничения материала. из которого вытекают и ограничения на производительность.
                                          0
                                          а бессознательного «интеллекта» и так сейчас хоть отбавляй, но толку? YOLOv3 поверх TF на RTX2080 Ti протаскивает максимум 10 FHD кадров в параллель, если мы говорим о времени отклика не более 300 мс.

                                          Это полгода назад: Perceive Ergo — The chip can run the equivalent of 4 TOPS, with impressive power consumption of 55 TOPS/W, and according to the company, achieves data-center class inference in under 20mW (YOLOv3 at 30fps).

                                          Это сегодня: Achieving record-high energy efficiency up to 2,900 TOPS/W, the accelerator is a key enabler for inference-on-the-edge for low-power devices. … These promising results encourage us to further develop this technology, with the ambition to evolve towards 10,000 TOPS/W

                                          Всё ещё кремний, да ещё и аж 22нм, далеко не SoTA.

                                          Через 10 лет? Распознаём всё (условный GrokNet), локально, в реальном времени и с расходом энергии на уровне ~ приходящей в камеру с фотонами :) А потом GPT-x даёт советы и озвучивает локальным же TTS.
                                            0
                                            У вас там по ссылочкам маркетинговый буллшит без подробностей. На это я имею сказать, что Transmeta тоже была многообещающим стартапом в свое время, и даже продавалась. Но быстро сколлапсировала.
                                            Так что единичные опытные образцы — не аргумент. Датасатанисты пока вынуждены покупать и использовать те самые RTX.

                                            Через 10 лет? Распознаём всё

                                            Я это лет 50 уже слышу. Примерно как про термояд. А воз и ныне там.
                                              +2
                                              Не знаю, что там 50 лет назад обещали, но лично я вижу какой прогресс произошёл всего за 5 лет в этой области — от диковинки, работающей на 300ваттной карте 0.1фпс до реалтайма на пятиваттных чипах в моём телефоне (включая как минимум зрение, распознавание речи и генерацию речи).

                                              И это при том, что никаких массовых инвестиций в железо не было до тех пор, пока гугл невзначай не рассказал про свой TPU в 2016. А железо делать долго, дорого и сложно, поэтому вполне ожидаемо, что 4 года спустя мы видим продукты в основном в пресс-релизах. Это не потому, что их нет, а потому что они узкоспециализированные и могут быть очень успешными на узком рынке, никак не пересекающемся с «мамкиными» датасайнтистами. Чтобы такой девайс попал в руки среднему ресерчеру наравне с джифорсами — нужны многомиллиардные продажи, а что если они «всего лишь» многомиллионные? :) Даже АМД, имея и железо и какой-никакой софтварный стек, всё равно практически не участвует в обсуждениях и никто их не покупает, потому что не хочет возиться с потенциальными проблемами.

                                              Что уж говорить про менее известные продукты? Такой чип от imec будет стоять в вашем телефоне, а вы даже не будете знать — никто же не пишет полный BOM со всеми чипами, а люди и не интересуются.

                                              Или будет успешно продаваться на рынке, с которым вы не пересекаетесь (как какой-нибудь Cerebras или Groq) или просто будет чуть дороже, чем массовые решения и всё, можно смело говорить «бу, прогресса нет, всё так и сидим на RTX 3080»
                                                0
                                                от диковинки, работающей на 300ваттной карте 0.1фпс до реалтайма на пятиваттных чипах в моём телефоне

                                                А где там реалтайм? Mi 9 SE, 712-й снап, PoseNet поверх TFLite дает слайдшоу. Нейробьютифаеры в тех же сяомитских камерах тоже работают оффлайн.
                                                Из реалтайма разве что наложение масочек в настограме, и то, при неудачном повороте головы может съехать.
                                                Распознавание речи (Алиса, Гуглоассистент) афаик на стороне сервера делается. А генерации уже лет 20 (привет Microsoft Agent и MSTTS), но она все так же убога и режет слух.

                                                Чтобы такой девайс попал в руки среднему ресерчеру наравне с джифорсами — нужны многомиллиардные продажи

                                                Дык, кто бы поставлял? Так то за сопоставимую цену народ бы покупал.

                                                Такой чип от imec будет стоять в вашем телефоне, а вы даже не будете знать

                                                Маловероятно. Основа — всегда единичный SoC, указанный в ТТХ. Какое-нибудь маркетинговое преимущество типа выделенного ЦАПа — указано отдельно. Вон, у меня был Lenovo Phab 2 Pro с аппаратной поддержкой AR в виде Project Tango — так у него на спинке лого этого самого Tango было написано.

                                                Или будет успешно продаваться на рынке, с которым вы не пересекаетесь

                                                Cerebras как раз в том рынке, с которым я пересекаюсь. От того и говорю, что прогресс в нейроморфических технологиях если не застопорился, то явно вышел на плато.
                                                  0
                                                  Далеко не самый мощный девайс чтобы показать как всё плохо :) На топовых девайсах даже Deeplabv3+ работает 15мс (66фпс, при разрешении 512*512, сеточка далеко не оптимизированная под мобилки).

                                                  Распознавание речи гугл точно делает на телефоне (но не на всех), и разница заметная и кардинальная. А, ещё и произвольные видео субтитрами в реалтайме снабжают.

                                                  Не знаю, чего там режет слух, но качество современных генераторов речи несравнимо выше, чем 20 лет назад. Блин, да иногда реальные голоса на видео кажутся более механическими, чем ассистент в телефоне.
                                                    0
                                                    Далеко не самый мощный девайс чтобы показать как всё плохо

                                                    Во-первых, семисотая серия — далеко не самая дохлая.
                                                    Во-вторых — Если продукт приемлемо работает только на топовом железе — значит всё действительно плохо.
                                                    На рынке достаточно обширный спектр устройств, и если мы хотим, чтобы продуктом пользовались — мы должны ориентироваться на бюджетный сегмент.

                                                    Не знаю, чего там режет слух, но качество современных генераторов речи несравнимо выше, чем 20 лет назад

                                                    Да прям. Что MS TTS, что гуглоассистент, что Алиса — одинаково косячный и неестественный прононс.
                                                      0
                                                      Какой продукт? Мы о прогрессе в железе говорим. У вас то кремний на помойку, то «раз нет в бюджетном телефоне того же, что пару лет назад только на 300ваттном десктопе работало — то всё плохо».

                                                      Зато биокибермозги когда появятся — сразу будут стоить 3 цента за пучок.
                                                        0
                                                        Какой продукт?

                                                        Ну, вы же апеллируете к «реалтайму на пятиваттных дровах» — я вам говорю, что реалтайм там настолько не везде, что про него в целом говорить не приходится. То, что работает на 300-ваттном ускорителе — так только на нем и работает. И к слову об ускорителях.

                                                        2014-й. GTX980, 165 Вт, 4.981 TFlops FP32
                                                        2018-й. RTX2080Ti, 250 Вт, 13.45 TFlops FP32
                                                        Это — прогресс? За 6 лет в 3 раза, а если на ватт — и того меньше.
                                                        По-моему замечательная демонстрация плато и предстоящей стагнации.

                                                        Зато биокибермозги когда появятся — сразу будут стоить 3 цента за пучок.

                                                        Ну, не прям сразу — но очень быстро, как оно произошло с появлением ПК и потом — смартфонов, как бытовых устройств, кардинально изменивших стиль жизнь человека.

                                                        А то, что за 15 лет смартфоны стали на порядки мощнее — принципиально ничего не изменило.
                                                          0
                                                          Классно, что вы приводите в пример почти такие же цифры, как я в соседнем комментарии =)

                                                          Поздравляю, вы победили, прогресс действительно остановился, всего в разы за несколько лет, разве это прогресс? И порядки за 15 лет в другом случае — полная фигня, ничего такого, что не могла бы сделать нокия 5500.

                                                          Я поставлю напоминалку на 15 лет, про этот разговор и надеюсь, что у _биомозга_, который будет вашим ассистентом тогда, найдутся посерьёзнее аргументы =)
                                                            0
                                                            всего в разы за несколько лет, разве это прогресс? И порядки за 15 лет в другом случае — полная фигня, ничего такого, что не могла бы сделать нокия 5500.

                                                            Вы удивитесь — но да. Что 15 лет назад, что сейчас — разницы (и прогресса) нет. Потому что собственно юзерам не нужно от смартфонов что-то принципиально иное.
                                                            Вот их появление, как класса носимой техники — поменяло многое, включая образ жизни. Это был прогресс.

                                                            Я поставлю напоминалку на 15 лет, про этот разговор и надеюсь, что у _биомозга_, который будет вашим ассистентом тогда, найдутся посерьёзнее аргументы =)

                                                            А я разве постулировал, что через 15 лет появятся какие-то «биомозги»? Ну разве что в виде студентов.
                                                            Я постулировал, что текущая технология скоро упрется в физические ограничения, которые не позволят ей выйти на уровень производительности человеческого мозга и на уровень энергопотребления, приемлемый для бытового и повседневного использования.
                                                            И что альтернативные подходы либо медленно развиваются, либо вообще заброшены.

                                                            Поэтому ничего полезного кроме очередных масочек и AR-поигрушек нам не грозит.
                                                              0
                                                              Я вижу где у нас с вами ключевое разногласие: для вас прогресс — это когда «производительность человеческого мозга для бытового применения» вот прямо в руках (и бюджетно), без лишних вопросов, зачем именно такая производительность нужна. А всё остальное — игрушки, масочки, ерунда какая-то.

                                                              А для меня прогресс — это прогресс. Улучшается характеристика в десять раз — значит прогресс был, это улучшение принесло нам масочки — что ж, так тому и быть, может быть улучшение ещё в сто раз принесёт что-то полезное. Хотя на самом деле и сейчас есть бесконечное множество применений, которые просто лично вам не нужны, а куче людей приносят пользу. А зачем мне для повседневного использования сама по себе производительность человеческого мозга — хз, с другой стороны, у меня и сейчас есть доступ к каким-то диким мощностям — любой запрос в гугл на долю секунды задействует десятки, сотни тысяч серверов (а ещё миллионы в фоне круглосуточно готовят данные для этих тысяч) — никакой локальный «аналог мозга» с этим не сравнится в ближайшие десятилетия.
                                                                0
                                                                Вы удивитесь — но да. Что 15 лет назад, что сейчас — разницы (и прогресса) нет


                                                                А это забавно конечно, 15 лет назад был 2005 год, я как раз школу закончил и «топовый смартфон» того времени мог… ну мог делать фоточки 0.25мпикс (до сих пор зачем-то храню, дороги как память), эм, слушать десять mp3 песенок и даже имел локальную записную книжку, не в памяти симки. Перечислять всё, что может делать мой текущий смартфон думаю не имеет смысла, не говоря уже о том, что он потенциально может делать (т.е. делает для тех, у кого есть другие потребности, чем у меня)
                                                                  0
                                                                  15 лет назад был 2005 год, я как раз школу закончил

                                                                  А я ее закончил сильно пораньше, и поэтому прекрасно помню, что тогда, что сейчас было и есть по сути одно и то же:
                                                                  — фоточки
                                                                  — музыка (на 128 Мб miniSD влезал приличный такой альбом)
                                                                  — мессенджер (jimm или нативная ICQ в случае WM/Symbian)
                                                                  — браузер и мобильные веб-сайты
                                                                  — почта/адреска/календарь/органайзер (опять же Outlook в случае WM).
                                                                  — игрушечки.

                                                                  сильно это отличается от того, чем вы пользуетесь сегодня? думаю, вряд ли.
                                                                  так и где тут прогресс? кроме того, что экраны выросли и стилус необязателен.
                                                                    0
                                                                    Вы случаем не продажник? Номинально всё тоже самое, да, если пройтись по галочкам «функций» и никогда в жизни не видеть их в реальной жизни.

                                                                    «музыка есть? Есть, целый альбом влазит» vs «любая музыка в мире, прямо сейчас»
                                                                    «фоточки есть? Есть, мутное зернистое месиво пикселей без автофокуса под ярким солнцем» vs «фотки класса ‘выкинь зеркалку’»
                                                                    «видео есть? Есть, шикарные 176*144 30 секунд» vs «что такое видеокамера, у меня телефон есть»
                                                                    браузер — вообще смешно, конечно в случае крайней необходимости узнать что-то он спасал, но с учётом размера экрана и скорости интернета (wap’a) было проще дождаться возвращения к большому брату и оттуда загуглить(помните, да? Тогда смартфону нужен был большой брат, а сейчас?). Сейчас же я не раздумывая просто голосом спрашиваю миллион вещей в день у своего телефона.

                                                                    И т.д. В общем это такое сравнение, как если карету с деревянными колесами сравнивать с современным авто — «колёса есть? Есть. Источник тяги есть? Есть. Сиденье есть? Есть.». Или наскальную живопись с фотографией — вот, тоже самое, тут изображение, там изображение.
                                                                      0
                                                                      Вы случаем не продажник?

                                                                      Случаем нет.
                                                                      «Любая музыка в мире прямо сейчас» — это конечно звучит соблазнительно, но слушать все равно нечего ) а только на выбор уйдут годы жизни. Поэтому в принципиальном плане — есть оно, или нет не сильно играет рояль — потребитель будет слушать то, что ему известно и нравится.
                                                                      Нет, я знаю людей, у которых в плейлисте винампа были тысячи треков — они их так никогда все не выслушали. А на повседневочку вот этой самой сотни мегабайт по уши хватало. И хватает. У меня лично в ЯМузыке — два десятка треков в трех плейлистах, и в тележном VKMBot — десяток.

                                                                      Сценарии же использования как были 15 лет назад, так и остались — эрго, прогресс в мобильной технике отсутствует.

                                                                      Тогда смартфону нужен был большой брат, а сейчас?

                                                                      Только для бэкапов/синхро. Он и сейчас нужен, просто раньше это был ваш большой брат, а теперь — от Гугла или Эппла.
                                                                        0
                                                                        Всё понятно. «Я не пользуюсь, значит прогресса нет». Мнение имеет право на существование.
                                                                          0
                                                                          Я бы с интересом послушал про что-то выходящее за перечисленные сценарии. Только не «один раз попробовал, прикольно» а «пользуюсь каждый день для того-то и того-то».
                                                                          Но обычно на этом оппоненты и сливаются.
                                                                            0
                                                                            Все вышеперечисленные сценарии и использую: бесконечная разнообразная музыка в отличие от одного альбома на телефоне 2005 года (тогда носил с собой отдельно плеер), ладно музыка, аудиокниги/подкасты — возможность налету выбрать и начать слушать что-то из бесконечной базы информации это качественное изменение по сравнению с заливанием трёх песен на флешку раз в месяц; качественные фотки в отличие тех времён (в тот переходный период между плёнкой и нормальной цифрой осталось меньше всего фоток), про видео вообще молчу (сейчас люди натурально фильмы на айфон снимают, я бы тоже снимал, если бы был фильммейкером, а так только для памяти), просмотр видео — тогда можно было закачать парочку 3гп роликов, сейчас — без ютуба не представляю жизнь, опять же скайп/фейстайм — не помню такого в 2005, может видеозвонки в теории и существовали, но в реальности нет, а сейчас каждый день звоню, браузер — постоянно (тогда никогда, разве что в каком-то крайнем случае, когда обязательно нужно прочитать то, что влазит в три строчки на экране), вот и сейчас вам отвечаю с телефона (благо есть свайп vs Т9), карты — каждый день в миллионе разных юзкейсов, от заказа такси, прогулок по городу, до трекинга пробежек и подобного (включая например поиск максимально тёмных мест для астрофото — мог кто-то себе представить такое использование телефона в 2005 году?) или общественный транспорт, который едет у меня на экране в реальном времени — такое было возможно в 2005?; всякие мелочи типа разговора с телефоном «включи свет дома, поставь таймер» и прочее — даже не стоит упоминать, это просто невозможные тогда, но такие незаметные сейчас вещи; банк-клиент (а последнее время и кошелёк целиком, не помню, чтобы я платил телефоном в 2005 году), переводчик (ладно просто переводчик, но с распознаванием чужого голоса и текста налету и перевод тут же на картинке? Магия, не иначе); вспомнился шагомер — банальная сейчас функция, но невозможная тогда, потому что не было ни сенсоров нужных в комплекте, ни доступной мощности, чтобы обрабатывать, ни алгоритмов, чтобы найти в шуме акселерометра шаги; учебный софт — анки, дуолингво, edx и подобное; про игрушки тоже смешно сравнивать условную змейку 2005 vs fortnite какой-нибудь, но лично я не играю, поэтому не буду тут приводить как пример.

                                                                            Всякие служебные штуки, типа генератора токенов (раньше отдельный девайс), то, что телефон узнает меня в лицо, впн в домашнюю сеть, терминал до домашнего сервера, автоматический бэкап на небеса, сортировка фоток по тому что (кто) на них изображено и где снято.

                                                                            В общем, если меня сейчас высадить в незнакомой стране со смартфоном, то я смогу делать 90% того, что в принципе делаю с компьютерами. Найду общий язык с аборигенами, транспорт, жильё, расплачусь в кафе, сниму и выложу видеоблог о стране и куплю билеты обратно домой и акции Нвидии заодно.

                                                                            Со смартфоном 2005 года? Ха-ха, смогу послушать один альбом музыки и поиграть в змейку. Ну, ладно-ладно, в аську ещё зайду.
                                                                              0
                                                                              Итак, суммируем разницу:
                                                                              — видео
                                                                              — видеозвонки
                                                                              — перевод
                                                                              — геопозиционирование/трекинг/педометрия
                                                                              — бесконтактная оплата (да, это существенный прогресс, согласен)
                                                                              — учебный софт

                                                                              Я только еще раз уточню — это действительно повседневное использование? Если еще видеозвонки (ну, по работе, например), залипание в ютуб, и оплату гуглопеем можно понять, то наличие в повседневном списке геосервисов, переводчика и дуолинго у меня лично вызывает удивление — зачем оно взрослому человеку каждый день? Нене, эпизодически я этими вещами тоже пользуюсь. Кроме дуолинго. Ну не верю я в эффективность «учебного» софта кроме их способности приносить деньги владельцам.

                                                                              Игры в 2005 не ограничивались змейкой, что интересно. Был даже AR. Вот сетевых не было, да.
                                                                              Но по большому счету, что сейчас, что тогда — играть не во что было.

                                                                              А SSH до домашнего сервера у меня был еще тогда, по GPRS.

                                                                              Итого: это вот — прогресс? Действительно? За 15 лет — ну такое себе. По мелочи.
                                                                                0
                                                                                Итого суммируем разницу как нам понравилось, преуменьшаем значение оставшегося до нуля и вуаля, прогресса как бы и не было.

                                                                                Геосервисы каждый день — нужно ездить на работу, загород на выходных и т.д., да, думаю я каждый день открываю навигатор/пробки/я.транспорт/такси и т.д.
                                                                                Кроме такого повседневного использования, от которого в принципе можно отказаться/заменить на что-то другое, ещё несколько раз (иногда и десятки раз в год) бывают путешествия, когда смартфон совершенно незаменим как источник карты/транспорта/перевода.

                                                                                Дуолингво/анки/переводчик — некоторые люди учат язык(и) и я среди их числа, и это действительно ежедневный процесс для лучшего результата, не знаю что тут удивительного.

                                                                                Можно пользоваться современным смартфоном как звонилкой и говорить, что ничего не поменялось со времён телеграфа, но это показывает лишь личные предпочтения/ограничения. Прогресс не только создаёт принципиально новые возможности, но и изменяет «стоимость» (временную, когнитивную и финансовую) использования этих и старых возможностей.

                                                                                Это всё равно что сравнивать светодиодную лампочку и свечу — и то и другое принципиально даёт свет и можно смело говорить, что прогресса в области освещения не было за последние 150 лет. Да что уж там, сам экран смартфона по сути тоже самое, что костёр — светится разными цветами, мигает, ничего нового за 50 тысяч лет.

                                                                                Такое отношение это или редукционизм, доходящий до потери связи с реальностью или просто нежелание признать очевидное по каким-то причинам (да хотя бы чтобы не признавать неправоту в онлайн споре).
                                                                                  0
                                                                                  Геосервисы каждый день — нужно ездить на работу, загород на выходных и т.д.

                                                                                  По памяти — не? На работу и за город по крайней мере.

                                                                                  бывают путешествия, когда смартфон совершенно незаменим как источник карты/транспорта/перевода.

                                                                                  Да. Но это опять же не повседневка, и к смартфонному прогрессу этот кейс отнести сложно. Тем более, что и 15 лет назад ровно так же можно было все нарыть через сеть по GPRS. Вот то, что соответствующих ресурсов в сети могло не быть — это да. Но это про другой прогресс.

                                                                                  Дуолингво/анки/переводчик — некоторые люди учат язык(и) и я среди их числа, и это действительно ежедневный процесс для лучшего результата, не знаю что тут удивительного.

                                                                                  Удивительно пользоваться безликой аппой и надеяться улучшить свои языковые навыки. Все же платные занятия с носителем языка дадут вам лучшие результаты. Ну, только если не «ландон из э кэпитал оф грейт бритн».

                                                                                  Еще раз: смартфон за 15 лет не дает принципиально новых возможностей. Соответственно о каком прогрессе говорим?
                                                                                    +1
                                                                                    Я думаю, что наш разговор зашёл в тупик, потому что вы читаете его со смартфона 2005 года выпуска, а у меня длинные сообщения получаются и поэтому много экранов пролистывать приходится, контекст успевает забыться, поэтому простительно.
                                                                                      0
                                                                                      Надо перепечатывать на robotron 1985 года выпуска, тогда в голове осядет.
                                                                                      P.S. У нас в семье такая была. Мама за ней работала и я поразвлекаться успел
                                                              0
                                                              2014-й. GTX980, 165 Вт, 4.981 TFlops FP32
                                                              2018-й. RTX2080Ti, 250 Вт, 13.45 TFlops FP32
                                                              Это — прогресс? За 6 лет в 3 раза, а если на ватт — и того меньше.

                                                              Подтасовочка :) Эти GPU имеют разный функционал.
                                                              К тому же между 2018 и 2014 разница 4 года.
                                                              2080ti могли бы 20TFlops сделать изи, только вот тогда бы не было RT/Тензорных ядер. Остальные GPU блоки чипа так же увеличились.
                                                              Почему вы не хотите сравнить их на ИИ задачах?

                                                              тактовая частота уже лет 10 как не поднимается.

                                                              Давайте сравним топ Интел 2010г и 2020г:
                                                              Core i7-980X 6 ядер 3,33 ГГц
                                                              Core i9-10900К 10 ядер 5.3ГГц

                                                              техпроцесс почти выбран.

                                                              Нет.

                                                              Не пойму что вас не устраивает.
                                                              Прогресс сейчас идёт бешеными темпами.
                                                                0
                                                                Подтасовочка :) Эти GPU имеют разный функционал.

                                                                Чего это вдруг? GPU он и в африке GPU — картиночки рендерить и числа дробить. Последнее, кстати, его опциональная возможность. Поэтому и давайте сравнивать по наименьшему общему, такссзть.

                                                                Давайте сравним топ Интел 2010г и 2020г:
                                                                Core i7-980X 6 ядер 3,33 ГГц
                                                                Core i9-10900К 10 ядер 5.3ГГц

                                                                Нет, сравнивать мы будем с Core i7 10700KF, и по базовым частотам, потому что Max Turbo Frequency — это запас мощности, а не типичный режим работы. У него 8 ядер.
                                                                А базовая частота для 10700KF — 3.8 ГГц, тогда как для 980Х — 3.33 ГГц. Для 10900, кстати — 3.7.
                                                                Так себе разница за 10 лет. AMD, кстати, на этом временном отрезке получше смотрится.

                                                                Нет.

                                                                Не пойму что вас не устраивает.
                                                                Прогресс сейчас идёт бешеными темпами.

                                                                Ну как нет. 5 нм норма, уже скоро в одиночные атомные слои упремся, и тут уже ойвсе.

                                                                И, собственно, по приведенным цифрам — это не прогресс, это вяленькое расширение уже давно освоенной технологии по нескольку процентов или десятков процентов каждый год. Плато.
                                                                А дальше — стенка. Фундаментальный барьер.
                                                                  0
                                                                  Чего это вдруг? GPU он и в африке GPU — картиночки рендерить и числа дробить.

                                                                  Только вот современные игры умеют в рейтрейсинг (аппаратный) и используют DLSS.
                                                                  На старых чипах этого функционала нет.

                                                                  Так а почему на задачах ИИ вы не хотите сравнить?
                                                                  К примеру Nvidia A100 именно для них и предназначен.

                                                                  Нет, сравнивать мы будем с Core i7 10700KF

                                                                  Ну начинается. 980X (Extreme Edition) это был самый топ 2010г.
                                                                  С чего бы брать более бюджетное решение для сравнения? Так не пойдёт.

                                                                  Max Turbo Frequency — это запас мощности, а не типичный режим работы

                                                                  В однопотоке это типичный режим работы (и не только в однопотоке). До базовой десктопный процессор редко когда опускается.
                                                                  Более того есть чипы с частотой 5GHz на все ядра.
                                                                  Так что мимо опять.

                                                                  В общем ясно, понятно. То процессор не «тот», а когда надо сравнить предел частоты, то сравниваем по нижней границе частотного диапазона :D
                                                                  Вам самому не смешно?
                                                                  — Ferrari против Porsсhe — кто быстрее?
                                                                  — Ничья, т.к. в городе ограничение 60км/ч.

                                                                  Ну как нет. 5 нм норма, уже скоро в одиночные атомные слои упремся, и тут уже ойвсе.
                                                                  Когда скоро? 30 лет «уже скоро». В ближайшие 10 лет классический техпроцесс будет стабильно улучшаться. Также 3D интеграцию никто не отменял.
                                                                    0
                                                                    современные игры умеют в рейтрейсинг (аппаратный) и используют DLSS.

                                                                    Есть мнение, что кроме RTX-ремастеров от Nvidia, этот самый аппаратный рейтрейсинг никому больше не сдался. Как и DLSS, поэтому этим опять же можно пренебречь.

                                                                    Ну начинается. 980X (Extreme Edition) это был самый топ 2010г.
                                                                    С чего бы брать более бюджетное решение для сравнения?

                                                                    Не более бюджетное, а то же семейство. i7 сравниваем с i7, иначе это передергивание.

                                                                    В однопотоке это типичный режим работы

                                                                    В каком однопотоке? Вы загрузили систему — у вас работают все ядра. И, нет, частота будет сильно плавать. На максимум она выйдет, если вы загрузили процессор длительной интенсивной нагрузкой, что происходит не всегда. Или у вас 24х7 монеро майнится?
                                                                    Поэтому и сравниваем по нижней границе — где по дефолту частота процессора болтается.

                                                                    Когда скоро? 30 лет «уже скоро».

                                                                    Не 30 а 10.

                                                                    В ближайшие 10 лет классический техпроцесс будет стабильно улучшаться.

                                                                    Ага-ага, ASML свой EUV 20 лет пилила, а тут вдруг будет стабильно улучшаться? Да и куда, если материаловедческий предел на носу?

                                                                    3D интеграцию никто не отменял.

                                                                    Её никто и не вводил, начнем с этого. Потому что это безумно увеличивает сложность и процент брака.
                                                                      0
                                                                      20 лет пилила и запилила, теперь с этого места можно по-второму кругу применять все трюки, накопленные в обычной литографии за 20 лет (мультипатернинг и всё прочее).

                                                                      Кроме того, High NA на носу от той же ASML, ещё один шажок.

                                                                      То, что 3д никто не вводил — вовсе не значит, что не введут. Сложность, сложностью, но так и существующая технология 20 лет назад показалась бы космической, и ничего, пользуемся, хоть и сложность. В ближайшие годы отрасль до триллиона баксов вырастет, неужто не хватит мозгов и инвестиций на то, чтобы сложность побороть?

                                                                      Ладно бы это были какие-то принципиальные сложности, немыслимый скачок через пропасть непонимания, которую непонятно как пересекать (как например с реальным мозгом — никто не знает как он работает и как его повторить даже примерно), а тут проблемы исключительно инженерно-экономические — и в лаборатории прототипы есть, и принципиально понятно как их делать, только пока нет смысла, потому что видно куда текущим способом расти в ближайшее время.
                                                                        0
                                                                        В ближайшие годы отрасль до триллиона баксов вырастет, неужто не хватит мозгов и инвестиций на то, чтобы сложность побороть?

                                                                        Я с интересом ознакомлюсь с роадмапом как побеждать принципиальные физические ограничения — которые вот уже, рядышком: период кристаллической решетки, радиус атома, туннельный эффект (напрямую влияющий на утечки).
                                                                        20 лет назад, кстати, было очевидно, что за эти 20 лет технология дойдет до этого самого технологического предела в единицы нанометров в экстенсивном порядке. И уже тогда стоял вопрос — а дальше то что?
                                                                        За эти годы никто так ничего и не придумал, не анонсировал, не показал.

                                                                        как например с реальным мозгом — никто не знает как он работает и как его повторить даже примерно

                                                                        И что самое удивительное — пытаются воспроизвести. Причем технология соотносится с оригиналом примерно как каток времен Египта с современной Теслой.

                                                                        А про мультипаттернинг можете забыть — двойной (как пишут в источниках) уже достаточно сложен и ведет к неоправданному росту цены, а тройной — нежизнеспособен. Так что — да, еще один шажок. А там — пропасть.
                                                                          0
                                                                          Пока мы не конструируем произвольный 3д тетрис значительной толщины из любых атомов — значит предел ещё не достигнут. Если просто посветить рентгеном два-три раза кажется слишком сложной технологией, то что уж говорить о том, что мы достигли каких-то там принципиальных пределов? Вот тогда будут чипы в виде кубика собранного по отдельным атомам, вот тогда и поговорим о том, что дальше некуда расти (уменьшать техпроцесс)
                                                                            0
                                                                            Вот тогда будут чипы в виде кубика собранного по отдельным атомам, вот тогда и поговорим о том, что дальше некуда расти

                                                                            Не будут. Когда речь про отдельные атомные слои — элементы перестают работать. Начинается туннелирование, растут токи утечки, катастрофически вырастает процент брака. То есть жизнеспособная технология заканчивается задолго до.
                                                0
                                                > YOLOv3 поверх TF на RTX2080 Ti
                                                Вы пробовали TensorRT версию YOLO, а также batching и streaming? Иногда получается ускорить выполнение раз в 100 по сравнению с TF…
                                                Еще — сильно зависит от того, откуда берутся кадры и что является результатом. К сожалению, производительность GPU в задачах AI часто лимитирована именно графической архитектурой — для действительного прорыва нужны новые решения с прямым доступом AI-процессора в память и к интерфейсам ввода-вывода (подозреваю, что покупка ARM имеет к этому непосредственное отношение)
                                                  0
                                                  Вы пробовали TensorRT версию YOLO

                                                  Нет, не успели. Батчинг и стриминг по условиям был невозможен — входное изображение приезжает из HTTP-запроса в единичном количестве. Результат — индекс категории.
                                                  В рамках единичного запроса бОльшая часть времени тратилась на поднятие CUDA-рантайма, пришлось его во время запуска сервиса поднимать предварительно.
                                                    0
                                                    Надо было рантайм в отдельный сервис вынести — или просто использовать TRITON от самой Nvidia.
                                                      0
                                                      А зачем? это в данном случае сильно усложнило бы решение, так мы обошлись flask + keras + tf-gpu внутри одного питоновского процесса. разве что что-то типа тритона нам не хватало чтобы меньше заморачиваться с инфраструктурной частью.
                                                        0
                                                        Ну так Тритон это и есть Web-сервер и рантаймы для TF и других поддерживаемых фреймворков. Из-за того, что он вынесен в отдельный процесс — жизненный цикл модели не зависит от жизненного цикла клиентов и не приходится ее загружать в GPU по новой для каждого вызова.
                                          0
                                          исследовать более подходящие для задач сильного ИИ технологии и элементную базу,

                                          Если вам такие известны — опубликуйте пару научных статей с серьезными подтверждениями, куча компаний за это ухватятся и реализуют. Или можете сделать свою, на триллион долларов. Если же вы говорите в целом, гипотетически, то смысла в этом нет.


                                          и не тратить ресурсы, пытаясь прыгнуть выше головы.

                                          Вы предлагаете экономить буквально на спичках. Nvidia тратит на R&D меньше трёх миллиардов долларов в год. Для сравнения — это бюджет американских военных дня за полтора.


                                          Человечество легко может тратить три миллиарда на "неперспективный" кремний и ещё три на перспективные технологии. Ладно бы вы призывали сэкономить полпроцента на военных, но вы зачем-то призываете сэкономить на исследованиях по кремнию.

                                      +1
                                      Мозг человека полностью это порядка 100 млрд. (на ~4 порядка осталось), неокортекс отвечающий за все все высшие нервные функции, почти в 10 раз меньше, где-то 10-15 млрд. (~3 порядка осталось).

                                      а чем планируется заменяться образование новых нейронных связей, благодаря которым у нас происходит обучение?

                                        0
                                        Возможный выход — в моделировании нейронов не математическими функциями, а непосредственно транзисторами. Аналоговый сумматор плюс ключ, коэффициенты передачи — резисторы и так далее. Я уверен, что при современном уровне полупроводниковой техники можно будет добиться стабильных характеристик и достаточного разрешения.
                                          0
                                          в задачах которые хорошо распараллеливаются при обработке (нейросети в их числе)

                                          Нейросети плохо распараллеливаются в том смысле, что вычисления в одном узле сети зависимы от вычислений в других (в отличии от отдельных кадров в рендеренге, например, или хэшей в блокчейне).


                                          Поэтому появляются вот такие монстры


                                          Разумеется, поскольку развитие нейропроцессоров началось не так давно — будут еще и качественные и количественные скачки, но от самой большой НС на сегодня GPT-3 (которая обучалась несколько тысяч "V100-дней") до параметров мозга еще 3 порядка и есть сомнения, что они будут пройдены железом так же быстро, как предыдущие 3 порядка (~15 лет).

                                          +2
                                          У вас инфа из 90-х кажется, почитайте про SpiNNaker, который часть HBP. Если мы говорим о сложности, сопоставимой с человеческим мозгом, то порядков осталось где-то три, в новой версии которую сейчас разрабатывают скорее всего останется два. Собственно, сейчас теория не поспевает за железом, а не наоборот.
                                            +2
                                            У вас инфа из 90-х кажется

                                            Нет, инфа актуальная.

                                            почитайте про SpiNNaker, который часть HBP.

                                            Почитал. Зал со стоечками декларируется миллионом ARM968 ядер и 100 кВт энергопотребления. Ну, да, если каждое ядро держит до 100 эквивалентных нейронов — остается 3-4 порядка. И как минимум рост потребления на порядок.

                                            сейчас теория не поспевает за железом

                                            Очень смелое утверждение, учитывая, что до сих пор связь нейрофизиологических процессов и сознания — terra incognita.
                                              +1
                                              То вы говорите, что порядков надо 6+, то признаете, что осталось «3-4», но инфа у вас все равно актуальная? Честно, даже не знаю что на это сказать.

                                              Под «теория не поспевает за железом» я имел в виду как раз то, что мы не знаем как именно создать это самое сознание, хотя по ресурсам мы уже подбираемся к емкости человеческого мозга и дойдем до нее в ближайшие годы.

                                              И нет, следующая версия SpiNNaker не будет потреблять на порядок больше, они работают в рамках той же самой платформы с тем же энергопотреблением и форматом (10 стоек). Вы почему-то считаете, что прогресс полностью остановлен и за 10+ лет (первая версия построена на железе образца 2010 года) невозможно на порядок повысить производительность, оставив энергопотрбление таким же.
                                                +3
                                                То вы говорите, что порядков надо 6+, то признаете, что осталось «3-4», но инфа у вас все равно актуальная? Честно, даже не знаю что на это сказать.

                                                Следить за контекстом, не? SpiNNaker-у (и возможно специализированным нейроморфам типа Cerebras) — да, осталось 3-4 порядка взять, массовым решениям — 6 и более.

                                                И нет, следующая версия SpiNNaker не будет потреблять на порядок больше, они работают в рамках той же самой платформы с тем же энергопотреблением и форматом

                                                Ну, значит, он не выйдет на масштаб производительности, сопоставимой с человеческим мозгом.

                                                Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

                                                И в этом критерии кремний бесполезен. Он не позволит создать настолько плотный и экономичный аналог.
                                                  +1
                                                  А зачем нам экономичный и плотный аналог естественного мозга? Понять как работает — можно и на модели, пусть она хоть дом занимает. Тиражировать? Так их и так 8 млрд. есть уже естественных, если вам нужен электронный раб с интеллектом среднего человека — проще и дешевле живого нанять.
                                                  Какой-нибудь супер интеллект для решения сложных задач? Тоже переносимый не нужен, достаточно удаленного доступа. Что бы что?
                                                    0
                                                    А зачем нам экономичный и плотный аналог естественного мозга?

                                                    А зачем вам мобильный смартфон? Звоните по домашнему.
                                                    Да, тиражировать. Ставить в каждую свистульку.

                                                    если вам нужен электронный раб с интеллектом среднего человека — проще и дешевле живого нанять

                                                    Ну, тут уже правовые и моральные аспекты. Живой имеет права. А железяка, созданная моими (вашими, нашими) руками — по определению бесправный раб, устройство, машина.
                                                    0
                                                    Какой контекст? Откуда он вдруг появился? Вы прямым текстом написали «мы уже уперлись в технологический предел».

                                                    Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

                                                    Я бы мог привести в пример компьютеры 70-х, занимающие комнату, но, кажется, делать это абсолютно бессмысленно, с вашим радикальным убеждением будто бы прогресса в этой сфере больше не существует.
                                                      0
                                                      Какой контекст? Откуда он вдруг появился? Вы прямым текстом написали «мы уже уперлись в технологический предел».

                                                      Так мы в него и уперлись. Ну 5 нм, ну 3, ну 2. Сколько еще лет, прежде чем фабы скажут «сорян, ребят, кремний всё, мы не сможем больше выжать — туннелирование, квантовые эффекты, физика, бессердечная сука»?
                                                      Мое мнение — лет 5.

                                                      Графен до сих пор из лабораторий не вылез AIII-BV полупроводники (арсенид галлия, например) не готов к производству сложных микросхем.

                                                      Контекст был — массово доступное оборудование, позволяющее запускать нейронные сети. Это GPU. Исследовательское в лице помянутых TrueNorth и Cerebras — да, помощнее и попроизводительнее, но зайдя в любой компьютерный лабаз вы их не купите.

                                                      Я бы мог привести в пример компьютеры 70-х, занимающие комнату

                                                      … но аналогия ложная. мы уже проговорили, что дальнейшая микроминиатюризация ограничена структурой материала и квантовыми эффектами.
                                                      0
                                                      Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

                                                      Всё таки не единицами, да и десятков много. Около 30 Вт, причём вилка довольно большая, плюс подсчёт вёлся довольно грубо, в основном — по тепловыделению. Я склоняюсь к пиковому энергопотреблению в сотню, а то и больше Вт, правда длительность таких периодов крайне не продложительна и характеризуется огромным стрессом.

                                                  0

                                                  Спиннакер и в принципе повторение спайковых нейронов упирается в то, что нужно иметь очень высокую пропускную способность, что бы передать из А в Б собственно спайки. Если вы посмотрите внимательно, сейчас Спиннакер реализован как 10% идеи (1 стойка) и это не случайно — для 10 стоечного варианта, который потянет 1 миллиард нейронов, если правильно помню нужна межстоечная магистраль в 10 терабит, что довольно нетривиально. А для 100 миллиардов эквивалента человеческого мозга для схемы трехмерного тора, которая там принята нужно будет аж 100 петабит, что далеко за техническими возможностями.


                                                  Можно упаковывать нейросети в более щадящие полосу топологии, но вроде как это нетривиальная задача уже со стороны нейронауки, хотя тут неуверен.

                                              +1
                                              что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека

                                              Если можно запрограммировать сильный ИИ с сознанием, означает ли что человеческое сознание детерменированно и судьба предопределена?
                                                0
                                                ИИ тут поможет разве что с демонстрацией (что его схема детерминирована)
                                                В остальном — кажется, что независимо от того, можно ли создать сильный ИИ, человеческое сознание детерменировано. Другое дело, что у него высокая сложность и оно завязано на множество факторов окружающей среды, включая биохимию собственной тушки. Все эти штуки не получится воспроизвести идеально, чтобы проверить, действительно ли оно детерменировано.
                                                0
                                                при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно

                                                Не количеством единым. Есть так же мнение, что сознание, дуальность сознания, абстрактное мышление, появились прежде всего, как несовершенство мозга. Мы не в состоянии осозновать бол. кол. информации одновременно, нам приходится интерпритировать и абстрагировать информацию. Вспоминая что-то, мы не можем достать инфу с нужного места, а по сути воссоздаем воспоминание заново на основе абстрактных ощущений из разных мест мозга.
                                                Всех этих биологических недостатков ИИ лишен. Возможно, если там и будет что-то похожее на сознание, то нечто совсем нечеловеческое.
                                                Конечно, тут для начала надо бы договорится, что такое сознание вообще.
                                                  +1
                                                  Всех этих биологических недостатков ИИ лишен. Возможно, если там и будет что-то похожее на сознание, то нечто совсем нечеловеческое.

                                                  Конечно. И впереди масса этических и философских проблем после этого.
                                                  0
                                                  аналогичная сложности головного мозга человека

                                                  А почему именно человека? Может хотя бы с мышей начать?
                                                  0
                                                  другие некоторые ученые полагают, что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека, т.е. порядка 1012 нейронов с количеством связей порядка 1015 — типа, при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно.

                                                  Я начал писать ответ на ваш комментарий, немного увлёкся, и он получился даже объёмнее этой статьи. Я нечаянно даже чуть не оформил его в виде отдельной статьи — типа, может, люди захотят подискутировать на эту тему. В итоге я всё стёр и оставил только эту мысль:

                                                  У собак, кошек, мышей и так далее, намного меньше нейронов (в случае с мышами — в 1100 раз меньше), но они всё равно обладают сознанием. Дело, скорее всего, не в количестве, а в компоновке — в какой-то основе, которая позволяет существовать сознанию. Типа, углерод может принимать форму графита, а может быть и алмазом — в зависимости от «компоновки» (a.k.a. аллотропии). Просто в случае с нейронами тоже могут существовать, условно, «аллотропы», одним из признаков которых будет сознание, и, скорее всего, так много нейронов, как в мозге человека, для этого не требуется. Так что, с большой вероятностью, задачу создания ИИ можно решить с помощью комбинаторики.

                                                  Я вообще считаю, что ИИ до сих пор не создали только потому что, нет математически точного определения, что такое ИИ. Есть образы со стороны маркетологов, есть философские рассуждения, но нет чётких критериев оценки. Нельзя назвать вещь искусственным интеллектом, если ты сам до конца не понимаешь, что это такое.
                                                    0
                                                    В отличие от млеков, у некоторых врановых и, особенно, у крупных попугаев интеллект и уровень самосоосознания (а у последних ещё и речь) — на уровне трёх-пятилетнего человечьего детёныша, причём на во много раз более примитивном мозге. И норм.
                                                      +1

                                                      Про 3-5 лет ребёнка боюсь вы ошибаетесь, хотелось бы понять откуда берутся такие утверждения (часто их слышу про собак) на мой "вкус и цвет" до 3х летнего ребёнка ни один из представителей мира животных (кроме, возможно некоторых обезьян) не дотягивает...

                                                        0
                                                        Простейший набор примеров, в т.ч. с хабра же:
                                                        нумер 1-й;
                                                        нумер 2-й;
                                                        нумер 3-й
                                                        Примерно так. Оценка интеллекта обученных горилл и шимпов сильно превышает названные цифры, там, ЕМНИМС, эквивалентом развитие в районе 10-12 лет, но по другому организовывался процесс общения — через язык жестов, например (голосовые связки обезьян плохо приспособлены для чего-то похожего на отчётливую речь).
                                                          0

                                                          В первой статье не нашёл ни слова о сравнении с детьми, во второй 1 тест и конкретно написано про "некоторые когнитивные способности" в третьей же "Ученые полагают, что эти попугаи могут достичь интеллекта 5ти-летнего ребенка"
                                                          Это не серьёзно, некоторые могут полагать да, некоторые и другие "странные мысли" высказывают, но 5 летний ребёнок это не 150 слов а сильно больше (в виде понимания) способность играть в шахматы вполне осознанно, как пример, весьма распространено (у меня ребёнок играл, и это без ежедневных дрессировок) а есть семьи в которых заморачиваться чтением и другими вещами. Мне кажется ваши ссылки как раз подтверждают что в некоторых "тестах" некоторые представители могут, но это далеко не оценка "интеллект на уровне" на мой взгляд :)

                                                    0
                                                    Для начала нужно понять как устроена вычислительная система функционирующая на нейронах. Если проводить параллели с кремниевой электроникой, то изобрели логический элемент (И-НЕ). И решили что если соединить миллиард таких элементов, то получится процессор. А вопросом как соединять, не озаботились.

                                                    Это я к тому что никто не озаботился пониманием того как должна работать вычислительная система базирующаяся на нейронах. Может после появления этого знания и интеллект не будет казаться фантастикой, станет просто высокоуровневой функцией обычной вычислительной системы.
                                                      +1
                                                      Это я к тому что никто не озаботился пониманием того как должна работать вычислительная система базирующаяся на нейронах.
                                                      Ну да, настолько не озаботился, что уже больше 50 лет исследованиями занимаются. А вы не допускали, что знание не появилось не потому, что было лень разбираться, а потому, что это знание реально очень сложное?
                                                        0
                                                        И это тоже (про сложность), но работ по вычислительным системам на базе нейронных сетей практически нет, именно вычислений. Например самый примитивный текстовый редактор на базе нейронных сетей — в идеале обучающийся и постоянно подстраивающийся под конкретного пользователя. Если не согласны, то прошу ссылку на такую работу (другой вариант не принимается).
                                                        Абсолютное большинство это различные виды «обучения» нейронных сетей.
                                                        В настоящее время нейронная сеть это адаптивный фильтр и ничего более.

                                                          +1
                                                          Например самый примитивный текстовый редактор на базе нейронных сетей — в идеале обучающийся и постоянно подстраивающийся под конкретного пользователя
                                                          А нафига? Какие преимущества это «подстраивание под конкретного пользователя» может дать хотя бы в теории?
                                                          другой вариант не принимается
                                                          Ну да, «никто не решил бессмысленную задачу» == «темой никто не занимается».
                                                            0
                                                            Как пример — выполняется типовая работа по обработке текста. Два три раза сделана руками, на четвертый раз редактор говорит: Я понимаю как это сделать и делает на автомате. Далее задает вопрос: Создать инструмент для типовой обработки текста?
                                                              0
                                                              Нафиг-нафиг… Это НИКОГДА не будет работать нормально, потому что даже с «эталонными» мясными секретарями это никогда не работало на 100% правильно.
                                                              А для нормальной формализуемой обработки текста инструментов и так хватает.
                                                            0
                                                            И это тоже (про сложность), но работ по вычислительным системам на базе нейронных сетей практически нет, именно вычислений.

                                                            Нейроморфные вычисления
                                                              0
                                                              Не путайте вычислить выходное значение нейронной сети и исполнение сложного алгоритма на нейро-процессоре.
                                                              Думаю показателем того что цель достигнута будет появление универсального компилятора с языка СИ++ (например) в готовую нейронную сеть (без необходимости «обучения»).
                                                              Только после этого человеческий мозг можно рассматривать как биологическую вычислительную машину (мое мнение что мозг это именно машина на которой и исполняется личность человека)
                                                                0
                                                                появление универсального компилятора с языка СИ++ (например) в готовую нейронную сеть

                                                                WAT? Если у вас есть программа, написанная на С++, зачем нужна нейросеть?
                                                                  0
                                                                  Программа на С++ сама себя не исполнит, она должна быть компилирована в данные конкретной вычислительной системы.
                                                                  Нейронная сеть пишущая программы на С++ это следующий шаг.
                                                  0
                                                  тогда как закон Мура ожидал только десятикратного увеличения

                                                  2^(120/18) = 101

                                                    +5
                                                    «в 25 раз быстрее, чем пять лет назад», тогда как закон Мура ожидал только десятикратного увеличения

                                                    2^(60/18) = 10.1
                                                      +2

                                                      Спасибо. Невнимательно прочёл.

                                                    0
                                                    Вот интересно, а если бы нВидия не выпустила свой ГеФорс 256, а затем не расширила возможности ГПУ, были-бы такие успехи, как сейчас? Ведь в то время казалось, что главное скорость текстурирования, а про геометрию особо не думали.
                                                      0
                                                      Собственно CPU и притормозили, потому что нишу HPC захватили GPU.
                                                      GPU тоже упираются в TDP и замедлились.
                                                        +14
                                                        По словам Хуанга, для задач искусственного интеллекта AlexNet потребовалось шесть дней на двух процессорах Nvidia GTX 580, чтобы завершить процесс обучения, но только 18 минут на современном сервере DGX-2 AI, что привело к ускорению в 500 раз.


                                                        Маркетологи такие маркетологи — сравнивают самый обычный компьютер со всего двумя универсальными (прежде всего игровыми) GPU против по сути специализированного и специально спроектированного под задачи ИИ кластера оснащенного сразу шестнадцатью GPU. При этом каждый из которых еще и жрет энергии больше чем GTX 580 и «площади кремния» использует намного больше.

                                                        Прирост производительности (особенно на такой «удобной» задаче как нейросети и ИИ) и без всякого мухлежа все-равно впечатляющий. Но без ложки вранья маркетологи уже просто не могут.
                                                        Иначе сова на глобус видимо не натягивалась — не получалось показать что «закон Хуанга», якобы круче «Закона мура». Ведь если сравнивать в сопоставимых условиях (например 1 GPU против 1 GPU сравнимого класса, или системы со сравнимой потребляемой мощностью и т.д.) то рост производительности получится не в 500 раз, а «всего» раз в 40-50 за эти 8 лет (с 2010 по 2018).

                                                        А это примерно столько, сколько «обещает» обычный закон Мура за аналогичный срок:
                                                        2^(8*12/18)= 40.3
                                                          +1
                                                          А если еще вспомнить, что меряют не прирост на чипе CPU в сравнении с приростом на чипе GPU, а еще и связку GPU с новыми типами RAM и размерами шины…
                                                          +2

                                                          Что важнее для появления таких законов: фамилия автора или наблюдательность ?

                                                            +4
                                                            Надо сказать, что для появления закона Мура нужна была не только наблюдательность, но и смелость такое заявлять. Если открыть оригинальную статью Мура 1965 года, то он делает свой вывод буквально по пяти наблюдениям, причём это что-то вроде «в пять лет назад на чипе было 2 транзистора, потом 4, потом 8, а вот сейчас уже 32» и сделать из такой прогрессии вывод, что через десять лет будут тысячи — нужна большая смелость, потому что в тот момент совершенно непонятно было, что такой прогресс возможен в принципе. Что уж говорить про то, что этот «закон» продлится 70 лет и в конце у нас будут десятки миллиардов транзисторов на чип?
                                                              0
                                                              и в конце у нас будут десятки миллиардов транзисторов на чип

                                                              Дык они и сейчас уже есть. AMD Ryzen Threadripper 3990X — 39.5 млрд транзисторов :-)

                                                                +1
                                                                Я и имел в виду текущее состояние. Это в каком-то смысле конец известного нам развития закона Мура. Дальше будет больше, IRDS Roadmap на 15 лет вперед в принципе расписан и там ~7-10x ещё увеличение плотности ожидается. Так что есть надежда на триллион транзисторов в типичном чипе, а не размером с тарелку :)
                                                                  +2
                                                                  3990x состоит из 9 чиплетов.
                                                                  А так-то есть и покруче:
                                                                  Ampere A100 — 54 миллиардов транзисторов на 1 кристалле.
                                                                  2-е поколение Cerebras Wafer Scale Engine — 2.6 триллиона транзисторов.
                                                              –1

                                                              Судя по фамилии автора этого "закона", то он просто решил потрафить папке.

                                                                +1
                                                                Мур, Хуанг… Давайте придумаем закон меня — развитие любой технологии происходит по S-образной кривой, где нижний и центральный сегменты близки к экспоненте, а до верхнего сегмента (например в процессорах) мы еще не дошли. Или с законом Мура дошли?
                                                                Ой, про S-образные кривые придумали до меня? I am sorry!
                                                                Это из первых же ссылок.
                                                                cyberleninka.ru/article/n/s-obraznye-modeli-razvitiya-i-tehnologicheskie-razryvy
                                                                  0
                                                                  Фишка только в том, что прогресс, который мы наблюдаем в компьютерах — это десятки, сотни, а то и тысячи разных локальных S-кривых, которые все вместе пока (уже лет 70) вполне себе дают экспоненту.
                                                                    +1
                                                                    Хм. Хорошее замечание. А кстати — наверное можно сделать оценку сверху максимальной производительности вычислительной системы? Что-нибудь из термодинамических соображений и скорости света? Хотя это наверное будут оценки для классического вычислителя, а тут квантовые на пороге. Но думается останется бутылочное горлышко передачи информации о квантовых состояниях в классический мир.
                                                                      +1
                                                                      Да, есть знаменитая статья Сета Ллойда 2000 года: Ultimate physical limits to computation
                                                                        +1
                                                                        Спасибо огромное! Может её стоит разобрать и по мотивам написать популярную. статью сюда… если конечно этого еще не сделали.
                                                                    0
                                                                    а до верхнего сегмента (например в процессорах) мы еще не дошли. Или с законом Мура дошли?
                                                                    Так кривая не одна. С частотами уже дошли, причём давно. С нанометрами тоже где-о близко, нормы уже такие тонкие, что некоторые структуры на чипе состоят из нескольких десятков атомов, ещё 1-2 шага, и делать тоньше будет уже физически некуда. А новое поколение технологии литографии даже такие гиганты, как Intel не в состоянии потянуть в 1 лицо, да и само оно уже больше про точность, а не про «тонкость».
                                                                    +3
                                                                    Фигня для читателей WSJ (а они скорее экономисты, а не технари).

                                                                    Для начала, как бы не умирал закон Мура в словах Хуанга, в реальности они что-то продолжают делать чипы, пользуясь его плодами — каждый очередной GPU на новом техпроцессе, с новым количеством транзисторов, плюс-минус в рамках «мёртвого» закона Мура.

                                                                    Добавить к этому рост самих кристаллов и вот, значительная часть производительности определяется всё тем же, старым добрым наращиванием количества транзисторов.

                                                                    Правильнее было бы назвать «законом Хуанга» то, чем определяется остальная часть роста производительности — незаметная замена задачи, по которой измеряем производительность. Ух, как хорошо у нас ускорились нейросеточки, пожалуйста, не обращайте внимания на то, что за это время отрасль научилась в целом гораздо быстрее тренировать нейросеточки, использовать меньшую точность (FP16/bfloat16 вместо FP32), использовать разреженные вычисления и так далее. Давайте сравним нейросеть, написанную студентом-аспирантом 8 лет назад и результаты прогресса целой отрасли с тех пор с миллионом людей работающих на оптимизацию.

                                                                    А если немного со стороны посмотреть, то давайте возьмём не GTX580, GTX980 (как раз, ровно пятилетней давности) и посмотрим на одинаковые показатели, например, FP32 флопсы. Ой, что это:
                                                                    GTX 980 — 4.6 tflops при tdp 165W
                                                                    RTX 3080 — 29 tflops при tdp 320W.

                                                                    Как же так получилось? На одной и той же характеристике оказался прогресс всего 6.3 раза, а с учётом мощности и вообще 3.15 раз. Что-то даже медленнее мёртвого закона Мура :)

                                                                    Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                    Самое читаемое