Pull to refresh

Comments 125

Я еще лет 10 назад слышал прогноз сильного ИИ к 2025 году. Такими темпами может что-то и получится

некоторые ученые полагают, что сильный ИИ (с сознанием) невозможен в принципе.
другие некоторые ученые полагают, что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека, т.е. порядка 1012 нейронов с количеством связей порядка 1015 — типа, при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно.

Только вот на существующей кремниевой элементной базе — да, невозможно.
Чем элементная база не угодила?

Чисто количественно она нужные параметры со временем сможет обеспечить. Знать бы только какие конкретные архитектуры нужны и какими данными их «наполнять».

P.S.
По 1 порядку в параметрах мозга человека лишние.
Чем элементная база не угодила?

Чисто количественно она нужные параметры со временем сможет обеспечить.

Не-а. Мы уже уперлись в технологический предел. И при этом весьма примитивные нейросети требуют специализированных ускорителей, и жрут сотни ватт энергии. А надо еще 6+ порядков.

Так что нужен альтернативный подход — чтобы и плотность повысить, и энергопотребление снизить.
Я про «уперлись» и «кремний уже умер» слышу уже лет 10 как каждый год, а количество транзисторов в кремниевых чипах и их производительность в задачах которые хорошо распараллеливаются при обработке (нейросети в их числе), что позволяют все эти транзисторы пустить в полезную работу все это время росли прежними темпами пока «кремний умирал». О чем собственно эта статья про «закон Хуанга» (переименнованный маркетолагами старый добрый закон Мура). В традиционных CPU был застой, а в GPU и нейрочипах прогресс шел прежними темпами с использованием того же самого кремния.

И еще как минимум лет на 10 вперед у компаний занимающихся производством чипов планы УЖЕ расписаны — фундаментально уже ясно как и куда двигаться дальше в кремниевых полупроводниках.

Откуда опять же 6 порядков?

Действительно специализированные (нейроморфные) чипы еще лет 5 назад уже могли в реальном времени эмулировать работу нейросетей с порядка миллиона нейронов и сотнями миллионов синапсов, укладываясь при этом потреблением в единицы Вт или даже меньше 1 Вт на чип.

Современный уровень, уже где-то на 1 порядок выше — 1 нейроморфный чип при условии использовании передового из уже освоенных для серийного производства кремниевых технологий (7-8 нм) можно сделать под эмуляцию в реальном времени на ~10 млн нейронов с миллиардами синапсов на одном чипе.

Таких пока правда на практике еще никто не делал, т.к. в отличии от универсальных CPU и GPU такие чипы годятся только для одной единственной задачи (эмуляции нейросетей одной определенной архитектуры) и не ясны коммерческие перспективы которые могли бы оправдать необходимые вложения в проектирование и запуск производства подобного чипа — для современных сложных чипов это уже минимум десятки миллионов долларов еще до выхода первых годных к использованию чипов с конвейера. Но технологии уже такое позволяют.

Мозг человека полностью это порядка 100 млрд. (на ~4 порядка осталось), неокортекс отвечающий за все все высшие нервные функции, почти в 10 раз меньше, где-то 10-15 млрд. (~3 порядка осталось).
Вы что, издеваетесь? Куда уже дешевле кремния? Он же по сути под ногами лежит.
Вот поэтому и не умер)
Т. е. кремний, который «лет 10 как каждый год» «умирал», продолжает лежать под ногами, а дешёвых альтернатив не нашли
Штука в том что мы практически упёрлись уже в физические ограничения кремния. Если делать затвор тоньше — электроны будут просто туннелировать через него и транзистор больше не будет транзистором. Там конечно ещё лет 10 можно будет поиграться с разными архитектурами кремниевых транзисторов но уже сейчас видно что прогресс начинает двигаться в сторону колличественного нежели качественного. Т.е. чипы становятся больше, тепловыделение тоже — 3090, например, выделяет до ~360Вт тепла на пике. Кремнию осталось реально недолго.

Не только кремния, у нас есть ещё фундаментальная проблема со скоростью распространения эм волн, она уже влияет на время доступа к памяти находящейся за пределами чипа...

Будет больше многоуровневых кэшей и, скорей всего, «внос» памяти в чиплеты. Ваш К.О.

Про много уровней кэша и его размеры, вроде как проблема в том что для большинства текущих задач быстродействие заметно не повысится, а с hbm появляется проблема отвода энергии...

Ну отвод энергии тоже еще не на пределе, просто он не выгоден.
Задумкам по водяному охлаждению ВНУТРИ чипа уже лет 10, если не больше.
Многослойные бутерброды с трубками в средине тоже уже были.
UFO just landed and posted this here
UFO just landed and posted this here

Проблема распределённых вычислений она не столько в сложности компонентов сколько в отсутствии алгоритмов, ведь тот же мозг работает за счёт изменчивости связей в т.ч. на кремниевой основе этого добиться очень сложно (коммуникационные ключи не могут переплывать между чипами :)), про hbm тут напрямую стоит вопрос теплоотвода, и он, вроде, так просто, пока не решается, таже проблема возникает при уплотнении элементов, про раза 2 в каждом измерении это очень оптимистично на мой взгляд, хотелось бы чтобы было так...

Блоки программного кода то УЖЕ переплывают.
Алгоритмы тоже вроде никуда еще не уткнулися.

Я так понимаю что помимо кода должны ещё и данные "приехать" на один узел

Ну NUMA вроде есть же, не?
UFO just landed and posted this here
в специализированных ускорителях для отдельных задач — конь не валялся, возможны ускорения в сотни раз

Это будет переход от «монолита» к «микроядрам/микросервисам» на аппаратном уровне, как бы? Свой PU (уже не C) на каждый кодек/шифратор/ect?
UFO just landed and posted this here
Откуда опять же 6 порядков?

Оттуда. Что современное оборудование способно поддерживать порядка миллионов эквивалентных нейронов. А надо триллионы.

Действительно специализированные (нейроморфные) чипы еще лет 5 назад уже могли в реальном времени эмулировать работу нейросетей с порядка миллиона нейронов и сотнями миллионов синапсов, укладываясь при этом потреблением в единицы Вт или даже меньше 1 Вт на чип.

Если вы про TrueNorth — да, но. Там развесовка шла однобитная, spiking neurons. Маловато будет, не для всех задач подойдет. Даже при потреблении 0.1 Вт на чип таких чипов потребуется миллион, и потребление составит соответственно сотни киловатт. Ок, это был 28 нм процесс, сейчас 5 нм, предположим потребление упадет раз в 5 — ок, десятки. Все равно много, и все равно существенный объем.

Cerebras WSE сам по себе жрет 20 кВт, сколько там эквивалентных нейронов — наверное сотни тысяч.

Говорю же — на кремниевой элементной базе такие вещи невозможны.
Закапывайте.
UFO just landed and posted this here
Чтобы что? Чтобы вытащить из воздуха работающее решение на порядки лучше?

Чтобы исследовать более подходящие для задач сильного ИИ технологии и элементную базу, и не тратить ресурсы, пытаясь прыгнуть выше головы.

если бы нам чудом явилась инопланетная технология с компьютерами мощностью как мозг, мы всё равно пока не знаем как её задействовать толком

А зачем тогда вообще над ней работать? Разработка технологии подразумевает закрытие определенных потребностей.

Потенциал даже существующих решений ещё по сути не начал распространяться по реальному миру

Ага, при том, что в каждом пятом проекте ИИ на ИИ и ИИ погоняет. Приходит зокащег с выпученными глазами — МНЕ НАДО ML СРОЧНО И ЧТОБЫ ОН САМ ДЕНЬГИ ДЕЛАЛ.
Ну, и делаем. Не то, чтобы сам деньги делает, но прикладные задачи решает, да.
Чтобы исследовать более подходящие для задач сильного ИИ технологии и элементную базу
Так в том-то и вопрос, откуда эта элементная база так внезапно возьмётся?
откуда эта элементная база так внезапно возьмётся?

у нас уже есть работающий референс на мясной основе. почему внезапно то? давайте смотреть в сторону биологических и молекулярных механизмов.

С ними проблема с предсказуемостью… Работать может (история говорит что даже в космос может летать) но вот работать как сказали не всегда (то деталь к верху ногами в разъём забъёт то ещё что-то)

UFO just landed and posted this here
Прыгнуть выше головы — это сказать «вот мясной референс, давайте сделаем такой же», а потом на вопрос «как именно?» ответить — «моё дело стратегия».

А чего б нет? Который раз повторяю — мы уже упираемся в ограничения, накладываемые физическими законами. Сделать чипы (неважно какой архитектуры) компактнее и экономичнее на несколько порядков — уже невозможно. До коллапса — лет 5. И даже рентгеновские лазеры рояль не сыграют — потому что размеры кристаллической решетки, туннелирование, и т.п. То есть неизбежно менять материал, неизбежно менять подход.
Так почему не сейчас?

И вы предлагаете что? Пусть все эти специалисты остановятся, бросят свои дела, в которых они понимают и знают как принести улучшения, пойдут все, переучатся на несуществующие специальности «разработчиков биомозгов» на несуществующих курсах несуществующих университетов.

Да почему. Пусть занимаются. Только не надо шапкозакидательства, надо понимать, что все это ограничится киберолигофренией уровня на порядок-два ниже человеческого мозга и с запредельным энергопотреблением. Про киберсознание в таких условиях говорить не приходится.

люди смотрят, просто вы об этом ничего не знаете

Вы не знаете, что я знаю, чего не знаю, каковы мои источники, и т.п. Так что говорите, пожалуйста, за себя.

идти поднимать биологический эквивалент с его текущего (никакого) состояния.

А что ты сделал в свои годы для хип-хопа? Вы как-то скатились в ad hominem, дорогой оппонент.
Там пока нечего поднимать, там такая terra incognita, что обходятся небольшим количеством высоколобых визионеров, осторожно тропящих тропки по очень тонкому в современных политических и экономических условиях льду.
UFO just landed and posted this here
чем плохо экстенсивное развитие?

да ничем не плохо, кроме физических ограничений )
тактовая частота уже лет 10 как не поднимается.
техпроцесс почти выбран.

надо бы новый материал, с большей подвижностью электронов, с меньшим периодом решетки, желательно такой же распространенный (нет, кремний — самый распространенный) и дешевый.

ставлю на реальный прогресс против фантазий о киберсознании

дык, все эти нейроморфные технологии — они зачем? ) они же в первую очередь сделать компьютер сознательным и осознанным. человекоподобным, но более совершенным. и бесправным.
а примитивные перцептрончики, если не путаю, еще в 1960-х были на почтах.

а бессознательного «интеллекта» и так сейчас хоть отбавляй, но толку? YOLOv3 поверх TF на RTX2080 Ti протаскивает максимум 10 FHD кадров в параллель, если мы говорим о времени отклика не более 300 мс. и как уже говорилось выше — мы все равно упираемся в фундаментальные ограничения материала. из которого вытекают и ограничения на производительность.
UFO just landed and posted this here
У вас там по ссылочкам маркетинговый буллшит без подробностей. На это я имею сказать, что Transmeta тоже была многообещающим стартапом в свое время, и даже продавалась. Но быстро сколлапсировала.
Так что единичные опытные образцы — не аргумент. Датасатанисты пока вынуждены покупать и использовать те самые RTX.

Через 10 лет? Распознаём всё

Я это лет 50 уже слышу. Примерно как про термояд. А воз и ныне там.
UFO just landed and posted this here
от диковинки, работающей на 300ваттной карте 0.1фпс до реалтайма на пятиваттных чипах в моём телефоне

А где там реалтайм? Mi 9 SE, 712-й снап, PoseNet поверх TFLite дает слайдшоу. Нейробьютифаеры в тех же сяомитских камерах тоже работают оффлайн.
Из реалтайма разве что наложение масочек в настограме, и то, при неудачном повороте головы может съехать.
Распознавание речи (Алиса, Гуглоассистент) афаик на стороне сервера делается. А генерации уже лет 20 (привет Microsoft Agent и MSTTS), но она все так же убога и режет слух.

Чтобы такой девайс попал в руки среднему ресерчеру наравне с джифорсами — нужны многомиллиардные продажи

Дык, кто бы поставлял? Так то за сопоставимую цену народ бы покупал.

Такой чип от imec будет стоять в вашем телефоне, а вы даже не будете знать

Маловероятно. Основа — всегда единичный SoC, указанный в ТТХ. Какое-нибудь маркетинговое преимущество типа выделенного ЦАПа — указано отдельно. Вон, у меня был Lenovo Phab 2 Pro с аппаратной поддержкой AR в виде Project Tango — так у него на спинке лого этого самого Tango было написано.

Или будет успешно продаваться на рынке, с которым вы не пересекаетесь

Cerebras как раз в том рынке, с которым я пересекаюсь. От того и говорю, что прогресс в нейроморфических технологиях если не застопорился, то явно вышел на плато.
UFO just landed and posted this here
Далеко не самый мощный девайс чтобы показать как всё плохо

Во-первых, семисотая серия — далеко не самая дохлая.
Во-вторых — Если продукт приемлемо работает только на топовом железе — значит всё действительно плохо.
На рынке достаточно обширный спектр устройств, и если мы хотим, чтобы продуктом пользовались — мы должны ориентироваться на бюджетный сегмент.

Не знаю, чего там режет слух, но качество современных генераторов речи несравнимо выше, чем 20 лет назад

Да прям. Что MS TTS, что гуглоассистент, что Алиса — одинаково косячный и неестественный прононс.
UFO just landed and posted this here
Какой продукт?

Ну, вы же апеллируете к «реалтайму на пятиваттных дровах» — я вам говорю, что реалтайм там настолько не везде, что про него в целом говорить не приходится. То, что работает на 300-ваттном ускорителе — так только на нем и работает. И к слову об ускорителях.

2014-й. GTX980, 165 Вт, 4.981 TFlops FP32
2018-й. RTX2080Ti, 250 Вт, 13.45 TFlops FP32
Это — прогресс? За 6 лет в 3 раза, а если на ватт — и того меньше.
По-моему замечательная демонстрация плато и предстоящей стагнации.

Зато биокибермозги когда появятся — сразу будут стоить 3 цента за пучок.

Ну, не прям сразу — но очень быстро, как оно произошло с появлением ПК и потом — смартфонов, как бытовых устройств, кардинально изменивших стиль жизнь человека.

А то, что за 15 лет смартфоны стали на порядки мощнее — принципиально ничего не изменило.
UFO just landed and posted this here
всего в разы за несколько лет, разве это прогресс? И порядки за 15 лет в другом случае — полная фигня, ничего такого, что не могла бы сделать нокия 5500.

Вы удивитесь — но да. Что 15 лет назад, что сейчас — разницы (и прогресса) нет. Потому что собственно юзерам не нужно от смартфонов что-то принципиально иное.
Вот их появление, как класса носимой техники — поменяло многое, включая образ жизни. Это был прогресс.

Я поставлю напоминалку на 15 лет, про этот разговор и надеюсь, что у _биомозга_, который будет вашим ассистентом тогда, найдутся посерьёзнее аргументы =)

А я разве постулировал, что через 15 лет появятся какие-то «биомозги»? Ну разве что в виде студентов.
Я постулировал, что текущая технология скоро упрется в физические ограничения, которые не позволят ей выйти на уровень производительности человеческого мозга и на уровень энергопотребления, приемлемый для бытового и повседневного использования.
И что альтернативные подходы либо медленно развиваются, либо вообще заброшены.

Поэтому ничего полезного кроме очередных масочек и AR-поигрушек нам не грозит.
UFO just landed and posted this here
UFO just landed and posted this here
15 лет назад был 2005 год, я как раз школу закончил

А я ее закончил сильно пораньше, и поэтому прекрасно помню, что тогда, что сейчас было и есть по сути одно и то же:
— фоточки
— музыка (на 128 Мб miniSD влезал приличный такой альбом)
— мессенджер (jimm или нативная ICQ в случае WM/Symbian)
— браузер и мобильные веб-сайты
— почта/адреска/календарь/органайзер (опять же Outlook в случае WM).
— игрушечки.

сильно это отличается от того, чем вы пользуетесь сегодня? думаю, вряд ли.
так и где тут прогресс? кроме того, что экраны выросли и стилус необязателен.
UFO just landed and posted this here
Вы случаем не продажник?

Случаем нет.
«Любая музыка в мире прямо сейчас» — это конечно звучит соблазнительно, но слушать все равно нечего ) а только на выбор уйдут годы жизни. Поэтому в принципиальном плане — есть оно, или нет не сильно играет рояль — потребитель будет слушать то, что ему известно и нравится.
Нет, я знаю людей, у которых в плейлисте винампа были тысячи треков — они их так никогда все не выслушали. А на повседневочку вот этой самой сотни мегабайт по уши хватало. И хватает. У меня лично в ЯМузыке — два десятка треков в трех плейлистах, и в тележном VKMBot — десяток.

Сценарии же использования как были 15 лет назад, так и остались — эрго, прогресс в мобильной технике отсутствует.

Тогда смартфону нужен был большой брат, а сейчас?

Только для бэкапов/синхро. Он и сейчас нужен, просто раньше это был ваш большой брат, а теперь — от Гугла или Эппла.
UFO just landed and posted this here
Я бы с интересом послушал про что-то выходящее за перечисленные сценарии. Только не «один раз попробовал, прикольно» а «пользуюсь каждый день для того-то и того-то».
Но обычно на этом оппоненты и сливаются.
UFO just landed and posted this here
Итак, суммируем разницу:
— видео
— видеозвонки
— перевод
— геопозиционирование/трекинг/педометрия
— бесконтактная оплата (да, это существенный прогресс, согласен)
— учебный софт

Я только еще раз уточню — это действительно повседневное использование? Если еще видеозвонки (ну, по работе, например), залипание в ютуб, и оплату гуглопеем можно понять, то наличие в повседневном списке геосервисов, переводчика и дуолинго у меня лично вызывает удивление — зачем оно взрослому человеку каждый день? Нене, эпизодически я этими вещами тоже пользуюсь. Кроме дуолинго. Ну не верю я в эффективность «учебного» софта кроме их способности приносить деньги владельцам.

Игры в 2005 не ограничивались змейкой, что интересно. Был даже AR. Вот сетевых не было, да.
Но по большому счету, что сейчас, что тогда — играть не во что было.

А SSH до домашнего сервера у меня был еще тогда, по GPRS.

Итого: это вот — прогресс? Действительно? За 15 лет — ну такое себе. По мелочи.
UFO just landed and posted this here
Геосервисы каждый день — нужно ездить на работу, загород на выходных и т.д.

По памяти — не? На работу и за город по крайней мере.

бывают путешествия, когда смартфон совершенно незаменим как источник карты/транспорта/перевода.

Да. Но это опять же не повседневка, и к смартфонному прогрессу этот кейс отнести сложно. Тем более, что и 15 лет назад ровно так же можно было все нарыть через сеть по GPRS. Вот то, что соответствующих ресурсов в сети могло не быть — это да. Но это про другой прогресс.

Дуолингво/анки/переводчик — некоторые люди учат язык(и) и я среди их числа, и это действительно ежедневный процесс для лучшего результата, не знаю что тут удивительного.

Удивительно пользоваться безликой аппой и надеяться улучшить свои языковые навыки. Все же платные занятия с носителем языка дадут вам лучшие результаты. Ну, только если не «ландон из э кэпитал оф грейт бритн».

Еще раз: смартфон за 15 лет не дает принципиально новых возможностей. Соответственно о каком прогрессе говорим?
UFO just landed and posted this here
Надо перепечатывать на robotron 1985 года выпуска, тогда в голове осядет.
P.S. У нас в семье такая была. Мама за ней работала и я поразвлекаться успел
2014-й. GTX980, 165 Вт, 4.981 TFlops FP32
2018-й. RTX2080Ti, 250 Вт, 13.45 TFlops FP32
Это — прогресс? За 6 лет в 3 раза, а если на ватт — и того меньше.

Подтасовочка :) Эти GPU имеют разный функционал.
К тому же между 2018 и 2014 разница 4 года.
2080ti могли бы 20TFlops сделать изи, только вот тогда бы не было RT/Тензорных ядер. Остальные GPU блоки чипа так же увеличились.
Почему вы не хотите сравнить их на ИИ задачах?

тактовая частота уже лет 10 как не поднимается.

Давайте сравним топ Интел 2010г и 2020г:
Core i7-980X 6 ядер 3,33 ГГц
Core i9-10900К 10 ядер 5.3ГГц

техпроцесс почти выбран.

Нет.

Не пойму что вас не устраивает.
Прогресс сейчас идёт бешеными темпами.
Подтасовочка :) Эти GPU имеют разный функционал.

Чего это вдруг? GPU он и в африке GPU — картиночки рендерить и числа дробить. Последнее, кстати, его опциональная возможность. Поэтому и давайте сравнивать по наименьшему общему, такссзть.

Давайте сравним топ Интел 2010г и 2020г:
Core i7-980X 6 ядер 3,33 ГГц
Core i9-10900К 10 ядер 5.3ГГц

Нет, сравнивать мы будем с Core i7 10700KF, и по базовым частотам, потому что Max Turbo Frequency — это запас мощности, а не типичный режим работы. У него 8 ядер.
А базовая частота для 10700KF — 3.8 ГГц, тогда как для 980Х — 3.33 ГГц. Для 10900, кстати — 3.7.
Так себе разница за 10 лет. AMD, кстати, на этом временном отрезке получше смотрится.

Нет.

Не пойму что вас не устраивает.
Прогресс сейчас идёт бешеными темпами.

Ну как нет. 5 нм норма, уже скоро в одиночные атомные слои упремся, и тут уже ойвсе.

И, собственно, по приведенным цифрам — это не прогресс, это вяленькое расширение уже давно освоенной технологии по нескольку процентов или десятков процентов каждый год. Плато.
А дальше — стенка. Фундаментальный барьер.
Чего это вдруг? GPU он и в африке GPU — картиночки рендерить и числа дробить.

Только вот современные игры умеют в рейтрейсинг (аппаратный) и используют DLSS.
На старых чипах этого функционала нет.

Так а почему на задачах ИИ вы не хотите сравнить?
К примеру Nvidia A100 именно для них и предназначен.

Нет, сравнивать мы будем с Core i7 10700KF

Ну начинается. 980X (Extreme Edition) это был самый топ 2010г.
С чего бы брать более бюджетное решение для сравнения? Так не пойдёт.

Max Turbo Frequency — это запас мощности, а не типичный режим работы

В однопотоке это типичный режим работы (и не только в однопотоке). До базовой десктопный процессор редко когда опускается.
Более того есть чипы с частотой 5GHz на все ядра.
Так что мимо опять.

В общем ясно, понятно. То процессор не «тот», а когда надо сравнить предел частоты, то сравниваем по нижней границе частотного диапазона :D
Вам самому не смешно?
— Ferrari против Porsсhe — кто быстрее?
— Ничья, т.к. в городе ограничение 60км/ч.

Ну как нет. 5 нм норма, уже скоро в одиночные атомные слои упремся, и тут уже ойвсе.
Когда скоро? 30 лет «уже скоро». В ближайшие 10 лет классический техпроцесс будет стабильно улучшаться. Также 3D интеграцию никто не отменял.
современные игры умеют в рейтрейсинг (аппаратный) и используют DLSS.

Есть мнение, что кроме RTX-ремастеров от Nvidia, этот самый аппаратный рейтрейсинг никому больше не сдался. Как и DLSS, поэтому этим опять же можно пренебречь.

Ну начинается. 980X (Extreme Edition) это был самый топ 2010г.
С чего бы брать более бюджетное решение для сравнения?

Не более бюджетное, а то же семейство. i7 сравниваем с i7, иначе это передергивание.

В однопотоке это типичный режим работы

В каком однопотоке? Вы загрузили систему — у вас работают все ядра. И, нет, частота будет сильно плавать. На максимум она выйдет, если вы загрузили процессор длительной интенсивной нагрузкой, что происходит не всегда. Или у вас 24х7 монеро майнится?
Поэтому и сравниваем по нижней границе — где по дефолту частота процессора болтается.

Когда скоро? 30 лет «уже скоро».

Не 30 а 10.

В ближайшие 10 лет классический техпроцесс будет стабильно улучшаться.

Ага-ага, ASML свой EUV 20 лет пилила, а тут вдруг будет стабильно улучшаться? Да и куда, если материаловедческий предел на носу?

3D интеграцию никто не отменял.

Её никто и не вводил, начнем с этого. Потому что это безумно увеличивает сложность и процент брака.
UFO just landed and posted this here
В ближайшие годы отрасль до триллиона баксов вырастет, неужто не хватит мозгов и инвестиций на то, чтобы сложность побороть?

Я с интересом ознакомлюсь с роадмапом как побеждать принципиальные физические ограничения — которые вот уже, рядышком: период кристаллической решетки, радиус атома, туннельный эффект (напрямую влияющий на утечки).
20 лет назад, кстати, было очевидно, что за эти 20 лет технология дойдет до этого самого технологического предела в единицы нанометров в экстенсивном порядке. И уже тогда стоял вопрос — а дальше то что?
За эти годы никто так ничего и не придумал, не анонсировал, не показал.

как например с реальным мозгом — никто не знает как он работает и как его повторить даже примерно

И что самое удивительное — пытаются воспроизвести. Причем технология соотносится с оригиналом примерно как каток времен Египта с современной Теслой.

А про мультипаттернинг можете забыть — двойной (как пишут в источниках) уже достаточно сложен и ведет к неоправданному росту цены, а тройной — нежизнеспособен. Так что — да, еще один шажок. А там — пропасть.
UFO just landed and posted this here
Вот тогда будут чипы в виде кубика собранного по отдельным атомам, вот тогда и поговорим о том, что дальше некуда расти

Не будут. Когда речь про отдельные атомные слои — элементы перестают работать. Начинается туннелирование, растут токи утечки, катастрофически вырастает процент брака. То есть жизнеспособная технология заканчивается задолго до.
> YOLOv3 поверх TF на RTX2080 Ti
Вы пробовали TensorRT версию YOLO, а также batching и streaming? Иногда получается ускорить выполнение раз в 100 по сравнению с TF…
Еще — сильно зависит от того, откуда берутся кадры и что является результатом. К сожалению, производительность GPU в задачах AI часто лимитирована именно графической архитектурой — для действительного прорыва нужны новые решения с прямым доступом AI-процессора в память и к интерфейсам ввода-вывода (подозреваю, что покупка ARM имеет к этому непосредственное отношение)
Вы пробовали TensorRT версию YOLO

Нет, не успели. Батчинг и стриминг по условиям был невозможен — входное изображение приезжает из HTTP-запроса в единичном количестве. Результат — индекс категории.
В рамках единичного запроса бОльшая часть времени тратилась на поднятие CUDA-рантайма, пришлось его во время запуска сервиса поднимать предварительно.
Надо было рантайм в отдельный сервис вынести — или просто использовать TRITON от самой Nvidia.
А зачем? это в данном случае сильно усложнило бы решение, так мы обошлись flask + keras + tf-gpu внутри одного питоновского процесса. разве что что-то типа тритона нам не хватало чтобы меньше заморачиваться с инфраструктурной частью.
Ну так Тритон это и есть Web-сервер и рантаймы для TF и других поддерживаемых фреймворков. Из-за того, что он вынесен в отдельный процесс — жизненный цикл модели не зависит от жизненного цикла клиентов и не приходится ее загружать в GPU по новой для каждого вызова.
исследовать более подходящие для задач сильного ИИ технологии и элементную базу,

Если вам такие известны — опубликуйте пару научных статей с серьезными подтверждениями, куча компаний за это ухватятся и реализуют. Или можете сделать свою, на триллион долларов. Если же вы говорите в целом, гипотетически, то смысла в этом нет.


и не тратить ресурсы, пытаясь прыгнуть выше головы.

Вы предлагаете экономить буквально на спичках. Nvidia тратит на R&D меньше трёх миллиардов долларов в год. Для сравнения — это бюджет американских военных дня за полтора.


Человечество легко может тратить три миллиарда на "неперспективный" кремний и ещё три на перспективные технологии. Ладно бы вы призывали сэкономить полпроцента на военных, но вы зачем-то призываете сэкономить на исследованиях по кремнию.

Мозг человека полностью это порядка 100 млрд. (на ~4 порядка осталось), неокортекс отвечающий за все все высшие нервные функции, почти в 10 раз меньше, где-то 10-15 млрд. (~3 порядка осталось).

а чем планируется заменяться образование новых нейронных связей, благодаря которым у нас происходит обучение?

Возможный выход — в моделировании нейронов не математическими функциями, а непосредственно транзисторами. Аналоговый сумматор плюс ключ, коэффициенты передачи — резисторы и так далее. Я уверен, что при современном уровне полупроводниковой техники можно будет добиться стабильных характеристик и достаточного разрешения.
в задачах которые хорошо распараллеливаются при обработке (нейросети в их числе)

Нейросети плохо распараллеливаются в том смысле, что вычисления в одном узле сети зависимы от вычислений в других (в отличии от отдельных кадров в рендеренге, например, или хэшей в блокчейне).


Поэтому появляются вот такие монстры


Разумеется, поскольку развитие нейропроцессоров началось не так давно — будут еще и качественные и количественные скачки, но от самой большой НС на сегодня GPT-3 (которая обучалась несколько тысяч "V100-дней") до параметров мозга еще 3 порядка и есть сомнения, что они будут пройдены железом так же быстро, как предыдущие 3 порядка (~15 лет).

У вас инфа из 90-х кажется, почитайте про SpiNNaker, который часть HBP. Если мы говорим о сложности, сопоставимой с человеческим мозгом, то порядков осталось где-то три, в новой версии которую сейчас разрабатывают скорее всего останется два. Собственно, сейчас теория не поспевает за железом, а не наоборот.
У вас инфа из 90-х кажется

Нет, инфа актуальная.

почитайте про SpiNNaker, который часть HBP.

Почитал. Зал со стоечками декларируется миллионом ARM968 ядер и 100 кВт энергопотребления. Ну, да, если каждое ядро держит до 100 эквивалентных нейронов — остается 3-4 порядка. И как минимум рост потребления на порядок.

сейчас теория не поспевает за железом

Очень смелое утверждение, учитывая, что до сих пор связь нейрофизиологических процессов и сознания — terra incognita.
То вы говорите, что порядков надо 6+, то признаете, что осталось «3-4», но инфа у вас все равно актуальная? Честно, даже не знаю что на это сказать.

Под «теория не поспевает за железом» я имел в виду как раз то, что мы не знаем как именно создать это самое сознание, хотя по ресурсам мы уже подбираемся к емкости человеческого мозга и дойдем до нее в ближайшие годы.

И нет, следующая версия SpiNNaker не будет потреблять на порядок больше, они работают в рамках той же самой платформы с тем же энергопотреблением и форматом (10 стоек). Вы почему-то считаете, что прогресс полностью остановлен и за 10+ лет (первая версия построена на железе образца 2010 года) невозможно на порядок повысить производительность, оставив энергопотрбление таким же.
То вы говорите, что порядков надо 6+, то признаете, что осталось «3-4», но инфа у вас все равно актуальная? Честно, даже не знаю что на это сказать.

Следить за контекстом, не? SpiNNaker-у (и возможно специализированным нейроморфам типа Cerebras) — да, осталось 3-4 порядка взять, массовым решениям — 6 и более.

И нет, следующая версия SpiNNaker не будет потреблять на порядок больше, они работают в рамках той же самой платформы с тем же энергопотреблением и форматом

Ну, значит, он не выйдет на масштаб производительности, сопоставимой с человеческим мозгом.

Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

И в этом критерии кремний бесполезен. Он не позволит создать настолько плотный и экономичный аналог.
А зачем нам экономичный и плотный аналог естественного мозга? Понять как работает — можно и на модели, пусть она хоть дом занимает. Тиражировать? Так их и так 8 млрд. есть уже естественных, если вам нужен электронный раб с интеллектом среднего человека — проще и дешевле живого нанять.
Какой-нибудь супер интеллект для решения сложных задач? Тоже переносимый не нужен, достаточно удаленного доступа. Что бы что?
А зачем нам экономичный и плотный аналог естественного мозга?

А зачем вам мобильный смартфон? Звоните по домашнему.
Да, тиражировать. Ставить в каждую свистульку.

если вам нужен электронный раб с интеллектом среднего человека — проще и дешевле живого нанять

Ну, тут уже правовые и моральные аспекты. Живой имеет права. А железяка, созданная моими (вашими, нашими) руками — по определению бесправный раб, устройство, машина.
Какой контекст? Откуда он вдруг появился? Вы прямым текстом написали «мы уже уперлись в технологический предел».

Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

Я бы мог привести в пример компьютеры 70-х, занимающие комнату, но, кажется, делать это абсолютно бессмысленно, с вашим радикальным убеждением будто бы прогресса в этой сфере больше не существует.
Какой контекст? Откуда он вдруг появился? Вы прямым текстом написали «мы уже уперлись в технологический предел».

Так мы в него и уперлись. Ну 5 нм, ну 3, ну 2. Сколько еще лет, прежде чем фабы скажут «сорян, ребят, кремний всё, мы не сможем больше выжать — туннелирование, квантовые эффекты, физика, бессердечная сука»?
Мое мнение — лет 5.

Графен до сих пор из лабораторий не вылез AIII-BV полупроводники (арсенид галлия, например) не готов к производству сложных микросхем.

Контекст был — массово доступное оборудование, позволяющее запускать нейронные сети. Это GPU. Исследовательское в лице помянутых TrueNorth и Cerebras — да, помощнее и попроизводительнее, но зайдя в любой компьютерный лабаз вы их не купите.

Я бы мог привести в пример компьютеры 70-х, занимающие комнату

… но аналогия ложная. мы уже проговорили, что дальнейшая микроминиатюризация ограничена структурой материала и квантовыми эффектами.
Опять же, зал стоек жрущий десятки киловатт — совершенно не то же самое, что костяная коробка с плотью, обходящаяся единицами или десятками ватт.

Всё таки не единицами, да и десятков много. Около 30 Вт, причём вилка довольно большая, плюс подсчёт вёлся довольно грубо, в основном — по тепловыделению. Я склоняюсь к пиковому энергопотреблению в сотню, а то и больше Вт, правда длительность таких периодов крайне не продложительна и характеризуется огромным стрессом.

Спиннакер и в принципе повторение спайковых нейронов упирается в то, что нужно иметь очень высокую пропускную способность, что бы передать из А в Б собственно спайки. Если вы посмотрите внимательно, сейчас Спиннакер реализован как 10% идеи (1 стойка) и это не случайно — для 10 стоечного варианта, который потянет 1 миллиард нейронов, если правильно помню нужна межстоечная магистраль в 10 терабит, что довольно нетривиально. А для 100 миллиардов эквивалента человеческого мозга для схемы трехмерного тора, которая там принята нужно будет аж 100 петабит, что далеко за техническими возможностями.


Можно упаковывать нейросети в более щадящие полосу топологии, но вроде как это нетривиальная задача уже со стороны нейронауки, хотя тут неуверен.

что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека

Если можно запрограммировать сильный ИИ с сознанием, означает ли что человеческое сознание детерменированно и судьба предопределена?
ИИ тут поможет разве что с демонстрацией (что его схема детерминирована)
В остальном — кажется, что независимо от того, можно ли создать сильный ИИ, человеческое сознание детерменировано. Другое дело, что у него высокая сложность и оно завязано на множество факторов окружающей среды, включая биохимию собственной тушки. Все эти штуки не получится воспроизвести идеально, чтобы проверить, действительно ли оно детерменировано.
при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно

Не количеством единым. Есть так же мнение, что сознание, дуальность сознания, абстрактное мышление, появились прежде всего, как несовершенство мозга. Мы не в состоянии осозновать бол. кол. информации одновременно, нам приходится интерпритировать и абстрагировать информацию. Вспоминая что-то, мы не можем достать инфу с нужного места, а по сути воссоздаем воспоминание заново на основе абстрактных ощущений из разных мест мозга.
Всех этих биологических недостатков ИИ лишен. Возможно, если там и будет что-то похожее на сознание, то нечто совсем нечеловеческое.
Конечно, тут для начала надо бы договорится, что такое сознание вообще.
Всех этих биологических недостатков ИИ лишен. Возможно, если там и будет что-то похожее на сознание, то нечто совсем нечеловеческое.

Конечно. И впереди масса этических и философских проблем после этого.
аналогичная сложности головного мозга человека

А почему именно человека? Может хотя бы с мышей начать?
А что это даст, в практическом плане? На звание ИИ мышь как-то не тянет.
другие некоторые ученые полагают, что для ИИ с сознанием нужна сложность, аналогичная сложности головного мозга человека, т.е. порядка 1012 нейронов с количеством связей порядка 1015 — типа, при таком объеме возникновение сознания как качественного эффекта от сложности системы неизбежно.

Я начал писать ответ на ваш комментарий, немного увлёкся, и он получился даже объёмнее этой статьи. Я нечаянно даже чуть не оформил его в виде отдельной статьи — типа, может, люди захотят подискутировать на эту тему. В итоге я всё стёр и оставил только эту мысль:

У собак, кошек, мышей и так далее, намного меньше нейронов (в случае с мышами — в 1100 раз меньше), но они всё равно обладают сознанием. Дело, скорее всего, не в количестве, а в компоновке — в какой-то основе, которая позволяет существовать сознанию. Типа, углерод может принимать форму графита, а может быть и алмазом — в зависимости от «компоновки» (a.k.a. аллотропии). Просто в случае с нейронами тоже могут существовать, условно, «аллотропы», одним из признаков которых будет сознание, и, скорее всего, так много нейронов, как в мозге человека, для этого не требуется. Так что, с большой вероятностью, задачу создания ИИ можно решить с помощью комбинаторики.

Я вообще считаю, что ИИ до сих пор не создали только потому что, нет математически точного определения, что такое ИИ. Есть образы со стороны маркетологов, есть философские рассуждения, но нет чётких критериев оценки. Нельзя назвать вещь искусственным интеллектом, если ты сам до конца не понимаешь, что это такое.
В отличие от млеков, у некоторых врановых и, особенно, у крупных попугаев интеллект и уровень самосоосознания (а у последних ещё и речь) — на уровне трёх-пятилетнего человечьего детёныша, причём на во много раз более примитивном мозге. И норм.

Про 3-5 лет ребёнка боюсь вы ошибаетесь, хотелось бы понять откуда берутся такие утверждения (часто их слышу про собак) на мой "вкус и цвет" до 3х летнего ребёнка ни один из представителей мира животных (кроме, возможно некоторых обезьян) не дотягивает...

Простейший набор примеров, в т.ч. с хабра же:
нумер 1-й;
нумер 2-й;
нумер 3-й
Примерно так. Оценка интеллекта обученных горилл и шимпов сильно превышает названные цифры, там, ЕМНИМС, эквивалентом развитие в районе 10-12 лет, но по другому организовывался процесс общения — через язык жестов, например (голосовые связки обезьян плохо приспособлены для чего-то похожего на отчётливую речь).

В первой статье не нашёл ни слова о сравнении с детьми, во второй 1 тест и конкретно написано про "некоторые когнитивные способности" в третьей же "Ученые полагают, что эти попугаи могут достичь интеллекта 5ти-летнего ребенка"
Это не серьёзно, некоторые могут полагать да, некоторые и другие "странные мысли" высказывают, но 5 летний ребёнок это не 150 слов а сильно больше (в виде понимания) способность играть в шахматы вполне осознанно, как пример, весьма распространено (у меня ребёнок играл, и это без ежедневных дрессировок) а есть семьи в которых заморачиваться чтением и другими вещами. Мне кажется ваши ссылки как раз подтверждают что в некоторых "тестах" некоторые представители могут, но это далеко не оценка "интеллект на уровне" на мой взгляд :)

Для начала нужно понять как устроена вычислительная система функционирующая на нейронах. Если проводить параллели с кремниевой электроникой, то изобрели логический элемент (И-НЕ). И решили что если соединить миллиард таких элементов, то получится процессор. А вопросом как соединять, не озаботились.

Это я к тому что никто не озаботился пониманием того как должна работать вычислительная система базирующаяся на нейронах. Может после появления этого знания и интеллект не будет казаться фантастикой, станет просто высокоуровневой функцией обычной вычислительной системы.
Это я к тому что никто не озаботился пониманием того как должна работать вычислительная система базирующаяся на нейронах.
Ну да, настолько не озаботился, что уже больше 50 лет исследованиями занимаются. А вы не допускали, что знание не появилось не потому, что было лень разбираться, а потому, что это знание реально очень сложное?
И это тоже (про сложность), но работ по вычислительным системам на базе нейронных сетей практически нет, именно вычислений. Например самый примитивный текстовый редактор на базе нейронных сетей — в идеале обучающийся и постоянно подстраивающийся под конкретного пользователя. Если не согласны, то прошу ссылку на такую работу (другой вариант не принимается).
Абсолютное большинство это различные виды «обучения» нейронных сетей.
В настоящее время нейронная сеть это адаптивный фильтр и ничего более.

Например самый примитивный текстовый редактор на базе нейронных сетей — в идеале обучающийся и постоянно подстраивающийся под конкретного пользователя
А нафига? Какие преимущества это «подстраивание под конкретного пользователя» может дать хотя бы в теории?
другой вариант не принимается
Ну да, «никто не решил бессмысленную задачу» == «темой никто не занимается».
Как пример — выполняется типовая работа по обработке текста. Два три раза сделана руками, на четвертый раз редактор говорит: Я понимаю как это сделать и делает на автомате. Далее задает вопрос: Создать инструмент для типовой обработки текста?
Нафиг-нафиг… Это НИКОГДА не будет работать нормально, потому что даже с «эталонными» мясными секретарями это никогда не работало на 100% правильно.
А для нормальной формализуемой обработки текста инструментов и так хватает.
Не путайте вычислить выходное значение нейронной сети и исполнение сложного алгоритма на нейро-процессоре.
Думаю показателем того что цель достигнута будет появление универсального компилятора с языка СИ++ (например) в готовую нейронную сеть (без необходимости «обучения»).
Только после этого человеческий мозг можно рассматривать как биологическую вычислительную машину (мое мнение что мозг это именно машина на которой и исполняется личность человека)
появление универсального компилятора с языка СИ++ (например) в готовую нейронную сеть

WAT? Если у вас есть программа, написанная на С++, зачем нужна нейросеть?
Программа на С++ сама себя не исполнит, она должна быть компилирована в данные конкретной вычислительной системы.
Нейронная сеть пишущая программы на С++ это следующий шаг.
тогда как закон Мура ожидал только десятикратного увеличения

2^(120/18) = 101

«в 25 раз быстрее, чем пять лет назад», тогда как закон Мура ожидал только десятикратного увеличения

2^(60/18) = 10.1

Спасибо. Невнимательно прочёл.

Вот интересно, а если бы нВидия не выпустила свой ГеФорс 256, а затем не расширила возможности ГПУ, были-бы такие успехи, как сейчас? Ведь в то время казалось, что главное скорость текстурирования, а про геометрию особо не думали.
Собственно CPU и притормозили, потому что нишу HPC захватили GPU.
GPU тоже упираются в TDP и замедлились.
По словам Хуанга, для задач искусственного интеллекта AlexNet потребовалось шесть дней на двух процессорах Nvidia GTX 580, чтобы завершить процесс обучения, но только 18 минут на современном сервере DGX-2 AI, что привело к ускорению в 500 раз.


Маркетологи такие маркетологи — сравнивают самый обычный компьютер со всего двумя универсальными (прежде всего игровыми) GPU против по сути специализированного и специально спроектированного под задачи ИИ кластера оснащенного сразу шестнадцатью GPU. При этом каждый из которых еще и жрет энергии больше чем GTX 580 и «площади кремния» использует намного больше.

Прирост производительности (особенно на такой «удобной» задаче как нейросети и ИИ) и без всякого мухлежа все-равно впечатляющий. Но без ложки вранья маркетологи уже просто не могут.
Иначе сова на глобус видимо не натягивалась — не получалось показать что «закон Хуанга», якобы круче «Закона мура». Ведь если сравнивать в сопоставимых условиях (например 1 GPU против 1 GPU сравнимого класса, или системы со сравнимой потребляемой мощностью и т.д.) то рост производительности получится не в 500 раз, а «всего» раз в 40-50 за эти 8 лет (с 2010 по 2018).

А это примерно столько, сколько «обещает» обычный закон Мура за аналогичный срок:
2^(8*12/18)= 40.3
А если еще вспомнить, что меряют не прирост на чипе CPU в сравнении с приростом на чипе GPU, а еще и связку GPU с новыми типами RAM и размерами шины…
UFO just landed and posted this here
UFO just landed and posted this here
и в конце у нас будут десятки миллиардов транзисторов на чип

Дык они и сейчас уже есть. AMD Ryzen Threadripper 3990X — 39.5 млрд транзисторов :-)

UFO just landed and posted this here
3990x состоит из 9 чиплетов.
А так-то есть и покруче:
Ampere A100 — 54 миллиардов транзисторов на 1 кристалле.
2-е поколение Cerebras Wafer Scale Engine — 2.6 триллиона транзисторов.
UFO just landed and posted this here
Мур, Хуанг… Давайте придумаем закон меня — развитие любой технологии происходит по S-образной кривой, где нижний и центральный сегменты близки к экспоненте, а до верхнего сегмента (например в процессорах) мы еще не дошли. Или с законом Мура дошли?
Ой, про S-образные кривые придумали до меня? I am sorry!
Это из первых же ссылок.
cyberleninka.ru/article/n/s-obraznye-modeli-razvitiya-i-tehnologicheskie-razryvy
UFO just landed and posted this here
Хм. Хорошее замечание. А кстати — наверное можно сделать оценку сверху максимальной производительности вычислительной системы? Что-нибудь из термодинамических соображений и скорости света? Хотя это наверное будут оценки для классического вычислителя, а тут квантовые на пороге. Но думается останется бутылочное горлышко передачи информации о квантовых состояниях в классический мир.
UFO just landed and posted this here
Спасибо огромное! Может её стоит разобрать и по мотивам написать популярную. статью сюда… если конечно этого еще не сделали.
а до верхнего сегмента (например в процессорах) мы еще не дошли. Или с законом Мура дошли?
Так кривая не одна. С частотами уже дошли, причём давно. С нанометрами тоже где-о близко, нормы уже такие тонкие, что некоторые структуры на чипе состоят из нескольких десятков атомов, ещё 1-2 шага, и делать тоньше будет уже физически некуда. А новое поколение технологии литографии даже такие гиганты, как Intel не в состоянии потянуть в 1 лицо, да и само оно уже больше про точность, а не про «тонкость».
UFO just landed and posted this here
Sign up to leave a comment.

Other news