Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.
Вы сами реализовывали перцептрон в программе? Я реализовывал. С нуля. Для взлома капч. Что там "разгармливать"? Я полностью представляю его работа и он мне дал то что я хотел. С капчами справлялся.
А подсмотренные в мясном мозге а потом повторенный АЛГОРИТМ, а не биохимия, свёрточные сети? Которые в мясной нейросети занимались первичной обработкой и выявлению патернов в видеоизображении?
Реализованный алгоритм в железе работает наура. Точнее и быстрее своего мясного прорадителя.
Я понимаю вашу критику ну пару лет назад. Да можно было бы защищать мясной мозг как нечто недостижимое.
Но сейчас. С появлением LLM.
Единственное с чем пока я не определился это с эфектом "чувств". Боль, чувство цвета, звука. В мясной нейросети эти иллюзии воспроизведены в совершенстве. Миллионы лет эволюции заставляли мясную тушку воспринимать боль как то что нужно избегать любым способом.
Взять кузнечика например - там боль чисто аппаратное поведение. Но когда на эту платформу наросла нейросеть посложнее, неокортекс там, с эмуляцией сознания (кстати тоже эффект связанный с эмуляцией пространства и определения тушки в этом пространстве для предсказания будущего, по типу крокодил укусил - всё можешь предсказать что все крокодилы опасны). Вобщем скрещивание аппаратных функций с сложной нейронной сеткой привело к появлению эффекта, иллюзии чувств.
Короче опять в словоблудие ударился. Вобщем эмуляция чувств в железе - это пока хз как будет. Страшно представить себе АД для машины чувствующей боль.
Давайте разделять понятия - логическая работа. Т.е. булева алгебра. И биохимия - где в секунду могут происходить сотни химических реакций.
Так вот логически нейрон работает просто - на входы подаются импульсы, электрические импульсы, с чего вы взяли что их там нет ? Даже есть графики величины в милливольтах на предмет срабатывания (гуглите сами). И сам нейрон внутренней своей структурой настроен на порог срабатывания, как только количество импульсов в секунду превысят этот порог, идёт сработка нейрона и он уже выдаёт свои импульсы на выход. Повторяю - предача данных между нейронами происходит не аналоговым сигналом (т.е. не учитывается величена напряжения), а предаётся грубо говоря цифровым. Учитывается только частота импульсов. Это как бы общеизвестная информация. Поэтому и применил ШИМ термин. Хотя он не сильно конечно коректен. В этом согласен. Решил подсакротить в моменте себе писанину - но как всегда поплатился.
Я не собираюсь спорить с нейробиолагами на предмет конкретного строения нейрона как биоклетки, как он там эти импульсы сравнивает и другая биохимия. Потому как это же бред - кто в этом варится годами заткнёт меня как просто мимопроходил-почитал. И то потому как я этим не интересуюсь.
Но! В деле построения подчёркиваю ИСКУССТВЕННОГО интеллекта, важен именно алгоритм. Не нужно эмулировать всю биохимию клетки.
Ну разумеется найдутся те кто утверждает что в клетке нужно учитывать мифические квантовые эффекты или вообще божественное проведение и без души всё это работать не будет.
Но этот спор будет просто переливании воды. И этот спор может разрешить только реальность. А реальность такова что современные LLM - попросту догнали по интеллекту большинство людей. Остались маленькие косяки - посмотрим на их решение что будет уже в ближайшие даже не годы.Тут соревнования уже на месяцы идут.
Давайте не будем поражаться своим высокомерием - просто постоянно тут это отовсюду слышу.
Единственная моя ошибка что аксоны с дендритами путаю. Где вход где выход. Потому как это вообще не мой профиль. Мой профиль программист и электронщик. Привык иметь дело с входами и выходами.
Что касается по теме - я писал (вы не удосужились прочитать или понять) - входы (дендриты), постоянно устанавливают и разрушают новые соединения.
Я писал (вы не удосужились прочитать или понять) - нейроны(тонкая миллиметровая прослойка коры), их количество медленно уменьшается к концу жизни. Хотя я читал исследования что мол есть механизмы появления новых нейронов, но это не сравнить с процессом образования новых соединений - которые как раз и обуславливают построение графа - именно соединения определяют работу мозга.
Я писал (вы не удосужились прочитать или понять) - дендритов или соединений может быть тысячи. Даже на вики написано что десятки тысяч. Я читал исследование где говорили что у отдельных нейронов могут доходить до сотен тысяч.
Читал про исследования работа мозга определялась поведением не только самих нейронов но всяких вспомогательных вещей, сейчас не буду писать конкретику (попросту не помню) а то опять придерутся, но там находили всякие нелинейные зависимости прохождения сигнала и по дендритам и по аксонам. Какие то самостоятельные центры обработки сигнала.
Но всё это обсуждать - не хватит ни какого времени, да и желания. И я уверен что для построение ИИ достаточно эмулировать основные принципы работы нейрона. Без всяких (возможно уже редуцированных) активностей.
Ну я как бы про это и писал. Всем очевидна что работа гигантского графа эффективнее в параллелизме. И фоннеймовская архетектура современных процессоров это не про параллелизм.
Видеокарты - это лишь жалкое приближение к структуре мозга. Где миллиарды нейронов и триллионы физических постоянно перестраиваемых соединений.
Вся проблема это сделать нано элемент (по типу КМОП транзисторов в современной электронике) но только с внутренней памятью. Грубо говоря скрестить RAM и ALU в единице нономаштаба
Надежду в этом направлявшие проявляют технологии мемристоров. Может ещё куча всего есть. Не слежу за этим.
Тут немного подмена понятий. Логическая работа нейрона - крайне простая. У него есть куча аксонов (входов) и 1 дендрит( выход). По аксонам поступают электрические импульсы в виде ШИМ модуляции от других нейронов. Исходя из внутренней настройки нейрона (какие то аксоны тормозящие, какие то нет) - в определённый момент (когда по входящим аксоном придёт достаточное количество ШИМ сигнала) он срабатывает и начинает выдавать такой же ШИМ сигнал в свой выход. К которому дальше подключены сотни тысяч аксонов других нейронов.
Кстати все эти подключения в новорождённом мозге хаотичны. Куда аксон как корень дерево пророс туда и подключился. (я здесь не поднимаю тему специализации участков мозга под определённые задачи. Там играет уже биохимия генетического кода). А во в процессе жизни - в результате самообучения уже идёт настройка графа. Ненужные соединения отмирают, нужные прорастают.
Именно этот алгоритм и заставляет работать мозг. И именно такое подведение можно легко повторить в железе.
Если же эмулировать всю биохимию нейрона (а он самая настоящая клетка), т.е. мы доллжны эмулировать клеточную биохимию - никаких цифровых мощностей не хватит.
Но клеточная биохимия рассчитана только на жизне-поддержание конкретного нейрона, в целом на алгоритм работы мозга она не влияет. Ну может при шизофрении - или при принятии наркотиков, когда нейрон начинает срабатывать не по алгоритму аксоном, а рандомно.
Взять например двигатель внутреннего сгорания. Принцип его работы предельно простой. Но если эмулировать всю химию вплоть до атома в камере сгорания - то тоже не хватит никаких вычислительных мощностей. Хотя для виртуализации работы двигателя будет достаточно принять за факт только один принцип - газовая смесь расширяется при поджоге и следовательно нагревания.
Современны LLM работают на процессорах. Центр процессора это ALU. В которое подаётся данные из памяти, производится вычисления, результат складируется обратно в память. Вот на этом ядре и строятся абстракции работы LLM. Нетрудно заметить для чего такая архитектура хороша (числобробилки), а для чего не очень (параллельные операции) Но за счёт бешеной скорости Гигагерцы - мы можем имитировать сносное параллельное выполнение.
Берём же мозг. Основу работы мозга составляет белое вещество. Количество нейронов это тонкая морщинистая прослойка толщиной в 1мм. Количество нейронов особо не меняется (постоянно уменьшается), а вот аксоны от этих нейронов - они как корни деревьев. Всё белое вещество это тупо провода. Аксоны которые каждый день растут и отмирают. Один нейрон может иметь сотни тысяч таких аксонов и соединений. Во на этом основана архитектура мозга. Мега-гиганский постоянно перестраиваемый граф. И повторить (миллиарды постоянно меняющихся физических соединений проводом) мы это в железе не можем. Не та архитектура. Только эмулировать программно.
Как видите - архитектура весьма разная. Но что касается основного вопроса - моё мнение, архитектура не главное. Главное результат работа. Результат работы сильного ИИ - грамотные умозаключения, можно получить на любо архитектуре. Я бы вообще поставил на фотонику.
Что то причина со следствием поменялась. Нам как бы не просто получить эффект максимального излучения - понятно что чем горячее тем лучше излучает. Нам охлаждать рабочую зону реактора. И впоследствии рабочего тела охладителя. В случае с водой - это максимум перегретый пар в пару сотен градусов. В случае с всякими расславленными солями - там те же пару сотен градусов.
Ну до бела конечно перебор думаю. Нормально себя разве что вольфрам наверно буде чувствовать, остальное поплывёт как пластилин. Но вот такие картинки часто фигурируют в нете
Если они вам не нужны, то это не значит что они никому не нужны. Visual Studio не для вас одного сделан.
Напишите в тексте где я писал что эти свистоперделки никому не нужны? Что за предявы? Писал лично свою историю (имхо у меня есть некоторые друзья программисты C# которые таким дерьмом вижло поливают, что даже я начинаю её защищать. Всё переманивают меня на какие то другие IDE)
Могу сказать одно точно - минимально рабочий функционал - аля блокнот, должен работать идеально независимо от количества всё новых и новых свистоперделок.
P.S. По поводу ИИ - сейчас его пихают просто повсюду. IntelliSense - достаточно интеллектуальная штука - и технологии ИИ там точно применяются. ИИ это не только нынче модный LLM, но и множество других алгоритмов, всякие перцептронные сети или ещё что. Всё это тормозит.
Я не помню (и не запоминал) но когда сидел тогда на Visual Studio Community обновление прилетало каждый день или через день. Я просто тупо их ставил. И с каждым обновлением писалось что добавили, что обновили. Помню что 100% всяких добавлений мне не нужны были и не пользовался ими. А вызывали лишь раздражение когда меняли интерфейс - то иконки сделают диЗагнерскими, красивые но блин все одинаковые настолько что хрен отличишь, то интерфейс сделают аля неон - что бы глаза вытекли. Короче работал у них походу бетатестером.
Терпение лопнуло когда после очередного обновления IntelliSense сошёл сума и когда я вводил слово в коде он задумывался на секунду - что он там под капотом делал, ИИ вызывал или с майкрософтом связывался - мне уже было не интересно. Снёс.
Много лет сидел в VisualStudio. Постоянно обновлялся на последние версии. Использовал вроде редакцию Visual Studio Community. И когда начали внедрять все новые свистоперделки с ИИ (год или более назад и которые ненужны были и вызывали лишь раздражение). В общем просто невозможно стало пользоваться от тормозов. Не вытерпел - скачал с нета какую то старую сборку, сижу на ней. Она даже обновляется. И тоже становится всё тормознутее и тормознутее.
Недавний пример. Есть такая программа для разработки электроники Altium Designer. Когда то остановился на версии 17. Недавно вновь пришлось столкнутся - версия 24. Что сказать... Редактор в котором тыркаешь на линию - а она выделяется через 0.5 - 1 секунду. И так на все действия. Менюшки и прочее. Всё тормозит! Я могу это рассматривать только как намеренная диверсия. Разница мне как разработчику использующий core функционал и только никакой межде 17 и 24 версией. Машина у меня вполне i7-8700K 16Gb ram. Только видюха встроенная. Но блин отобразить одну линию что нужно RTX5090 ставить? Даже загуглил, думал может я особенный - нет. Есть темы где обсуждают точно такую же проблему.
Я в canvas в браузере на своей машине холст с графиками на весь экран без тормозов перерисовывавшею с частотой 60fps и ничего не тормозит.
Проблема не в отводе тепла от реактора, отводить можно чем угодно, хоть водой, хоть расплавленным свинцом, в общем чем угодно. Проблема как потом охлаждать эту воду? Единственный способ охлаждения в космосе это излучение. Всё. Выброс горячего тела в космос не рассматриваю по известным причинам. И получается, что бы хоть как то охлаждать надо строить огромные излучающие конструкции. Детали не столь важны, будет это капельки воды в виде душа (привет земным градирням), либо огромные радиаторы. Ключевое здесь - ОГРОМНЫЕ. Потому как излучением тепло не сильно то и отводится.
Я бы упомянул про ёмкость затворов MOSFET. Подумал про него после того как коммент написал и решил уже не дописывать. Каждый транзистор это как микроконденсатор - который нужно постоянно разряжать/заряжать. Особенно эта ёмкость выражена в мощных полевках в импульсных трансформаторах - там зачастую драйвер управляющий должен через промежуточные транзисторы управлять таким жирным полевиком.
Нет. Как правило цифровая схема состоит из комплементарных пар полевых транзисторов. Когда один открыт а другой закрыт - ток не идёт. Но когда идёт изменение сигнала и часто схемы с этими транзисторами переключается в противоположное состояние - т.е. тот что был открыт закрывается, а тот что был закрыт - открывается,то существует маленький момент времени когда один наполовину открыт, другой наполовину закрыт - и ток через них течет от плюса к минусу напрямую. Так называемые переходные процессы.
И получаем - чем выше частота переключения тем больше за единицу времени таких пограничных состояний когда ток течет через два транзистора и греет их. В общем ток потребления зависит от частоты переключений, количество транзисторных пар, и сопротивление полуоткрытого канала полевого транзистора.
Канал как раз имеет большее сопротивление чем меньше транзистор.
Если вам интересно было - то мой коммент который я написал и в котором рассуждал о природе геометрии в 3D пространстве и в пространстве времени (мировая линия в ОТО) и в чём их принципиальная разница и почему их нельзя сравнивать. Но потом - удалил. Зачем мне это всё?
А тем временем мне уже начали карму сливать. 100 раз зарекался сюда что-то писать.
Всего лишь защитная реакция. Вы сами первый меня отправили читать очень "простые" вещи, с намёком до чуть сложнее не дорос...
Если я вас неправильно понял - извиняюсь. А вообще - все эти разговоры попросту пусты. Сам на себя злюсь - зачем вообще что то написал? Вон сверху меня ЧСВ-шником обозвали... Обзывают что нейроситями пользуюсь... Мол они галюцинируют. Но сами не понимают где и когда они галюцинируют. А я поясню - галюцинируют там где они "рассуждают" на неизвестные темы. Они просто натягивают наиболее похожий паттерн. Так вот неужели вопросы ОТО это неизвестная для нейросетей часть знаний? Да они походу в этой области поумнее почти каждого. Разумеется в пределе существующего датасета. Ладно я не защищаю сети да и не про них речь.
Как вы вообще к этому тезису пришли? Нейросети допинали до момента включения "нейрофантазии"?
Да я написал 2 коммента. А потом решил скормить их нейросети - и посмотреть что она скажет. И тут же поплатился за это...
И да, задайте этот вопрос сами этим ненависным сетям. Если вам религия не позволяет отвечу сам (хоть в кометах уже не раз писал). По тем же самым формулам из ОТО - "притягивание" обусловленное искривлением пространства ничтожно мало по сравнению с "притягиванием" обусловленное искривлением времени. Грубо говоря у таких малых по массе объектов как земля - весь эффект гравитации обусловлен лишь искривлением времени. Это всё исходя из теории.
Ну и самый главный вопрос который я поднимал и за что мне фанатики накидали минусов. Почему из физического эффекта замедлении времени вдруг получается физический эффект притягивания? Почему именно он? А не какой другой? В ОТО прост сказано это всё одно и тоже. Просто по разному проявляется. Понимай как хочешь.
Я уже не говорю про то как ОТО дружит с квантовым миром. Но туда даже лезть не хочу.
Как работают LLM известно. По крайней мере исходники открыты - все кто хочет могут поизучать.
LLM ищут наиболее подходящий патерн ответа. Если LLM спросить то чему она обучалась то она это выдаст в качестве ответа.
Но если её спросить неизвестную информацию, чего нет в её графе и весах нейронов, то она попросту выдаст наиболее похожую информацию. Вот и весь фокус.
Попросту LLM сделана так что бы всегда отвечать. Т.е. сигнал всегда проходит с входа на выход.
И LLM не знает правильно она отвечает или нет. Просто так прошёл сигнал. И конец цепочки выдаётся в качестве ответа.
Но при этом - современные LLM просто мега мозги информации. Они правильно ответят практически на все известные вопросы человечества. Потому как туда загрузили почти весь интернет и не только. И распарсили это в граф для быстрого поиска.
В этом LLM уже попросту на порядки препрыгнул человеческий мозг.
Я не говорил что нейросети нужны чувства. Я обсуждал сам феномен чувств. Это ведь получается иллюзия. Иллюзия возникшая в сложной информационной нейросети. Это как центробежная сила - тоже иллюзия, возникающая из за инерции. Это как архимедова сила - иллюзия возникающая в следствии гравитации - вода как бы подтекает под предметы и давит на них снизу.
Но при этом - мы как участники этого спектакля, воспринимаем эту иллюзию очень реально. Боль - это страдания. Значит ли что боль это иллюзия только для фокуса сознания? Мы же не чувствуем боли если находимся без сознания. Есть люди с генетическим заболеванием - они не чувствуют боли.
Цвет. Вижу я зелёный, так же как другие его видят? Или они другой цвет видят? И вообще цвет это лишь серия импульсов в нейронной сети.
Феномен я. Человек заявляет что он есть и он не робот. Но парадокс в том что в реальной жизни люди ведут себя как роботы. Они идут на работу. Делают дела. И лишь когда они затевают свой внутренний диалог - и спрашивают себя а есть ли они, только тогда может и происходит иллюзия самосознания.
Это хорошо видно на примере просмотра фильмов. Когда фильм интересны и человек в него погружается, происходит как бы отключения сознания. Картинка напрямую идёт в память минуя модуль оценки. Человеческое я проецируется на главного героя. Человек как бы становится ГГ. И всё что происходит в фильме с ГГ как бы мозгом воспринимается что это происходит и с самим человеком. В этой схеме идёт полное отключение собственного я. Иногда тебя отвлекают - и ты выпадаешь из этого состояния и осознаёшь что просто пялишся в ящик.
Примерно так гипноз работает. Слова гипнотезёра идут напрямую в модуль модулирования пространства. Мозг на самом деле видит не глазми. С глаз идут всё те же импульсы. А в мозге уже производится высоуоуровневая абстракция иллюзии образов.
Учёные доэксперементировались что понаходили конкретные нейроны отвечающие за конкретный образ. Физическое возбуждение неqрона вызывало образ.
Вообще тут и там читаешь про забавные эксперименты про глюки сознания. Из которых можно понять как оно работает. Например эксперимент с зеркалом и резиновой рукой. Подопытному с помощью зеркала заставляли поверить что резиновая рука его. Трогали её. при этом трогали и рельную руку под столом. А потом шмяк молотком по резиновой руке. И подопытный испытывал боль - которой не существовало. Не значит ли это что боль это иллюзия генерируемая в сложной нейронной сети?
Написал очень сумбурно - трудно уложить в одинокий коммент весь накопленный жизненный вариант представления работы нейросетей.
Короче я написал эту простыню - что всё это будет и в железной нейросети. Нет ни каких причин почему там не могут быть подобные иллюзии. А кто знает может в ней появятся иллюзии более высокого недоступного нам порядка.
Скажем так. Нейросети по типу LLM, да и наши мясные нейросети используют граф для апроксимации (максимального сжатия) огромного объёма информации. Как раз мозг, а именно белое вещество очень оптимально реализуют и поддерживают этот граф в активном состоянии. Триллионы физически соеденённых проводов. Триллионы точек соединения в графе.
В видеокартах такого нет. Там это эмулируется программно. Отсюда и эффективность мозга. Работает на частоте alfa beta ритмов - десятки герц, но с чудовищным параллелизмом. И ему хватает каких то 20 ватт что бы работать.
То что видеокарты могут рендерить картинку - это другое. Это разные вещи. Мы же обсуждаем именно работу нейросети.
А то что человек проигрывает с треском число-дробилкам - пор это никто и не спорит.
Мы живём в удивительное время. Когда казалось бы не преодолимая гора - рациональные рассуждения, которые относились только к мясным нейросетям, как то буднично и резко вдруг стали воспроизводиться вполне себе на обычном железе, по типу матриц вычислительных ядер в обычной видеокарте.
Многие не могут в это поверить до сих пор.
Главное нащупан план. Алгоритм. Скоро появятся специализированные микросхемы - и не нужны будут гигаваты энергии и мега датацентры с видеокартами.
Вы сами реализовывали перцептрон в программе? Я реализовывал. С нуля. Для взлома капч. Что там "разгармливать"? Я полностью представляю его работа и он мне дал то что я хотел. С капчами справлялся.
А подсмотренные в мясном мозге а потом повторенный АЛГОРИТМ, а не биохимия, свёрточные сети? Которые в мясной нейросети занимались первичной обработкой и выявлению патернов в видеоизображении?
Реализованный алгоритм в железе работает наура. Точнее и быстрее своего мясного прорадителя.
Я понимаю вашу критику ну пару лет назад. Да можно было бы защищать мясной мозг как нечто недостижимое.
Но сейчас. С появлением LLM.
Единственное с чем пока я не определился это с эфектом "чувств". Боль, чувство цвета, звука. В мясной нейросети эти иллюзии воспроизведены в совершенстве. Миллионы лет эволюции заставляли мясную тушку воспринимать боль как то что нужно избегать любым способом.
Взять кузнечика например - там боль чисто аппаратное поведение. Но когда на эту платформу наросла нейросеть посложнее, неокортекс там, с эмуляцией сознания (кстати тоже эффект связанный с эмуляцией пространства и определения тушки в этом пространстве для предсказания будущего, по типу крокодил укусил - всё можешь предсказать что все крокодилы опасны). Вобщем скрещивание аппаратных функций с сложной нейронной сеткой привело к появлению эффекта, иллюзии чувств.
Короче опять в словоблудие ударился. Вобщем эмуляция чувств в железе - это пока хз как будет. Страшно представить себе АД для машины чувствующей боль.
А потом пишете что да. Как это понимать?
Давайте разделять понятия - логическая работа. Т.е. булева алгебра. И биохимия - где в секунду могут происходить сотни химических реакций.
Так вот логически нейрон работает просто - на входы подаются импульсы, электрические импульсы, с чего вы взяли что их там нет ? Даже есть графики величины в милливольтах на предмет срабатывания (гуглите сами). И сам нейрон внутренней своей структурой настроен на порог срабатывания, как только количество импульсов в секунду превысят этот порог, идёт сработка нейрона и он уже выдаёт свои импульсы на выход. Повторяю - предача данных между нейронами происходит не аналоговым сигналом (т.е. не учитывается величена напряжения), а предаётся грубо говоря цифровым. Учитывается только частота импульсов. Это как бы общеизвестная информация. Поэтому и применил ШИМ термин. Хотя он не сильно конечно коректен. В этом согласен. Решил подсакротить в моменте себе писанину - но как всегда поплатился.
Я не собираюсь спорить с нейробиолагами на предмет конкретного строения нейрона как биоклетки, как он там эти импульсы сравнивает и другая биохимия. Потому как это же бред - кто в этом варится годами заткнёт меня как просто мимопроходил-почитал. И то потому как я этим не интересуюсь.
Но! В деле построения подчёркиваю ИСКУССТВЕННОГО интеллекта, важен именно алгоритм. Не нужно эмулировать всю биохимию клетки.
Ну разумеется найдутся те кто утверждает что в клетке нужно учитывать мифические квантовые эффекты или вообще божественное проведение и без души всё это работать не будет.
Но этот спор будет просто переливании воды. И этот спор может разрешить только реальность. А реальность такова что современные LLM - попросту догнали по интеллекту большинство людей. Остались маленькие косяки - посмотрим на их решение что будет уже в ближайшие даже не годы.Тут соревнования уже на месяцы идут.
Давайте не будем поражаться своим высокомерием - просто постоянно тут это отовсюду слышу.
Единственная моя ошибка что аксоны с дендритами путаю. Где вход где выход. Потому как это вообще не мой профиль. Мой профиль программист и электронщик. Привык иметь дело с входами и выходами.
Что касается по теме - я писал (вы не удосужились прочитать или понять) - входы (дендриты), постоянно устанавливают и разрушают новые соединения.
Я писал (вы не удосужились прочитать или понять) - нейроны(тонкая миллиметровая прослойка коры), их количество медленно уменьшается к концу жизни. Хотя я читал исследования что мол есть механизмы появления новых нейронов, но это не сравнить с процессом образования новых соединений - которые как раз и обуславливают построение графа - именно соединения определяют работу мозга.
Я писал (вы не удосужились прочитать или понять) - дендритов или соединений может быть тысячи. Даже на вики написано что десятки тысяч. Я читал исследование где говорили что у отдельных нейронов могут доходить до сотен тысяч.
Читал про исследования работа мозга определялась поведением не только самих нейронов но всяких вспомогательных вещей, сейчас не буду писать конкретику (попросту не помню) а то опять придерутся, но там находили всякие нелинейные зависимости прохождения сигнала и по дендритам и по аксонам. Какие то самостоятельные центры обработки сигнала.
Но всё это обсуждать - не хватит ни какого времени, да и желания. И я уверен что для построение ИИ достаточно эмулировать основные принципы работы нейрона. Без всяких (возможно уже редуцированных) активностей.
Ну я как бы про это и писал. Всем очевидна что работа гигантского графа эффективнее в параллелизме. И фоннеймовская архетектура современных процессоров это не про параллелизм.
Видеокарты - это лишь жалкое приближение к структуре мозга. Где миллиарды нейронов и триллионы физических постоянно перестраиваемых соединений.
Вся проблема это сделать нано элемент (по типу КМОП транзисторов в современной электронике) но только с внутренней памятью. Грубо говоря скрестить RAM и ALU в единице нономаштаба
Надежду в этом направлявшие проявляют технологии мемристоров. Может ещё куча всего есть. Не слежу за этим.
Тут немного подмена понятий. Логическая работа нейрона - крайне простая. У него есть куча аксонов (входов) и 1 дендрит( выход). По аксонам поступают электрические импульсы в виде ШИМ модуляции от других нейронов. Исходя из внутренней настройки нейрона (какие то аксоны тормозящие, какие то нет) - в определённый момент (когда по входящим аксоном придёт достаточное количество ШИМ сигнала) он срабатывает и начинает выдавать такой же ШИМ сигнал в свой выход. К которому дальше подключены сотни тысяч аксонов других нейронов.
Кстати все эти подключения в новорождённом мозге хаотичны. Куда аксон как корень дерево пророс туда и подключился. (я здесь не поднимаю тему специализации участков мозга под определённые задачи. Там играет уже биохимия генетического кода). А во в процессе жизни - в результате самообучения уже идёт настройка графа. Ненужные соединения отмирают, нужные прорастают.
Именно этот алгоритм и заставляет работать мозг. И именно такое подведение можно легко повторить в железе.
Если же эмулировать всю биохимию нейрона (а он самая настоящая клетка), т.е. мы доллжны эмулировать клеточную биохимию - никаких цифровых мощностей не хватит.
Но клеточная биохимия рассчитана только на жизне-поддержание конкретного нейрона, в целом на алгоритм работы мозга она не влияет. Ну может при шизофрении - или при принятии наркотиков, когда нейрон начинает срабатывать не по алгоритму аксоном, а рандомно.
Взять например двигатель внутреннего сгорания. Принцип его работы предельно простой. Но если эмулировать всю химию вплоть до атома в камере сгорания - то тоже не хватит никаких вычислительных мощностей. Хотя для виртуализации работы двигателя будет достаточно принять за факт только один принцип - газовая смесь расширяется при поджоге и следовательно нагревания.
Современны LLM работают на процессорах. Центр процессора это ALU. В которое подаётся данные из памяти, производится вычисления, результат складируется обратно в память. Вот на этом ядре и строятся абстракции работы LLM. Нетрудно заметить для чего такая архитектура хороша (числобробилки), а для чего не очень (параллельные операции) Но за счёт бешеной скорости Гигагерцы - мы можем имитировать сносное параллельное выполнение.
Берём же мозг. Основу работы мозга составляет белое вещество. Количество нейронов это тонкая морщинистая прослойка толщиной в 1мм. Количество нейронов особо не меняется (постоянно уменьшается), а вот аксоны от этих нейронов - они как корни деревьев. Всё белое вещество это тупо провода. Аксоны которые каждый день растут и отмирают. Один нейрон может иметь сотни тысяч таких аксонов и соединений. Во на этом основана архитектура мозга. Мега-гиганский постоянно перестраиваемый граф. И повторить (миллиарды постоянно меняющихся физических соединений проводом) мы это в железе не можем. Не та архитектура. Только эмулировать программно.
Как видите - архитектура весьма разная. Но что касается основного вопроса - моё мнение, архитектура не главное. Главное результат работа. Результат работы сильного ИИ - грамотные умозаключения, можно получить на любо архитектуре. Я бы вообще поставил на фотонику.
Что то причина со следствием поменялась. Нам как бы не просто получить эффект максимального излучения - понятно что чем горячее тем лучше излучает. Нам охлаждать рабочую зону реактора. И впоследствии рабочего тела охладителя. В случае с водой - это максимум перегретый пар в пару сотен градусов. В случае с всякими расславленными солями - там те же пару сотен градусов.
Ну до бела конечно перебор думаю. Нормально себя разве что вольфрам наверно буде чувствовать, остальное поплывёт как пластилин. Но вот такие картинки часто фигурируют в нете
Напишите в тексте где я писал что эти свистоперделки никому не нужны? Что за предявы? Писал лично свою историю (имхо у меня есть некоторые друзья программисты C# которые таким дерьмом вижло поливают, что даже я начинаю её защищать. Всё переманивают меня на какие то другие IDE)
Могу сказать одно точно - минимально рабочий функционал - аля блокнот, должен работать идеально независимо от количества всё новых и новых свистоперделок.
P.S. По поводу ИИ - сейчас его пихают просто повсюду. IntelliSense - достаточно интеллектуальная штука - и технологии ИИ там точно применяются. ИИ это не только нынче модный LLM, но и множество других алгоритмов, всякие перцептронные сети или ещё что. Всё это тормозит.
Я не помню (и не запоминал) но когда сидел тогда на Visual Studio Community обновление прилетало каждый день или через день. Я просто тупо их ставил. И с каждым обновлением писалось что добавили, что обновили. Помню что 100% всяких добавлений мне не нужны были и не пользовался ими. А вызывали лишь раздражение когда меняли интерфейс - то иконки сделают диЗагнерскими, красивые но блин все одинаковые настолько что хрен отличишь, то интерфейс сделают аля неон - что бы глаза вытекли. Короче работал у них походу бетатестером.
Терпение лопнуло когда после очередного обновления IntelliSense сошёл сума и когда я вводил слово в коде он задумывался на секунду - что он там под капотом делал, ИИ вызывал или с майкрософтом связывался - мне уже было не интересно. Снёс.
Много лет сидел в VisualStudio. Постоянно обновлялся на последние версии. Использовал вроде редакцию Visual Studio Community. И когда начали внедрять все новые свистоперделки с ИИ (год или более назад и которые ненужны были и вызывали лишь раздражение). В общем просто невозможно стало пользоваться от тормозов. Не вытерпел - скачал с нета какую то старую сборку, сижу на ней. Она даже обновляется. И тоже становится всё тормознутее и тормознутее.
Недавний пример. Есть такая программа для разработки электроники Altium Designer. Когда то остановился на версии 17. Недавно вновь пришлось столкнутся - версия 24. Что сказать... Редактор в котором тыркаешь на линию - а она выделяется через 0.5 - 1 секунду. И так на все действия. Менюшки и прочее. Всё тормозит! Я могу это рассматривать только как намеренная диверсия. Разница мне как разработчику использующий core функционал и только никакой межде 17 и 24 версией. Машина у меня вполне i7-8700K 16Gb ram. Только видюха встроенная. Но блин отобразить одну линию что нужно RTX5090 ставить? Даже загуглил, думал может я особенный - нет. Есть темы где обсуждают точно такую же проблему.
Я в canvas в браузере на своей машине холст с графиками на весь экран без тормозов перерисовывавшею с частотой 60fps и ничего не тормозит.
Проблема не в отводе тепла от реактора, отводить можно чем угодно, хоть водой, хоть расплавленным свинцом, в общем чем угодно. Проблема как потом охлаждать эту воду? Единственный способ охлаждения в космосе это излучение. Всё. Выброс горячего тела в космос не рассматриваю по известным причинам. И получается, что бы хоть как то охлаждать надо строить огромные излучающие конструкции. Детали не столь важны, будет это капельки воды в виде душа (привет земным градирням), либо огромные радиаторы. Ключевое здесь - ОГРОМНЫЕ. Потому как излучением тепло не сильно то и отводится.
Я бы упомянул про ёмкость затворов MOSFET. Подумал про него после того как коммент написал и решил уже не дописывать. Каждый транзистор это как микроконденсатор - который нужно постоянно разряжать/заряжать. Особенно эта ёмкость выражена в мощных полевках в импульсных трансформаторах - там зачастую драйвер управляющий должен через промежуточные транзисторы управлять таким жирным полевиком.
Нет. Как правило цифровая схема состоит из комплементарных пар полевых транзисторов. Когда один открыт а другой закрыт - ток не идёт. Но когда идёт изменение сигнала и часто схемы с этими транзисторами переключается в противоположное состояние - т.е. тот что был открыт закрывается, а тот что был закрыт - открывается,то существует маленький момент времени когда один наполовину открыт, другой наполовину закрыт - и ток через них течет от плюса к минусу напрямую. Так называемые переходные процессы.
И получаем - чем выше частота переключения тем больше за единицу времени таких пограничных состояний когда ток течет через два транзистора и греет их. В общем ток потребления зависит от частоты переключений, количество транзисторных пар, и сопротивление полуоткрытого канала полевого транзистора.
Канал как раз имеет большее сопротивление чем меньше транзистор.
Если вам интересно было - то мой коммент который я написал и в котором рассуждал о природе геометрии в 3D пространстве и в пространстве времени (мировая линия в ОТО) и в чём их принципиальная разница и почему их нельзя сравнивать. Но потом - удалил. Зачем мне это всё?
А тем временем мне уже начали карму сливать. 100 раз зарекался сюда что-то писать.
P.S. Напоследок накину на вентилятор
ОТО гворит
Материя → искривление пространства-времени → гравитация
Где гравитация как бы и существует (реальные опыты) и как бы её нет (словоблудие про мировые линии)
А что если Материя → гравитация → искривление пространства-времени
Где гравитация первичное поле как например в квантовых теориях гравитации. И она как раз порождает эффект замедления времени и прочее.
.
Всего лишь защитная реакция. Вы сами первый меня отправили читать очень "простые" вещи, с намёком до чуть сложнее не дорос...
Если я вас неправильно понял - извиняюсь. А вообще - все эти разговоры попросту пусты. Сам на себя злюсь - зачем вообще что то написал? Вон сверху меня ЧСВ-шником обозвали... Обзывают что нейроситями пользуюсь... Мол они галюцинируют. Но сами не понимают где и когда они галюцинируют. А я поясню - галюцинируют там где они "рассуждают" на неизвестные темы. Они просто натягивают наиболее похожий паттерн. Так вот неужели вопросы ОТО это неизвестная для нейросетей часть знаний? Да они походу в этой области поумнее почти каждого. Разумеется в пределе существующего датасета. Ладно я не защищаю сети да и не про них речь.
Да я написал 2 коммента. А потом решил скормить их нейросети - и посмотреть что она скажет. И тут же поплатился за это...
И да, задайте этот вопрос сами этим ненависным сетям. Если вам религия не позволяет отвечу сам (хоть в кометах уже не раз писал). По тем же самым формулам из ОТО - "притягивание" обусловленное искривлением пространства ничтожно мало по сравнению с "притягиванием" обусловленное искривлением времени. Грубо говоря у таких малых по массе объектов как земля - весь эффект гравитации обусловлен лишь искривлением времени. Это всё исходя из теории.
Ну и самый главный вопрос который я поднимал и за что мне фанатики накидали минусов. Почему из физического эффекта замедлении времени вдруг получается физический эффект притягивания? Почему именно он? А не какой другой? В ОТО прост сказано это всё одно и тоже. Просто по разному проявляется. Понимай как хочешь.
Я уже не говорю про то как ОТО дружит с квантовым миром. Но туда даже лезть не хочу.