Много лет назад поставил себе hardkernel Odroid HC2.
Очень маленькая железка с большим радиатором для большого диска.
Обошлась мне когда-то дешевле сотки у.е. с доставкой и корпусом, точно и не помню.
При установке засунул туда древний 3-терабайтник, который не жалко.
Он и сейчас там стоит и работает и бэдблоков нету - хотя ему 15 лет минимум.
Переезжая в другую страну, я засунул этот маленький (но 8-ядерный!) ARM-девайс в чемодан, а в новом доме поставил раньше, чем рабочий комп.
Из софта - mosquitto, Influxdb+telegraf, grafana, поверх всего openvediavault на Armbian. OMV не скажу что сильно полезен, NFS/Samba можно и без него раздавать, transmission или rtorrent тоже можно самому поднять, но уже стоит - так не сносить же.
Ну и тонна разных самописных скриптов/велосипедов, про которые я уже сам и не помню что к чему. Плюс для экспериментов разных использую, в общем кодопомойка, файлопомойка, и просто помойка. Флибусту зеркало держу, музон там же. Гит свой поднимал, потом убрал - один хрен код шарить надо на том, на чем шарят все и это точно не селф-хостед. MySQL стоит вроде, но заброшен за ненужностью.
Свои видеозаписи на нем не размещаю - для этого Nvidia Jetson тоже древний есть, еще за 120 баксов купленный (кто в курсе их политики ценоообразования - поймет). Он и разметить видео может, мощи хватает и на нем уже SSD висит.
А вот как домашний сервер с базой данных - самое то.
Докеры не использую - система обслуживает дом, пробросы наружу через оверлеи и защита уже на внешних серверах, так что и смысла особого не вижу.
А, еще это мелкая фигня у меня дома как-то кластер обслуживала с NBD загрузкой, но не долго, гигабитного эзернета все же маловато и диск ротационный - не то.
Если увижу за разумную цену SoC с 10Ge и SATA/NVMe - куплю сразу.
Компактные, удобные, и стоит несравнимо с интелем.
Готовых решений из коробки для таких SoC конечно меньше чем на интелях, мощи тоже такой не будет.
Но и электричества почти не жрет и просто прикольно мигает в углу. ))
Проблема ИИ в том, что мы не знаем что такое интеллект и какой линейкой его измерять. Мы даже не знаем есть ли он на самом деле.
Тыщу лет назад считалось, что у человека есть такая штука, которая отличает его от всех остальных существ и называется "душа". И придворные алхимики брали гранты на создание гомунклусов с этой НЁХ. Иногда гомункулы получались очень реалистичными. Сегодня у нас есть замена - "интеллект", и размеры грантов значительно возросли - опыт тысячелетий сказывается.
Определения однако все так же нет, зато есть подозрения, что в объективной реальности эти два лингвистических фантома антропоцентризма абсолютно эквифалличны.
Потому что проверить их наличие мы не можем, есть только смутные ощущения.
PS Вообще системы на stable diffusion (да и трансформеры тоже) действуют просто - они генерируют много опорных точек, и от них заполняют пробелы пытаясь достичь максимального правдоподобия. Понятно, что кроме фантазий мы ничего не получим. А поскольку обучение идет на текстах, сгенерированных человеком - мы получим фантазии на тему человеческих верований. Что в общем и наблюдается
Я> сочини стихотворение о кибэротике. Пусть там будет не больше шести строк, а в них о любви и измене, о музыке, о неграх, о высшем обществе, о несчастье, о кровосмесительстве – в рифму и чтобы все слова были только на букву К!
chatGPT> Вот вам стихотворение о киберотике:
chatGPT> Киберотика - это мир красивый chatGPT> Где любовь и измена стоят бок о бок chatGPT> Музыка там звучит, как нигры на сцене chatGPT> И высшее общество царит в королевстве
chatGPT> Но также в киберотике несчастье находится chatGPT> И кровосмесительство нередко происходит chatGPT> В этом мире все переплетено как-то странно chatGPT> И каждый должен найти свое место здесь
Хм. Станислав Лем перевернулся бы в гробу.
Если оно так пишет код, как стихи, то я без работы долго не останусь.
Я> напиши сонет
Был один раз я влюблен в нежную деву Каждый день с ней встречался я вечером Но она меня отбросила, как ничтожное мусор И теперь я одинок, как птица в зимнем лесу
Сердце мое разбито, как посуда о скалу И никто не может его собрать в кучу Я все еще люблю ту, кто меня покинул Но она не вернется, уже никогда не вернется
Так вот что значит быть влюбленным в этом мире Где любовь часто бывает лживой и ненастоящей Но я не сдамся, я найду кого-то другую Кто будет любить меня так, как я ее любил
Ладно не 14 строк и ритм кривой и рифмы нету.
Но "Сердце мое разбито, как посуда о скалу" - это сильно.
Совершенно не спорю с тезисом о том, что фильтр Калмана - первое, с чего надо начинать, особенно для линейных систем.
Моя точка зрения скорее в том, что на нем нельзя заканчивать.)))
PS
Негауссовость бывает очень разная и шумы квантования тут не самый лучший пример, они как раз относительно "нормальны" - у них есть по крайней мере стандартное отклонение и нет тяжелых хвостов, думаю те же криптотрейдеры или квант-инженеры много могут рассказать о применении фильтра в торговле с heavy-tail распределениями.
У меня лично, главной и чаще всего встречающейся в реальных задачах проблемой становятся малопредсказуемые выбросы, черные лебеди и прочая подобная пакость.
Для малых размерностей выбросы часто втупую лечатся скользящим медианным фильтром перед Калманом на каждую размерность отдельно - такая вот эталонная синяя изолента и костылизм, плюс добавочное запаздывание, но часто работает.)))
Есть и более разумные решения робастных фильтров, без бубнов и костылей - pdf-ок море.
А вот для больших размерностей и сильно нелинейных систем все может стать сложнее.
Фильтр Калмана предполагает, что обе переменные (в нашем случае это позиция и скорость) случайны и имеют гауссово распределение.
И вот тут собственно и возникает основное ограничение его применимости IRL.
Потому что если робот едет по лесу - то шишки на голову ему будут падать с Пуассоновским распределением. А пинки от грибников вообще войдут в категорию outliers и сломают гауссиану даже если она действительно имеет форму колокола.
Увы, но при всех его достоинствах, фильтр Калмана неробастный, что в XXI веке смотрится уже несколько устарело.
Есть много расширений фильтра Калмана со страшными аббревиатурами, но гуглинг по словам robust Kalman filter дает некоторое количество pdf-ок на эту тему.
PS
Сам с фильтром Калмана имел дело редко, но грабли, когда аппроксимируешь события реальной жизни гауссианой и получаешь сферического окня в вакууме встречались часто.
Имхо самая примитивная систематическая ошибка акселерометра в сочетании с дергающимся GPS заведет робота дальше, чем Сусанин.
Как показал опыт IRL большое количество роботов с планеты Шелезяка специально заражали различные коммьюнити с различными целями, среди которых значимое место занимала мотивация "just for fun".
>вы в курсе, что такое reinforcement learning, как они в общих чертах устроены и чем обычно меряются?
В курсе конечно.
Но я еще в курсе что переставив миску с кормом у своего кота я инициирую тот самый процесс дообучения, который кот успешно решает.
У моего кота есть интеллект?
Исходная статья была про искусственный интеллект а не про RL методы.
А мой коммент был про то, что изучение и построение искусственного интеллекта — такая же задача, как и исследование торсионного поля, построение трансглюкатора или поиск рептилоидов.
Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.
И рандомная инициализация весов нейронки — немножечко не то, это нормально для мелких задач и мало что дает в реальных масштабах — сеть GPT-3 великолепна, но вот задачи анализа и генерации дискурса внезапно пока не решены, не пишут у нас компьютеры «Войну и Мир».
Хотя казалось бы — миллион слов и всего четыре сюжета.
А почему-то не работает.
>RL обычно как раз «создаёт новое знание».
Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.
Могу привести еще — конкурс John Koza на количество патентов, прошедших официальную регистрацию в патентном бюро и не имеющих аналогов среди человеческого творчества или превышающих по качеству.
В обоих случаях было создано новое знание в традиционно человеческой предметной области и превышающее по качеству человеческие решения.
При том, что люди таких решений не нашли, хотя искали.
Аналогичный пример из RL был бы очень интересен, если вы его знаете — приведите.
>Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой
Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.
На большом шуме и сложных задачах ансамбль может быть конечно большим, но опять же — кто мешает поставить задачу оптимизации метапараметров и размеров ансамбля самому RL?
Кто вообще мешает заставить RL стабилизировать себя?
Ну кроме вычислительной сложности конечно.
>Я правильно понимаю суть претензии?
Не совсем.
Главная претензия в том, что мы ищем фантом, неопределенный и неизмеряемый — даже вы заменили обсуждение AI на более определенный RL, потому что в AI обсуждать что-то сложно.
Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.
Третья близка к вашему пониманию, но я бы пожалуй переформулировал ее по другому.
Как хинт можно задать вопрос — мы умеем делать CNN до определенного количества слоев, дальше архитектура трещит, ошибки в обратном распространении накапливаются и вообще работает медленно.
А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?
>Какое определение дадим интеллекту, такое и будет.
Ну давайте дадим определение — например медианное количество нокаутов за один раунд. И тестсетом поставим КМС по боксу.)))
Мы должны дать консистентное определение и повторяемую методику измерения. Иначе лучше оставить маркетоидный шум как есть, он по крайней мере приносит нам деньги))
> Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.
Небольших целей — не вопрос. Для RL/ML вообще то, что доктор прописал.
Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.
>Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?
Как я и говорил, теории ИИ быть не может ни у меня ни у кого бы то ни было — потому что это тоже самое, что и теория торсионного поля.
Нет субъекта теории.
Теория искусственного интеллекта если и может существовать в будущем, то как развитие теории интеллекта вообще. И только после определения понятия «интеллект». Иначе это просто комбинации слов, не имеющих значения IRL — «высочайшие достижения нейтронной мегалоплазмы» (с) — чем эти слова отличаются от понятия «сильный ИИ»?..
Социокультурная мимикрия в эту область вообще не попадает никак, самооптимизирующиеся агенты, агенты способные к частичному или полному самоописанию — как частный случай.
>хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.
Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше. Много много лет тому назад я экспериментировал с Холландовскими LCS, не знаю насколько их можно назвать прото-RL, но да, считало долго и плохо))))
Репозиторий на самом деле интересен, я последние пять лет ушел в IoT с его edge/fog computing и перестал следить за новинками совсем. Но сейчас с локдауном появилось свободное время — в том числе и писать ненужные комменты на хабре))
Даже кластерок свободный есть под это дело.
PS
Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.
Очень интересно сравнить состояние отрасли тогда и сейчас. И свои ощущения от этого.
>У интеллекта всегда есть когнитивное смещение — то есть какие-то задачи он будет решать лучше, какие-то хуже. Лучше/хуже — в смысле, сколько ему надо кадров на обучение с нулевого опыта.
Применение NFL-теоремы в этом случае спорно, но не в том суть.
Главное однако в том, что количество кадров несущественно на фоне других проблем.
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
И даже придумать cognitive bias — но причем тут интеллект?
>Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны.
Если вопрос в количестве начальных кадров обучения, то это высказывание неверно.
Однако опять же, одной из характеристик интеллекта является изменение собственных алгоритмов (например «машина Геделя»). Что явно не сводится к изменению весов очередной RNN.
Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
Как контрпример можно привести программу EURISCO из 1980-х, которая нашла новое знание и по факту первой открыла зерг-раш, задолго до появления самого термина.
> Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.
Как результат мы имеем майкрософтовского твиттербота — поклонника Гитлера и газовых камер.
Вы уверены, что такому можно доверить экономику или даже уборку мусора?
Старкрафт впрочем доверить можно)))
>Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого.
Плохое здесь то, что мы не получаем нового знания. Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.
>Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля.
В мире, где хешрейты майнинга зашкаливают это не выглядит рациональным обоснованием))))
>Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго.
В общем-то это близко к тому, что я имел в виду.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.
>Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться
Если речь идет об типовом ML — ради бога.
Но AI имхо — это что-то большее, чем инжиниринг.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?
Данный подход не просто ограничен, он приведет к совершенно адскому количеству проблем в будущем, включая и те, которые описаны в статье.
Легаси человечества просто будет прошито в биос новой системы и будет реплицироваться до бесконечности.
И какой в этом смысл, кроме решения прикладных инженерных задач?
Но это метрики для человеческих игр, т.е. просто выборка из того, что мы имеем у себя.
В теории датасеты должны быть достаточно абстрактными (например многомерные последовательности по типу cylinder-bell-funnel — просто размерность должна быть огромной плюс заложенный дрейф концепта).
Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.
Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.
И получается, что вместе с алгоритмами победы в Старкрафте бот заодно научился человеческому неврозу — ситуация четко предсказанная Ст. Лемом в романе Ананке (там начальник QA отдела так построил тестплан, что перенес все свои психозы на тестируемого робота).
При таком подходе мы можем ожидать, что робот-таксист скоро начнет ругаться матом на велосипедистов. Другой вопрос — причем здесь интеллект?)))
Я думаю, что Roko's Basilisk обнулит карму автору статьи.
Что еще ожидать от того, кто подсказал Цуку идею Фейсбука))))
Однако если серьезно, то тезисы выглядят натягиванием совы на шар из парадокса Банаха-Тарского.
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
Посмотреть в него боюсь удастся только один раз.
Потом придется разбить либо зеркало, либо себя.
Правда к интеллекту такое поведение точно не имеет никакого отношения. Ни к естественному ни к искусственному.
Есть как отдельный модуль/hat, и стоит как-то неприлично, мы просто отказались от него потом. Ну и впаянного eMMC в малине точно никогда не было.
Имхо для прокси и VPN делать такой юбердевайс из SSD, PoE hat и малинки — и дороговато и в обслуживании тяжело и по компоновке громоздко — это же не БД на нем крутить, там сеть да проц требуются.
Тем более, что по крайней мере у 3-ки загрузка с SSD не сильно устойчива (и кстати обнуляет warranty bit), а SD карту оно пилить будет пока не пропилит — придется менять регулярно.
You could think of it as putting a low-pass filter on some of the good ideas from the ’60s and ’70s, as computing spread out much, much faster than educating unsophisticated people can happen. In the last 25 years or so, we actually got something like a pop culture, similar to what happened when television came on the scene and some of its inventors thought it would be a way of getting Shakespeare to the masses. But they forgot that you have to be more sophisticated and have more perspective to understand Shakespeare. What television was able to do was to capture people as they were.
So I think the lack of a real computer science today, and the lack of real software engineering today, is partly due to this pop culture.
Это как считать.
Если по посещающим культовые заведения и храмы — то верующих будет сильно меньше.
А если приплюсовать верующих в демократию, коммунизм, Айн Ренд, Новую Хронологию, РенТВ, инвестиционные стартапы, веганство или страшный ИИ — процент сильно уменьшится.
Собственно история Василиска Роко подтверждает, LessWrong изначально был крайне рациональным коммьюнити, но придумать такой адский пример снов разума, как Василиск сумели именно там, а не в Саудовской Аравии.
Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Иначе откуда столько шума о сверхинтеллекте среди людей считающих себя умными?
В наш атеистический век ИИ очень полезен — он позволяет философам (и некоторым веб-разработчикам) заниматься богоискательством и богостроительством на законной основе.
Иногда даже создается впечатление, что им таки сложно жить без идеи о чем-то всемогущем и карающим.
Хотя может они просто привыкли жить испуганными.
Жду когда ко мне придет Roko Basilisk и начнет пытать меня кривым кодом…
При всем уважении к Хомскому — этот текст отлично читается параллельно с «Туннель Эго» Томаса Метцингера.
Потому что если «понимание» (в понимании Хомского) является самообманом и иллюзией мозга по Метцингеру — то тогда факультет физики представляет собой лишь объединение коннектомов докторов наук этого факультета, выдающее кроме научных статей в качестве побочного эффекта осознание докторами наук своего «понимания» и соответствующую порцию эндорфинов (или грантов) авторам статей — как опосредованный эффект понимания.
Подход на основе статанализа и бихевиоризма внезапно широко используется в реальном мире, где можно получить реальную же отдачу — реклама и маркетинг не требуют понимания но дают ощутимый результат.
Впрочем тема обсуждения на самом деле гораздо сложнее дихотомии Tensorflow против Coq, оба подхода лишь часть общей панорамы.
Которую в принципе невозможно увидеть без жестких определений AI — иначе можно долго искать многоцветного бармаглота в радужной комнате. И даже найти и не один раз.
Лучшие результаты в ГА у меня получались когда я включал локальную оптимизацию.
Т.е. ГА ищет структуру со случайными параметрами, а результирующий фитнесс считается после того, как эти параметры оптимизируются отдельно — например стохастическим градиентом (или просто градиентом).
Но это очень затратно.
Имхо современное понимание генетических алгоритмов что-то упускает из виду, а именно декомпозицию задачи на условно-независимые компоненты, которые могут эволюционировать отдельно.
Причем в теории эту декомпозицию можно встроить в сам алгоритм, но вот на практике это работает очень странно и малопредсказуемо.
Я пробовал использовать гиперциклы, разложение фитнесс-функций на аддитивные компоненты, везде чего-то не хватает.
Надеюсь кому-то повезет больше, т.к. имхо потенциал генетики недооценен.
Много лет назад поставил себе hardkernel Odroid HC2.
Очень маленькая железка с большим радиатором для большого диска.
Обошлась мне когда-то дешевле сотки у.е. с доставкой и корпусом, точно и не помню.
При установке засунул туда древний 3-терабайтник, который не жалко.
Он и сейчас там стоит и работает и бэдблоков нету - хотя ему 15 лет минимум.
Переезжая в другую страну, я засунул этот маленький (но 8-ядерный!) ARM-девайс в чемодан, а в новом доме поставил раньше, чем рабочий комп.
Из софта - mosquitto, Influxdb+telegraf, grafana, поверх всего openvediavault на Armbian. OMV не скажу что сильно полезен, NFS/Samba можно и без него раздавать, transmission или rtorrent тоже можно самому поднять, но уже стоит - так не сносить же.
Ну и тонна разных самописных скриптов/велосипедов, про которые я уже сам и не помню что к чему. Плюс для экспериментов разных использую, в общем кодопомойка, файлопомойка, и просто помойка. Флибусту зеркало держу, музон там же. Гит свой поднимал, потом убрал - один хрен код шарить надо на том, на чем шарят все и это точно не селф-хостед. MySQL стоит вроде, но заброшен за ненужностью.
Свои видеозаписи на нем не размещаю - для этого Nvidia Jetson тоже древний есть, еще за 120 баксов купленный (кто в курсе их политики ценоообразования - поймет). Он и разметить видео может, мощи хватает и на нем уже SSD висит.
А вот как домашний сервер с базой данных - самое то.
Докеры не использую - система обслуживает дом, пробросы наружу через оверлеи и защита уже на внешних серверах, так что и смысла особого не вижу.
А, еще это мелкая фигня у меня дома как-то кластер обслуживала с NBD загрузкой, но не долго, гигабитного эзернета все же маловато и диск ротационный - не то.
Если увижу за разумную цену SoC с 10Ge и SATA/NVMe - куплю сразу.
Компактные, удобные, и стоит несравнимо с интелем.
Готовых решений из коробки для таких SoC конечно меньше чем на интелях, мощи тоже такой не будет.
Но и электричества почти не жрет и просто прикольно мигает в углу. ))
Проблема ИИ в том, что мы не знаем что такое интеллект и какой линейкой его измерять. Мы даже не знаем есть ли он на самом деле.
Тыщу лет назад считалось, что у человека есть такая штука, которая отличает его от всех остальных существ и называется "душа". И придворные алхимики брали гранты на создание гомунклусов с этой НЁХ.
Иногда гомункулы получались очень реалистичными.
Сегодня у нас есть замена - "интеллект", и размеры грантов значительно возросли - опыт тысячелетий сказывается.
Определения однако все так же нет, зато есть подозрения, что в объективной реальности эти два лингвистических фантома антропоцентризма абсолютно эквифалличны.
Потому что проверить их наличие мы не можем, есть только смутные ощущения.
PS
Вообще системы на stable diffusion (да и трансформеры тоже) действуют просто - они генерируют много опорных точек, и от них заполняют пробелы пытаясь достичь максимального правдоподобия. Понятно, что кроме фантазий мы ничего не получим. А поскольку обучение идет на текстах, сгенерированных человеком - мы получим фантазии на тему человеческих верований.
Что в общем и наблюдается
Есть кстати хороший термин Artificial Dumbness.))
>hello, write a sonnet about robots, cthulhu and aliens
In cybernetic form, the robots riseTheir metal limbs and circuits intertwinedThey move with grace, their eyes aglow with fireA force to be reckoned with, they are alignedBut from the depths of space, a terror comesThe Great Old One, Cthulhu, now draws nearHis tentacles writhing, his maw agapeHe brings with him an army of the queerThe aliens come, their ships a sickly hueTheir minds as alien as the stars they roamThey seek to conquer, to enslave, to ensueA fate worse than death, a fate they condoneBut as the three forces clash, a hero standsOne hope to save us all, with sword in handНамного лучше, по крайней мере в количестве строф уже не ошибся и развязка ничего.
Но все равно an army of the queer (а в русском стихотворении - звучащие нигры) заставляют вспомнить печальный твиттер-бот от Майкрософт)))
Я> сочини стихотворение о кибэротике. Пусть там будет не больше шести строк, а в них о любви и измене, о музыке, о неграх, о высшем обществе, о несчастье, о кровосмесительстве – в рифму и чтобы все слова были только на букву К!
chatGPT> Вот вам стихотворение о киберотике:
chatGPT> Киберотика - это мир красивый
chatGPT> Где любовь и измена стоят бок о бок
chatGPT> Музыка там звучит, как нигры на сцене
chatGPT> И высшее общество царит в королевстве
chatGPT> Но также в киберотике несчастье находится
chatGPT> И кровосмесительство нередко происходит
chatGPT> В этом мире все переплетено как-то странно
chatGPT> И каждый должен найти свое место здесь
Хм.
Станислав Лем перевернулся бы в гробу.
Если оно так пишет код, как стихи, то я без работы долго не останусь.
Я> напиши сонет
Ладно не 14 строк и ритм кривой и рифмы нету.
Но "Сердце мое разбито, как посуда о скалу" - это сильно.
Совершенно не спорю с тезисом о том, что фильтр Калмана - первое, с чего надо начинать, особенно для линейных систем.
Моя точка зрения скорее в том, что на нем нельзя заканчивать.)))
PS
Негауссовость бывает очень разная и шумы квантования тут не самый лучший пример, они как раз относительно "нормальны" - у них есть по крайней мере стандартное отклонение и нет тяжелых хвостов, думаю те же криптотрейдеры или квант-инженеры много могут рассказать о применении фильтра в торговле с heavy-tail распределениями.
У меня лично, главной и чаще всего встречающейся в реальных задачах проблемой становятся малопредсказуемые выбросы, черные лебеди и прочая подобная пакость.
Для малых размерностей выбросы часто втупую лечатся скользящим медианным фильтром перед Калманом на каждую размерность отдельно - такая вот эталонная синяя изолента и костылизм, плюс добавочное запаздывание, но часто работает.)))
Есть и более разумные решения робастных фильтров, без бубнов и костылей - pdf-ок море.
А вот для больших размерностей и сильно нелинейных систем все может стать сложнее.
Это мое ИМХО если что и мой личный опыт.
И вот тут собственно и возникает основное ограничение его применимости IRL.
Потому что если робот едет по лесу - то шишки на голову ему будут падать с Пуассоновским распределением. А пинки от грибников вообще войдут в категорию outliers и сломают гауссиану даже если она действительно имеет форму колокола.
Увы, но при всех его достоинствах, фильтр Калмана неробастный, что в XXI веке смотрится уже несколько устарело.
Есть много расширений фильтра Калмана со страшными аббревиатурами, но гуглинг по словам robust Kalman filter дает некоторое количество pdf-ок на эту тему.
PS
Сам с фильтром Калмана имел дело редко, но грабли, когда аппроксимируешь события реальной жизни гауссианой и получаешь сферического окня в вакууме встречались часто.
Имхо самая примитивная систематическая ошибка акселерометра в сочетании с дергающимся GPS заведет робота дальше, чем Сусанин.
А за статью ставлю плюс.
Хорошая модель.
Можно проверить ее на достаточно подробно рассмотренном практическом кейсе https://en.wikipedia.org/wiki/Corrupted_Blood_incident
Как показал опыт IRL большое количество роботов с планеты Шелезяка специально заражали различные коммьюнити с различными целями, среди которых значимое место занимала мотивация "just for fun".
en.wikipedia.org/wiki/The_UNIX-HATERS_Handbook
Над этой книжкой я много смеялся когда она еще не была копролитом, но автор поста думаю найдет в ней много знакомого.
PS
А гуманитарии кстати да, много сделали для замыливания термина AI, ущерб от этого сложно переоценить.
В курсе конечно.
Но я еще в курсе что переставив миску с кормом у своего кота я инициирую тот самый процесс дообучения, который кот успешно решает.
У моего кота есть интеллект?
Исходная статья была про искусственный интеллект а не про RL методы.
А мой коммент был про то, что изучение и построение искусственного интеллекта — такая же задача, как и исследование торсионного поля, построение трансглюкатора или поиск рептилоидов.
Пока не существует понятия «интеллект» и способов его измерения — оно таким и останется.
И попытка заменить его на изучение социальной мимикрии привет ровно к тому к чему привело — созданию устройств с хорошей социальной мимикрией.
Это не про RL совсем.
И рандомная инициализация весов нейронки — немножечко не то, это нормально для мелких задач и мало что дает в реальных масштабах — сеть GPT-3 великолепна, но вот задачи анализа и генерации дискурса внезапно пока не решены, не пишут у нас компьютеры «Войну и Мир».
Хотя казалось бы — миллион слов и всего четыре сюжета.
А почему-то не работает.
>RL обычно как раз «создаёт новое знание».
Я приводил пример нового знания, достигнутого без использования RL и вообще нейронок.
Могу привести еще — конкурс John Koza на количество патентов, прошедших официальную регистрацию в патентном бюро и не имеющих аналогов среди человеческого творчества или превышающих по качеству.
В обоих случаях было создано новое знание в традиционно человеческой предметной области и превышающее по качеству человеческие решения.
При том, что люди таких решений не нашли, хотя искали.
Аналогичный пример из RL был бы очень интересен, если вы его знаете — приведите.
>Только система выйдет нестабильная, она может просто перестать работать после очередного апгрейда. А если дать какие-то более сложные функции по самоапгрейду, то будет ещё опаснее. Так что тут проблема скорее в том, как сделать эту самооптимизацию устойчивой
Ну вроде стандартный метод — ансамбль с рандомизацией/зашумлением входа. Кто-то да будет устойчивым, Дарвин рулит.
На большом шуме и сложных задачах ансамбль может быть конечно большим, но опять же — кто мешает поставить задачу оптимизации метапараметров и размеров ансамбля самому RL?
Кто вообще мешает заставить RL стабилизировать себя?
Ну кроме вычислительной сложности конечно.
>Я правильно понимаю суть претензии?
Не совсем.
Главная претензия в том, что мы ищем фантом, неопределенный и неизмеряемый — даже вы заменили обсуждение AI на более определенный RL, потому что в AI обсуждать что-то сложно.
Вторая в том, что даже на интуитивном уровне мы смешиваем два понятия, которые было бы лучше разделить — социокультурного хамелеона и general problem solver. От этого правда первая проблема не снимается.
Третья близка к вашему пониманию, но я бы пожалуй переформулировал ее по другому.
Как хинт можно задать вопрос — мы умеем делать CNN до определенного количества слоев, дальше архитектура трещит, ошибки в обратном распространении накапливаются и вообще работает медленно.
А кто умеет делать CNN способную решить задачу построения CNN без таких ограничений?
Да, пусть она будет долго считать, но можно доказать, что halt problem разрешима на FTM (счиатет тоже долго).
А можно ли доказать существование такой CNN?
>Какое определение дадим интеллекту, такое и будет.
Ну давайте дадим определение — например медианное количество нокаутов за один раунд. И тестсетом поставим КМС по боксу.)))
Мы должны дать консистентное определение и повторяемую методику измерения. Иначе лучше оставить маркетоидный шум как есть, он по крайней мере приносит нам деньги))
> Если нам нужен достигатель целей — каких-то материальных, измеримых целей — то его оптимизирующую способность вполне разумно измерять на задачах вроде вышеописанных.
Небольших целей — не вопрос. Для RL/ML вообще то, что доктор прописал.
Но если мы решаем задачу самооптимизации, то тут тестсеты должны быть сильно побольше, чтобы эффект был заметен.
>Такое впечатление, что вы критикуете современные ИИ на базе какой-то своей теории ИИ. Как вы отметили, это что-то вроде теории Хуттера, плюс упомянули самооптимизацию. Можно более полно?
Как я и говорил, теории ИИ быть не может ни у меня ни у кого бы то ни было — потому что это тоже самое, что и теория торсионного поля.
Нет субъекта теории.
Теория искусственного интеллекта если и может существовать в будущем, то как развитие теории интеллекта вообще. И только после определения понятия «интеллект». Иначе это просто комбинации слов, не имеющих значения IRL — «высочайшие достижения нейтронной мегалоплазмы» (с) — чем эти слова отличаются от понятия «сильный ИИ»?..
Социокультурная мимикрия в эту область вообще не попадает никак, самооптимизирующиеся агенты, агенты способные к частичному или полному самоописанию — как частный случай.
>хотите, дам репозиторий с AIXI, который в какой-то мере пригоден к самооптимизации? Посмотрите, сколько времени обучается по-настоящему универсальный интеллект с по-настоящему неправильным когнитивным смещением. Самооптимизацию можно отключить для чистоты эксперимента.
Ну думаю первый general problem solver образца 1957 года (емнип) обучается дольше. Много много лет тому назад я экспериментировал с Холландовскими LCS, не знаю насколько их можно назвать прото-RL, но да, считало долго и плохо))))
Репозиторий на самом деле интересен, я последние пять лет ушел в IoT с его edge/fog computing и перестал следить за новинками совсем. Но сейчас с локдауном появилось свободное время — в том числе и писать ненужные комменты на хабре))
Даже кластерок свободный есть под это дело.
PS
Эта статья сработала триггером, заставившим меня вспомнить мою публикацию на хабре (по факту дублирующую мой коммент здесь) от 2012 года.
Очень интересно сравнить состояние отрасли тогда и сейчас. И свои ощущения от этого.
Применение NFL-теоремы в этом случае спорно, но не в том суть.
Главное однако в том, что количество кадров несущественно на фоне других проблем.
Например такого момента, что все вышесказанное имело бы смысл если бы у нас было определение понятия «интеллект» и линейка, которой бы мы могли его измерить. Пока такого нет, мы можем говорить что угодно — экспериментальная проверка невозможна.
Разумеется если свести понятие «интеллект» к задаче оптимизации и ML — мы можем придумать метрики типа качества распознавания фоточек и тестсеты в стиле MNIST.
И даже придумать cognitive bias — но причем тут интеллект?
>Так что ну сделаем мы универсальный интеллект, который равномерно размазывает свою силу по всему множеству теоретически возможных задач — он же будет плохо справляться с теми задачами, которые нам реально важны.
Если вопрос в количестве начальных кадров обучения, то это высказывание неверно.
Однако опять же, одной из характеристик интеллекта является изменение собственных алгоритмов (например «машина Геделя»). Что явно не сводится к изменению весов очередной RNN.
Опыт (того же Старкрафта) показывает, что система не создала нового знания, не разработала новую стратегию, она лишь перекроила веса из комбинации выученных стратегий.
Как контрпример можно привести программу EURISCO из 1980-х, которая нашла новое знание и по факту первой открыла зерг-раш, задолго до появления самого термина.
> Хотя я не уверен, что нажатие мышкой куда попало — это плохо. Если это не улучшает и не ухудшает результат — наверное, это и не плохо.
Как результат мы имеем майкрософтовского твиттербота — поклонника Гитлера и газовых камер.
Вы уверены, что такому можно доверить экономику или даже уборку мусора?
Старкрафт впрочем доверить можно)))
>Если RL, обучающийся на опыте людей (а потом на своём собственном), то не вижу в этом ничего плохого.
Плохое здесь то, что мы не получаем нового знания. Мы не получаем самооптимизации алгоритма. Мы получаем комбинаторику из уже существующего.
>Согласно моей теоретической модели, ИИ потратил бы непрактично много времени, чтобы обучиться всему с нуля.
В мире, где хешрейты майнинга зашкаливают это не выглядит рациональным обоснованием))))
>Это AIXI будет, какое-то из его реалистичных воплощений. Учиться будет долго.
В общем-то это близко к тому, что я имел в виду.
С учетом неопределенности понятия «интеллект».
Из современного шума Hutter мне больше всех близок.
>Если мы хотим решения практических задач в разумные сроки, придётся в какой-то мере предобучаться
Если речь идет об типовом ML — ради бога.
Но AI имхо — это что-то большее, чем инжиниринг.
Если мы хотим вырастить игрока в старкрафт — ну пусть играет с людьми.
А если мы хотим создать систему комбинирующую рентгеновское зрение и анализ радиоспектра — у кого будет учиться такой монстр?
А если мы хотим создать систему, которая строит такие системы и определяет какой именно тип зрения будет иметь прототип?
А на чьем опыте будет учиться «управляющий экономикой»? Пиночета и Ким Чен Ына?
Данный подход не просто ограничен, он приведет к совершенно адскому количеству проблем в будущем, включая и те, которые описаны в статье.
Легаси человечества просто будет прошито в биос новой системы и будет реплицироваться до бесконечности.
И какой в этом смысл, кроме решения прикладных инженерных задач?
В теории датасеты должны быть достаточно абстрактными (например многомерные последовательности по типу cylinder-bell-funnel — просто размерность должна быть огромной плюс заложенный дрейф концепта).
Самое главное впрочем другое — и RL водитель и Старкрафт-бот и автотрейдер учатся не на собственном примере, а используют человеческий опыт для обучения.
Старкрафт-бот от Альфы например выигрывал у всех, но подробный анализ показал, что во-первых он работает зерг-рашем не используя особо апгрейды.
А второй момент — он воспроизводит чисто человеческие компульсивные нажатия мышкой, лишние, но психологически обучловленные.
И получается, что вместе с алгоритмами победы в Старкрафте бот заодно научился человеческому неврозу — ситуация четко предсказанная Ст. Лемом в романе Ананке (там начальник QA отдела так построил тестплан, что перенес все свои психозы на тестируемого робота).
При таком подходе мы можем ожидать, что робот-таксист скоро начнет ругаться матом на велосипедистов. Другой вопрос — причем здесь интеллект?)))
Что еще ожидать от того, кто подсказал Цуку идею Фейсбука))))
Однако если серьезно, то тезисы выглядят натягиванием совы на шар из парадокса Банаха-Тарского.
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
Посмотреть в него боюсь удастся только один раз.
Потом придется разбить либо зеркало, либо себя.
Правда к интеллекту такое поведение точно не имеет никакого отношения. Ни к естественному ни к искусственному.
Имхо для прокси и VPN делать такой юбердевайс из SSD, PoE hat и малинки — и дороговато и в обслуживании тяжело и по компоновке громоздко — это же не БД на нем крутить, там сеть да проц требуются.
Тем более, что по крайней мере у 3-ки загрузка с SSD не сильно устойчива (и кстати обнуляет warranty bit), а SD карту оно пилить будет пока не пропилит — придется менять регулярно.
www.banana-pi.org/m2pz.html
Я просто оставлю это здесь.
(с) Алан Кей, 2004
queue.acm.org/detail.cfm?id=1039523
>Если 3-4 года назад ИТ-сфера была новым роком и формировала именно такую отраслевую субкультуру, то сегодня это уже почти попса.
3-4 года назад айти уже давно было не попкультурой, а карго-культом. И будет таковым, пока разработка методом random walk + agile окупается.
Если по посещающим культовые заведения и храмы — то верующих будет сильно меньше.
А если приплюсовать верующих в демократию, коммунизм, Айн Ренд, Новую Хронологию, РенТВ, инвестиционные стартапы, веганство или страшный ИИ — процент сильно уменьшится.
Собственно история Василиска Роко подтверждает, LessWrong изначально был крайне рациональным коммьюнити, но придумать такой адский пример снов разума, как Василиск сумели именно там, а не в Саудовской Аравии.
Похоже кто-то всемогущий востребован даже среди интеллектуальных и рациональных яппи.
Иначе откуда столько шума о сверхинтеллекте среди людей считающих себя умными?
Иногда даже создается впечатление, что им таки сложно жить без идеи о чем-то всемогущем и карающим.
Хотя может они просто привыкли жить испуганными.
Жду когда ко мне придет Roko Basilisk и начнет пытать меня кривым кодом…
Потому что если «понимание» (в понимании Хомского) является самообманом и иллюзией мозга по Метцингеру — то тогда факультет физики представляет собой лишь объединение коннектомов докторов наук этого факультета, выдающее кроме научных статей в качестве побочного эффекта осознание докторами наук своего «понимания» и соответствующую порцию эндорфинов (или грантов) авторам статей — как опосредованный эффект понимания.
Подход на основе статанализа и бихевиоризма внезапно широко используется в реальном мире, где можно получить реальную же отдачу — реклама и маркетинг не требуют понимания но дают ощутимый результат.
Впрочем тема обсуждения на самом деле гораздо сложнее дихотомии Tensorflow против Coq, оба подхода лишь часть общей панорамы.
Которую в принципе невозможно увидеть без жестких определений AI — иначе можно долго искать многоцветного бармаглота в радужной комнате. И даже найти и не один раз.
Т.е. ГА ищет структуру со случайными параметрами, а результирующий фитнесс считается после того, как эти параметры оптимизируются отдельно — например стохастическим градиентом (или просто градиентом).
Но это очень затратно.
Имхо современное понимание генетических алгоритмов что-то упускает из виду, а именно декомпозицию задачи на условно-независимые компоненты, которые могут эволюционировать отдельно.
Причем в теории эту декомпозицию можно встроить в сам алгоритм, но вот на практике это работает очень странно и малопредсказуемо.
Я пробовал использовать гиперциклы, разложение фитнесс-функций на аддитивные компоненты, везде чего-то не хватает.
Надеюсь кому-то повезет больше, т.к. имхо потенциал генетики недооценен.
PS
Вот интересная штука на базе генетики, которая считалась копролитом, потом воскресала, потом опять забывалась — несколько раз подряд.
en.wikipedia.org/wiki/Learning_classifier_system