Интересно, что статья, подробно рассматривая различные теории сознания и проблемы ИИ, не затрагивает Теорию Интегрированной Информации (IIT). А ведь в контексте рассмотренных теорий (особенно в части дискуссии о "сильном" ИИ) она представляет особый интерес. Если проследить историческую линию от Лейбница с его монадами, через современные теории сознания, описанные в статье, можно увидеть интересную эволюцию идей. Статья верно отмечает, что "многие существующие теории сознания, сталкиваясь с концепцией сильного искусственного интеллекта, приходят к проблемам и парадоксам". В этом контексте хочу предложить дополнительную перспективу: возможно, нам нужно пересмотреть сам математический аппарат описания сознания и наш подход к его созданию. Что касается создания искусственного сознания, я полагаю, что следует сместить фокус с разработки информационных моделей на физическую реализацию. Подобно тому, как нарисованное яблоко, каким бы совершенным ни был рисунок, никогда не станет реальным яблоком, даже самая сложная информационная модель сознания не обеспечит подлинного существования. Физическая реализация здесь не менее, а возможно и более важна, чем мощность самой модели. А с точки зрения теории сознания, я бы предположил, что его основная функция - это обеспечение субъект-объектных отношений, то есть того, что мы называем существованием. Это требует пересмотра математического аппарата, конкретнее - теории множеств. Предлагается уточнить понятие существования, введя определение субъекта и постулировав, что любой объект может существовать только в рамках субъектов. Такой подход мог бы дать новую перспективу на обсуждаемую в статье проблему различия между "слабым" и "сильным" ИИ.
А вот кстати интересно, насколько быстрее TruncatedSVD на GPU (NVIDIA) чем на обычном CPU? Должно быть намного быстрее. PCA наверное тоже быстрее но не так как SVD как раз изза плотности (неразряженности) матрицы ковариаций. Память GPU становится узким местом.
Если делать это как в статье показано с простыми векторами [0.2, 0.3, 0.8], такой поиск действительно не сработает. Насколько я понимаю, в статье совсем не упомянуто что то вроде
model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
То есть загрузка эмбеддингов - вообще про нее ничего не говорится, интересно почему.
Да, семантический поиск это сила. Хотел бы дополнить - в статье указывается про тематический поиск - скажем по ключевому слову лето найти товары типа платья и т.п.
Для этого, из того что я понял хорошо подходит не столько семантический поиск а именно SVD (Singular Value Desomposition). Допустим есть таблица в которой столбцы - это покупатели а строки - это товары. SVD может представить эту матрицу таким образом (найдя наиболее влиятельные сингулярные значения ) что она будет в некотором смысле определять скрытые факторы(абстракция, но можно представить как группы покупателей и группы товаров или , ключевые слова поиска). Это даст возможность группировать товары не столько по сематнике сколько по поведению покупателей (скажем, если покупатели купившие один товар часто покупают другой и т.п.)
Насколько я понимаю SVD для этого сценария действительно больше и лучше подходит чем PCA. Особенно если пространство формируется из статистики пользователей-покупок-поведения.
Конечно, но это я думаю детали. То, что я читал по этому поводу ситуация такая - в LLM там бывает до нескольких тысяч, в BERT там до трех сотен. А в случае с SVD там вообще сотней обходятся. Но я это все прочитал в статьях, поскольку мой практический опыт использования абстрактных пространств ограничен OCR приложениями. Там это делалось для минимизации размерности (методом PCA) бинаризованного и преобразованного с помощью преобразования Адамара изображения символа в классификаторах. На этом мой практический опыт закончен, все остальное я прочитал из статей. Однако, индексацию векторных пространств я осваивал еще на алгоритмах QuadTree (сортировка на плоскости для ГИС ) и OctTree (квантизация цветовых RGB палитр ) - там пространства не абстрактные. Кстати, насколько я понимаю упомянутый в статье ANN - это развитие методов из OctTree / QuadTree для пространств большей размерности. Статья на ностальгию пробила - занимался я этим всем аж 25 лет назад :D
В случае именно товаров, насколько мне известно, бывают различные подходы. При этом формирование векторного пространства можно условно разделить на два принципиально разных подхода - когда измерения имеют четкий физический смысл (например, цена или размер) и когда они полностью абстрактные. Например, часть измерений этого пространства может быть взята напрямую из многомерных характеристик товаров (цена, категория, размер, цвет и т.п.). Другая часть может использовать текстовые описания товаров - это аналог BERT и в этом случае измерения фиксированы, но начальные значения векторов в этих измерениях формируются случайно. Еще одна часть, например, может строиться на основе изображений товаров (CNN подход). Ну и, пожалуй самый важный с точки зрения продавца товара - это поведенческий подход для формирования пространства, когда векторы товаров изначально распределяются случайным образом, но в процессе работы системы они перегруппировываются на основе поведения покупателей (рядом оказываются товары, которые часто покупаются вместе). Все эти подходы обычно используются в комбинации, с разными весами в зависимости от конкретной задачи.
Можно так же заметить, что в абстрактных пространства , скажем, для поведенческого подхода можно использовать методы типа SVD (Singular Value Decomposition) а для контекстуальных вещей типа BERT используются уже нейронные сети. Конечно же , можно навернуть сверху на это все PCA для снижения размерности пространств
"Ничего удивительного – в РФ на первых полках аптек выставлены препараты без действующего вещества, а препараты без доказанной эффективности включены в реестр ЖВП, и выписываются врачами общей практики. "
Это конечно сильно : Де-нол например всем втюхивают , висмутом эйч пиллари лечить это, на мой взгляд дикость. Но ! Установка импланта в России - 500 баксов. В США - от 6 до 8 тысяч. Я уж не говорю про всякие там Wegovy, Humira, уколы люцентиса и тому подобные волшебные штуки из области высокотехнологичной медицины - в России реально это дешевле и это тоже факт. Так что , как пел Шнур - все в сравнении конечно познается. И образование в том числе - кому то что то в РФ не нравится , так а где лучше то? В США ? Я вас умоляю.
Мне кажется ,что челоек который это написал никогда не выгорал. Это ведь очень специфическая вещь, как шестое чувство. Лично я когда выгорел(а я тогда занимался созданием automatic radar plotting aid в одиночку (а там всякие Kalman filters, alpha - beta trackers цветной да белый шум и прочие вещи о которых я только из книжки узнал)) - так вот, когда я выгорел у меня натурально не было никаких сил в мозгах, например я не мог неделями сделать то, на что раньше уходило бы несколько минут. Как сейчас помню это случилось в момент когда меня попросили переключится на более простую задачу - сделать программу которая бы выводила изображение на принтер (дело было лет 25 назад). Кстати, по времени я тогда не перерабатывал, но задачи были сложные для меня и мне очень хотелось их решить. Не удалось, к сожалению.
Полностью разделяю взгляды автора. Ну то есть на личном и неличном примере все так и есть. Но у меня есть вопрос все же. Кто тогда делает все эти русские CubeSat? Например про те которые написано вот тут:
"Нас не догонят" в данном контексте впечатляет. Но куда бежать то ? Особенно в свете последних увольнений в Гугле , Майкрософте и прочих местах (вот тут про это хорошо: https://layoffs.fyi/). Понижения процентных ставок вроде бы не предвидится в США, а значит работу найти по прежнему будет непросто. Ну и вот эта вот тема про Open AI которые грозятся что вообще могут программеров обнулить в перспективе. Как говорится поздняк метаться.
Статья интересная, демотивирующая но у меня возник вот какой вопрос. А какой смысл вообще во всех этих ухищрениях в современных авиадвигателях? В статье указано: "Из текста важно одно – экономически выгодно повышать температуру газов в двигателе перед лопатками. Это общеизвестно, но сделать так, чтобы лопатки служили не 10 (просто 10) часов - как на BMW-003 (СССР РД-20), BMW-003С (СССР РД-21) и Junkers Jumo-004 (СССР - РД-10ЮФ) - сложно. В ход идет масса ухищрений, в том числе получение монокристаллического сплава ВЖМ7 в отливке (монокристалле) " Я потерзал немного чат гпт и он мне сказал следующее:
"давайте рассмотрим примерные числовые данные для сравнения надежности авиадвигателей того времени и современных:
MTBF (среднее время между отказами):
1970-е - начало 1980-х: MTBF для авиадвигателей составлял примерно 2000 - 5000 часов.
Современные авиадвигатели: Современные двигатели могут иметь MTBF в диапазоне от 20 000 до 50 000 часов и более."
Тогда я поинтересовался а какой же показатель у ПД-14? И единственное что нашел это вот это : " производитель ПД-14, Объединенная двигателестроительная корпорация, не смогла сказать, какой у двигателя межремонтный ресурс сейчас, но сообщила, что к моменту первой поставки он будет соответствовать тому, что указано в техзадании (12,5 тыс. часов). Это уже намного лучше 3,6 тыс. часов, но все равно почти в четыре раза хуже, чем у CFM56-5B/7B ". А в 2024 3.6 тыс часов.
Тогда вопрос - а зачем тогда все эти сложности с монокристалами?
Другой момент . В статье указано следующее : "Но заявлению в гостях у сказки сделано у нас, цитата: При комплектации САУ ПД-14 используются только российские современные компоненты и элементная база – можно и нужно только верить. И я верю! Отчего не верить?"
Тут справедливости ради надо сказать что владелец сделано у нас выкладывал интервью с одной известной (теперь российской) компании в котором кстати делают mems , которые как я понимаю имеют какое то отношение к акселерометрам - так вот там повсеместно стояло оборудование ASML. И сотрудник бодро рассказывал о достижениях. Так что все может быть.
Но тем не менее - зачем делать что то столь сложное если конечный показатель надежности все равно хуже чем то что было в 70-х?
А как же манифест Agile ? : "Through this work we have come to value: Individuals and interactions over processes and tools. " :) И для кого все эти трейнинги по Emotiolanal Intelligence для членов команды? Ни для кого? На всякий случай? :) Нет, по факту я вижу что именно это и происходит на первый взгляд. Но когда смотришь более внимательно - это не совсем так. Культуры компаний часто сегментированы и это очень похоже на тюремную культуру. Есть пацаны и есть паханы. Есть бродяги. Ну и так далее. Декларации на уровне того что у нас все демократично и решает "команда" по принципу scrum poker или retrospective или что то в этом роде - по факту является манипуляцией вот и все.
"Более того, раз за разом можно наблюдать именно то, что описывается в статье, — как реальная власть переходит к профильным для данной фирмы специалистам — инженерам, программистам, технологам и т. д. "
Мне часто приходилось работать именно в таких организациях и лично мне это не нравилось. Никто ни за что не отвечал и в результате получалась своего рода тюремная культура "понятий". Менеджер уже не начальник и многие сотрудники становятся объектом чужих манипуляций. Поэтому я всегда предпочитаю чтобы надо мной был какой нибудь начальник который бы слушал только меня :)
Знаете, раздражает "срубить бабла здесь и сейчас". Ну правда раздражает. Вот как вы себе это представляете? Давайте представим себе ситуацию. У вас делают процессоры в Тайване. Нужно оборудование (всякое разное). Ищут тех кто может сделать. Появляется когорта тех, кто понимает что преобразование фурье - это просто поворот в функциональном пространстве от одной системы отсчета в систему отсчета где система координат это комплексные экспоненты. И вот они думают что все это лучше сделать на каком нибудь Visual Basic или MS Excel. И получается продукт который стоит сотни миллионов долларов и его покупают ведущие производители и т.п. Это называется "бабла срубить"? Ясно что потом выясняется что надо было делать все иначе , хотя бы чтобы памяти элементарно хватало на боксе да и ваще чтоб все было красиво. Но это же все - потом, потом. А сейчас надо делать микросхемы. Короче мысль которую я пытаюсь донести - все, что есть это то как оно должно быть. Но нельзя относиться к тем, кто "забронзовел" как к тем кто был предками в знаменитом фильме "Легенда о Нарайяме"
Извините, очень захотелось задать вопрос :) А вот этот продукт который изначально немецкий - я рискну предположить что он в какой то момент был исключительно успешен на рынке. Это так?
Интересно, что статья, подробно рассматривая различные теории сознания и проблемы ИИ, не затрагивает Теорию Интегрированной Информации (IIT). А ведь в контексте рассмотренных теорий (особенно в части дискуссии о "сильном" ИИ) она представляет особый интерес. Если проследить историческую линию от Лейбница с его монадами, через современные теории сознания, описанные в статье, можно увидеть интересную эволюцию идей.
Статья верно отмечает, что "многие существующие теории сознания, сталкиваясь с концепцией сильного искусственного интеллекта, приходят к проблемам и парадоксам". В этом контексте хочу предложить дополнительную перспективу: возможно, нам нужно пересмотреть сам математический аппарат описания сознания и наш подход к его созданию.
Что касается создания искусственного сознания, я полагаю, что следует сместить фокус с разработки информационных моделей на физическую реализацию. Подобно тому, как нарисованное яблоко, каким бы совершенным ни был рисунок, никогда не станет реальным яблоком, даже самая сложная информационная модель сознания не обеспечит подлинного существования. Физическая реализация здесь не менее, а возможно и более важна, чем мощность самой модели.
А с точки зрения теории сознания, я бы предположил, что его основная функция - это обеспечение субъект-объектных отношений, то есть того, что мы называем существованием. Это требует пересмотра математического аппарата, конкретнее - теории множеств. Предлагается уточнить понятие существования, введя определение субъекта и постулировав, что любой объект может существовать только в рамках субъектов. Такой подход мог бы дать новую перспективу на обсуждаемую в статье проблему различия между "слабым" и "сильным" ИИ.
А вот кстати интересно, насколько быстрее TruncatedSVD на GPU (NVIDIA) чем на обычном CPU? Должно быть намного быстрее. PCA наверное тоже быстрее но не так как SVD как раз изза плотности (неразряженности) матрицы ковариаций. Память GPU становится узким местом.
Если делать это как в статье показано с простыми векторами [0.2, 0.3, 0.8], такой поиск действительно не сработает. Насколько я понимаю, в статье совсем не упомянуто что то вроде
model = SentenceTransformer('paraphrase-multilingual-mpnet-base-v2')
То есть загрузка эмбеддингов - вообще про нее ничего не говорится, интересно почему.
Да, семантический поиск это сила. Хотел бы дополнить - в статье указывается про тематический поиск - скажем по ключевому слову лето найти товары типа платья и т.п.
Для этого, из того что я понял хорошо подходит не столько семантический поиск а именно SVD (Singular Value Desomposition). Допустим есть таблица в которой столбцы - это покупатели а строки - это товары. SVD может представить эту матрицу таким образом (найдя наиболее влиятельные сингулярные значения ) что она будет в некотором смысле определять скрытые факторы(абстракция, но можно представить как группы покупателей и группы товаров или , ключевые слова поиска).
Это даст возможность группировать товары не столько по сематнике сколько по поведению покупателей (скажем, если покупатели купившие один товар часто покупают другой и т.п.)
Насколько я понимаю SVD для этого сценария действительно больше и лучше подходит чем PCA. Особенно если пространство формируется из статистики пользователей-покупок-поведения.
Конечно, но это я думаю детали. То, что я читал по этому поводу ситуация такая - в LLM там бывает до нескольких тысяч, в BERT там до трех сотен. А в случае с SVD там вообще сотней обходятся. Но я это все прочитал в статьях, поскольку мой практический опыт использования абстрактных пространств ограничен OCR приложениями. Там это делалось для минимизации размерности (методом PCA) бинаризованного и преобразованного с помощью преобразования Адамара изображения символа в классификаторах. На этом мой практический опыт закончен, все остальное я прочитал из статей. Однако, индексацию векторных пространств я осваивал еще на алгоритмах QuadTree (сортировка на плоскости для ГИС ) и OctTree (квантизация цветовых RGB палитр ) - там пространства не абстрактные.
Кстати, насколько я понимаю упомянутый в статье ANN - это развитие методов из OctTree / QuadTree для пространств большей размерности.
Статья на ностальгию пробила - занимался я этим всем аж 25 лет назад :D
В случае именно товаров, насколько мне известно, бывают различные подходы. При этом формирование векторного пространства можно условно разделить на два принципиально разных подхода - когда измерения имеют четкий физический смысл (например, цена или размер) и когда они полностью абстрактные. Например, часть измерений этого пространства может быть взята напрямую из многомерных характеристик товаров (цена, категория, размер, цвет и т.п.). Другая часть может использовать текстовые описания товаров - это аналог BERT и в этом случае измерения фиксированы, но начальные значения векторов в этих измерениях формируются случайно. Еще одна часть, например, может строиться на основе изображений товаров (CNN подход). Ну и, пожалуй самый важный с точки зрения продавца товара - это поведенческий подход для формирования пространства, когда векторы товаров изначально распределяются случайным образом, но в процессе работы системы они перегруппировываются на основе поведения покупателей (рядом оказываются товары, которые часто покупаются вместе). Все эти подходы обычно используются в комбинации, с разными весами в зависимости от конкретной задачи.
Можно так же заметить, что в абстрактных пространства , скажем, для поведенческого подхода можно использовать методы типа SVD (Singular Value Decomposition) а для контекстуальных вещей типа BERT используются уже нейронные сети.
Конечно же , можно навернуть сверху на это все PCA для снижения размерности пространств
"Ничего удивительного – в РФ на первых полках аптек выставлены препараты без действующего вещества, а препараты без доказанной эффективности включены в реестр ЖВП, и выписываются врачами общей практики. "
Это конечно сильно : Де-нол например всем втюхивают , висмутом эйч пиллари лечить это, на мой взгляд дикость. Но ! Установка импланта в России - 500 баксов. В США - от 6 до 8 тысяч. Я уж не говорю про всякие там Wegovy, Humira, уколы люцентиса и тому подобные волшебные штуки из области высокотехнологичной медицины - в России реально это дешевле и это тоже факт. Так что , как пел Шнур - все в сравнении конечно познается. И образование в том числе - кому то что то в РФ не нравится , так а где лучше то? В США ? Я вас умоляю.
Мне кажется ,что челоек который это написал никогда не выгорал. Это ведь очень специфическая вещь, как шестое чувство. Лично я когда выгорел(а я тогда занимался созданием automatic radar plotting aid в одиночку (а там всякие Kalman filters, alpha - beta trackers цветной да белый шум и прочие вещи о которых я только из книжки узнал)) - так вот, когда я выгорел у меня натурально не было никаких сил в мозгах, например я не мог неделями сделать то, на что раньше уходило бы несколько минут. Как сейчас помню это случилось в момент когда меня попросили переключится на более простую задачу - сделать программу которая бы выводила изображение на принтер (дело было лет 25 назад). Кстати, по времени я тогда не перерабатывал, но задачи были сложные для меня и мне очень хотелось их решить. Не удалось, к сожалению.
Очень хорошая статья
Хороший вопрос, не знаю.
То есть американский гиперзвук не за горами? В смысле - настоящий гиперзвук , который Hyper sonic glide vehicle?
Полностью разделяю взгляды автора. Ну то есть на личном и неличном примере все так и есть.
Но у меня есть вопрос все же.
Кто тогда делает все эти русские CubeSat? Например про те которые написано вот тут:
https://habr.com/ru/companies/ruvds/articles/744728/
"Нас не догонят" в данном контексте впечатляет. Но куда бежать то ? Особенно в свете последних увольнений в Гугле , Майкрософте и прочих местах (вот тут про это хорошо: https://layoffs.fyi/). Понижения процентных ставок вроде бы не предвидится в США, а значит работу найти по прежнему будет непросто.
Ну и вот эта вот тема про Open AI которые грозятся что вообще могут программеров обнулить в перспективе.
Как говорится поздняк метаться.
Статья интересная, демотивирующая но у меня возник вот какой вопрос. А какой смысл вообще во всех этих ухищрениях в современных авиадвигателях? В статье указано: "Из текста важно одно – экономически выгодно повышать температуру газов в двигателе перед лопатками. Это общеизвестно, но сделать так, чтобы лопатки служили не 10 (просто 10) часов - как на BMW-003 (СССР РД-20), BMW-003С (СССР РД-21) и Junkers Jumo-004 (СССР - РД-10ЮФ) - сложно. В ход идет масса ухищрений, в том числе получение монокристаллического сплава ВЖМ7 в отливке (монокристалле) "
Я потерзал немного чат гпт и он мне сказал следующее:
"давайте рассмотрим примерные числовые данные для сравнения надежности авиадвигателей того времени и современных:
MTBF (среднее время между отказами):
1970-е - начало 1980-х: MTBF для авиадвигателей составлял примерно 2000 - 5000 часов.
Современные авиадвигатели: Современные двигатели могут иметь MTBF в диапазоне от 20 000 до 50 000 часов и более."
Тогда я поинтересовался а какой же показатель у ПД-14? И единственное что нашел это вот это : " производитель ПД-14, Объединенная двигателестроительная корпорация, не смогла сказать, какой у двигателя межремонтный ресурс сейчас, но сообщила, что к моменту первой поставки он будет соответствовать тому, что указано в техзадании (12,5 тыс. часов). Это уже намного лучше 3,6 тыс. часов, но все равно почти в четыре раза хуже, чем у CFM56-5B/7B ". А в 2024 3.6 тыс часов.
Тогда вопрос - а зачем тогда все эти сложности с монокристалами?
Другой момент . В статье указано следующее : "Но заявлению в гостях у сказки сделано у нас, цитата: При комплектации САУ ПД-14 используются только российские современные компоненты и элементная база – можно и нужно только верить. И я верю! Отчего не верить?"
Тут справедливости ради надо сказать что владелец сделано у нас выкладывал интервью с одной известной (теперь российской) компании в котором кстати делают mems , которые как я понимаю имеют какое то отношение к акселерометрам - так вот там повсеместно стояло оборудование ASML. И сотрудник бодро рассказывал о достижениях. Так что все может быть.
Но тем не менее - зачем делать что то столь сложное если конечный показатель надежности все равно хуже чем то что было в 70-х?
"убрать из него человеческий фактор. "
А как же манифест Agile ? : "Through this work we have come to value: Individuals and interactions over processes and tools. " :) И для кого все эти трейнинги по Emotiolanal Intelligence для членов команды? Ни для кого? На всякий случай? :)
Нет, по факту я вижу что именно это и происходит на первый взгляд. Но когда смотришь более внимательно - это не совсем так. Культуры компаний часто сегментированы и это очень похоже на тюремную культуру. Есть пацаны и есть паханы. Есть бродяги. Ну и так далее. Декларации на уровне того что у нас все демократично и решает "команда" по принципу scrum poker или retrospective или что то в этом роде - по факту является манипуляцией вот и все.
"Более того, раз за разом можно наблюдать именно то, что описывается в статье, — как реальная власть переходит к профильным для данной фирмы специалистам — инженерам, программистам, технологам и т. д. "
Мне часто приходилось работать именно в таких организациях и лично мне это не нравилось. Никто ни за что не отвечал и в результате получалась своего рода тюремная культура "понятий". Менеджер уже не начальник и многие сотрудники становятся объектом чужих манипуляций. Поэтому я всегда предпочитаю чтобы надо мной был какой нибудь начальник который бы слушал только меня :)
Спаведливо, согласен
Понятно, спасибо
Знаете, раздражает "срубить бабла здесь и сейчас". Ну правда раздражает. Вот как вы себе это представляете? Давайте представим себе ситуацию. У вас делают процессоры в Тайване. Нужно оборудование (всякое разное). Ищут тех кто может сделать. Появляется когорта тех, кто понимает что преобразование фурье - это просто поворот в функциональном пространстве от одной системы отсчета в систему отсчета где система координат это комплексные экспоненты. И вот они думают что все это лучше сделать на каком нибудь Visual Basic или MS Excel. И получается продукт который стоит сотни миллионов долларов и его покупают ведущие производители и т.п. Это называется "бабла срубить"? Ясно что потом выясняется что надо было делать все иначе , хотя бы чтобы памяти элементарно хватало на боксе да и ваще чтоб все было красиво. Но это же все - потом, потом. А сейчас надо делать микросхемы. Короче мысль которую я пытаюсь донести - все, что есть это то как оно должно быть. Но нельзя относиться к тем, кто "забронзовел" как к тем кто был предками в знаменитом фильме "Легенда о Нарайяме"
Извините, очень захотелось задать вопрос :) А вот этот продукт который изначально немецкий - я рискну предположить что он в какой то момент был исключительно успешен на рынке. Это так?