У меня в башке давно крутится мысль о том, что коль скоро все понятия, сущности представлены векторами эмбеддингов, то по уму иметь некую матричную алгебру переходящую одни понятия в другие. В самых простейших случаях эти матрицы могут быть операциями морфологического преобразования числа, рода, падежа, спряжения, склонения, а в более продвинутых ситуациях некими глагольными действиями. Например операция "рождение" имеет на входе беременную "мать" и получает на выходе сущность "ребенка". Такая лингвистическая матричная алгебра могла бы представить буквально все NLP операции в строгом математическом виде и с высокой точностью. Это может быть полезно для точного понимания, верификации и генерации текстов. Вся лингвистика превращается в строгую математическую дисциплину? Нахождение самих матриц преобразования эмбеддингов мне кажется не должно быть очень сложной процедурой. Из корпусов текстов всегда можно извлечь огромное количество пар вектора, на основании которых можно восстановить матрицы трансформаций например методом наименьших квадратов.
Искусственные нейросети начали строить не с фундамента, а с крыши. Их сразу начали учить сложным функциям распознавания цифр, боевых самолетов, кошек, собак, управлению автопилотами, расчетом цен недвижимости, пониманию речи, текстов. С моей точки зрения надо обратить внимание на самые базовые функции мозга всех живых существ, на работу нейромедиаторов, ведущих к возбуждению или подавлению реакций на события. Сами эмоции появились довольно поздно только у птиц и развились у млекопитающих. Но эмоции это только отражения, проявления внутреннего психического состояния организма. Механизмы боли, страха, агрессии, удовольствия проявлялись в виде инстинктов с самого начала эволюции. Нам необходимо максимально точно воспроизвести, смоделировать все эти системы в нейросетях для получения полноценных аналогов разума и реально полезных приложений ИИ и робототехники. Другими словами перевернуть все современные модели сетей с головы на крепкие ноги. Возможно в этом нам помогут математические модели работы нейромедиаторов, правило Хебба и другие алгоритмы. Во всяком случае всерьез говорить об AGI нельзя не решив вопрос о самосознании ИИ, основанном на понимании того, что такое хорошо и что такое плохо для самой искусственной нейронной сети.
В тупик загнала как раз сама себя Россия, а не Запад. Агрессивной политикой в отношении Украины она перечеркивает свое будущее. Никакие разработки в России сейчас не возможны. Лучшие ученые головы покинули страну, а все деньги до последней копейки будут разворованы. За оптикой конечно будущее, но оно не для России. У страны нет будущего! :-\
Это просто здорово. Но мне пришлось бросить свою библиотеку в России. Финик был забит барахлом под завязку и места просто не хватило. Хотя мне безусловно нравится держать книгу в руках.
я глянул ваш профиль и вопрос с местонахождением снят но скорее всего у нас появятся взаимные интересы и лучше установить прямые контакты. У меня есть WhatsApp на телефоне +420 607790045
Здорово! Не пожалеете. Но я предпочитаю электронные издания. Легко копировать тексты и коды. Так вы не в России? Поздравляю! А где если не секрет? Я уже давно живу в Чехии. Удачи! p.s. Мой прямой контакт на всякий случай: oleynikov.ig@gmail.com
Все это крайне механистичные и убогие попытки копировать биологические системы. С моей точки зрения надо использовать мультимодальные LLM для распознавания сцен и ситуаций, RAG подсистемы для самообучения и снова LLM для пошагового решения задач, исполнения команд роботов.
Ну не совсем. Backprop это общий для всех нейросетей алгоритм обучения (настройки весов нейронов). Минимизируется ошибка отклонения результатов работы сети от необходимых значений. Это делается с выходов в дорогу входов. Потому и обратное распространение ошибки. Автоэнкодеры это особый вид архитектуры нейросети, когда у нас нет данных о значениях выходов и мы приравниваем их входным значениям. Эта простейшая идея оказалась чрезвычайно полезной для обучения сети без учителя. Да, в автоэнкодерах используется тот же механизм обратного распространения ошибки. Но это не эквивалентные вещи. Спасибо за благодарность, но я всё-таки настоятельно советую вам найти и внимательно прочесть книгу Никленко. Там будут ответы на все ваши вопросы и серьезный задел для самостоятельной работы.
Согласен, я вообще говоря физик, прикладной математик. Философами становятся самые одаренные умы в какой то конкретной предметной области. Например Эйнштейн, Бор. В теории нейросетей сейчас упреждающий рывок практических технологий но нет концептуальных обобщений. Старые теории информации, кодирования, вероятностей, анализа функций, синергетики кажется уже не могут далее двигать ИИ в направлении AGI. Нужны новые обобщенные теории, новая математика. В физике кстати все тоже самое сейчас. :-/
Мне кажется, что причины и следствия смещаются. Философия в моем понимании это наиболее обобщенные знания в конкретной предметной области или междисциплинарного характера. Не философия должна учить ИИ жизни, а обобщения методов, подходов нейрокомпьютинга должны составлять передний рубеж философских исследований. Спасибо за ответ и Удачи!
Я не думаю, что философия, тем более российской ,бывшей коммунистической школы, может дать какую либо пользу ИИ. Главные локомотивы должны быть психология, нейробиология, специальные разделы математики и интеграция ИИ с робототехникой.
Очень хорошо, что вы прониклись и не махнули рукой. Почитайте книгу Сергея Николенко "Глубокое обучение" . Ее можно найти в интернет и там целая глава посвящена автокодировщикам. Будет как раз тема для новой статьи на habr. Автоэнкодеры одна из самых красивых и полезных идей нейрокомпьютинга. Это версия обучения без учителя. Выход должен совпадать со входом, а внутренние слои максимально сжимать информацию. Все это расцвело когда архитектуру сети переделали на трансформер с самовниманием. Я считаю, что в любом вопроса следует докапываться до самой истины. Удачи!
Не сказано о самом важном для понимания моменте. Самообучение нейросетей производится на базе модели автоэнкодера. Другими словами сеть пытается восстановить на выходах тексты максимально подобные входам, а внутренние слои стараются обеспечить максимальный уровень сжатия (кодирования) информации. После обучения автоэнкодер разрывается на части. Передняя часть кодера превращается в сети типа BERT, а декодер в генеративных сеть типа ChatGPT. Все это действительно немного похоже на то, что происходит в мозгу людей во время усвоения какой либо информации. Данные максимально сжимаются и представляются в виде распределенных весов больших групп нейронов (эмбеддингов). Близость входных данных к кодам эмбеддингов позволяет восстановить пропуски информации в кодерах BERT и порождать сложные последовательности текстов в декодерах ChatGPT.
Спасибо за комментарий. Я вообще говоря по образованию физик и специализация была как раз твердое тело, лазерные кристаллы, исследование оптических свойств новых материалов. Но очень уж давно все это было и сейчас я живу в Чехии и не связан с аналогичными работами. Исследования возможны только расчетного.(теоретического) характера и компьютерное моделирование. Реальные железки будут стоить по нынешним ценам на западе миллионы долларов США. Ранее в совке можно было бы припахать аспирантов и инженеров за копейки. На счёт рентгена волноваться не надо. Это не высоко радиоактивные материалы и защита, экранирование сводится к нескольким миллиметрам стальных плит. У нас на кафедре в КубГУ была нужная установка рентгеноструктурного анализа. В целом оптические системы расчетов нейросетевых моделей явно не для домашних применений и бюджетов. Это скорее чисто военные задачи.
1) нелинейные оптические преобразования могут выполнять кристаллы. 2) в нейронных сетях можно применять методы квантизации весовых коэффициентов без существенного снижения точности, это позволит ослабить влияние шумов оптических систем. 3) плотность вычислительных элементов может определяться размерами не транзисторов, а атомов, можно вообще перейти в рентгеновский диапазон. Единственное ограничение современных оптический вычислений - невозможность динамически менять веса и проводить обучение, но реализовать сверхбыстрый расчет готовых моделей вполне возможно.
над задачами NLP десятки тысяч ученых и программистов бились 70 лет и без результата, а нейросети обошли всех на повороте буквально за 3-5 лет! Да еще как обошли, с бесконечным отрывом !
Вы удивительный человек, как будто и не программист вовсе. :-) Я например первым делом ищу готовое решение или хотя бы его часть и только потом сажусь за кодирование. Уверяю вас, что вам не удастся реализовать в полной мере то, что успешно решает LLM ни за какие временные рамки!
У меня в башке давно крутится мысль о том, что коль скоро все понятия, сущности представлены векторами эмбеддингов, то по уму иметь некую матричную алгебру переходящую одни понятия в другие. В самых простейших случаях эти матрицы могут быть операциями морфологического преобразования числа, рода, падежа, спряжения, склонения, а в более продвинутых ситуациях некими глагольными действиями. Например операция "рождение" имеет на входе беременную "мать" и получает на выходе сущность "ребенка". Такая лингвистическая матричная алгебра могла бы представить буквально все NLP операции в строгом математическом виде и с высокой точностью. Это может быть полезно для точного понимания, верификации и генерации текстов. Вся лингвистика превращается в строгую математическую дисциплину? Нахождение самих матриц преобразования эмбеддингов мне кажется не должно быть очень сложной процедурой. Из корпусов текстов всегда можно извлечь огромное количество пар вектора, на основании которых можно восстановить матрицы трансформаций например методом наименьших квадратов.
Искусственные нейросети начали строить не с фундамента, а с крыши. Их сразу начали учить сложным функциям распознавания цифр, боевых самолетов, кошек, собак, управлению автопилотами, расчетом цен недвижимости, пониманию речи, текстов. С моей точки зрения надо обратить внимание на самые базовые функции мозга всех живых существ, на работу нейромедиаторов, ведущих к возбуждению или подавлению реакций на события. Сами эмоции появились довольно поздно только у птиц и развились у млекопитающих. Но эмоции это только отражения, проявления внутреннего психического состояния организма. Механизмы боли, страха, агрессии, удовольствия проявлялись в виде инстинктов с самого начала эволюции. Нам необходимо максимально точно воспроизвести, смоделировать все эти системы в нейросетях для получения полноценных аналогов разума и реально полезных приложений ИИ и робототехники. Другими словами перевернуть все современные модели сетей с головы на крепкие ноги. Возможно в этом нам помогут математические модели работы нейромедиаторов, правило Хебба и другие алгоритмы. Во всяком случае всерьез говорить об AGI нельзя не решив вопрос о самосознании ИИ, основанном на понимании того, что такое хорошо и что такое плохо для самой искусственной нейронной сети.
https://www.youtube.com/watch?v=8RkBKuRQF6I :-)
В тупик загнала как раз сама себя Россия, а не Запад. Агрессивной политикой в отношении Украины она перечеркивает свое будущее. Никакие разработки в России сейчас не возможны. Лучшие ученые головы покинули страну, а все деньги до последней копейки будут разворованы. За оптикой конечно будущее, но оно не для России. У страны нет будущего! :-\
Это просто здорово. Но мне пришлось бросить свою библиотеку в России. Финик был забит барахлом под завязку и места просто не хватило. Хотя мне безусловно нравится держать книгу в руках.
я глянул ваш профиль и вопрос с местонахождением снят но скорее всего у нас появятся взаимные интересы и лучше установить прямые контакты. У меня есть WhatsApp на телефоне +420 607790045
Здорово! Не пожалеете. Но я предпочитаю электронные издания. Легко копировать тексты и коды. Так вы не в России? Поздравляю! А где если не секрет? Я уже давно живу в Чехии. Удачи! p.s. Мой прямой контакт на всякий случай: oleynikov.ig@gmail.com
на счет воли трудно сказать, а вот контуры эмоций и строгого логического вывода роботам не помешают.
Все это крайне механистичные и убогие попытки копировать биологические системы. С моей точки зрения надо использовать мультимодальные LLM для распознавания сцен и ситуаций, RAG подсистемы для самообучения и снова LLM для пошагового решения задач, исполнения команд роботов.
Ну не совсем. Backprop это общий для всех нейросетей алгоритм обучения (настройки весов нейронов). Минимизируется ошибка отклонения результатов работы сети от необходимых значений. Это делается с выходов в дорогу входов. Потому и обратное распространение ошибки. Автоэнкодеры это особый вид архитектуры нейросети, когда у нас нет данных о значениях выходов и мы приравниваем их входным значениям. Эта простейшая идея оказалась чрезвычайно полезной для обучения сети без учителя. Да, в автоэнкодерах используется тот же механизм обратного распространения ошибки. Но это не эквивалентные вещи. Спасибо за благодарность, но я всё-таки настоятельно советую вам найти и внимательно прочесть книгу Никленко. Там будут ответы на все ваши вопросы и серьезный задел для самостоятельной работы.
Да, вы правы!
Согласен, я вообще говоря физик, прикладной математик. Философами становятся самые одаренные умы в какой то конкретной предметной области. Например Эйнштейн, Бор. В теории нейросетей сейчас упреждающий рывок практических технологий но нет концептуальных обобщений. Старые теории информации, кодирования, вероятностей, анализа функций, синергетики кажется уже не могут далее двигать ИИ в направлении AGI. Нужны новые обобщенные теории, новая математика. В физике кстати все тоже самое сейчас. :-/
Мне кажется, что причины и следствия смещаются. Философия в моем понимании это наиболее обобщенные знания в конкретной предметной области или междисциплинарного характера. Не философия должна учить ИИ жизни, а обобщения методов, подходов нейрокомпьютинга должны составлять передний рубеж философских исследований. Спасибо за ответ и Удачи!
Я не думаю, что философия, тем более российской ,бывшей коммунистической школы, может дать какую либо пользу ИИ. Главные локомотивы должны быть психология, нейробиология, специальные разделы математики и интеграция ИИ с робототехникой.
Очень хорошо, что вы прониклись и не махнули рукой. Почитайте книгу Сергея Николенко "Глубокое обучение" . Ее можно найти в интернет и там целая глава посвящена автокодировщикам. Будет как раз тема для новой статьи на habr. Автоэнкодеры одна из самых красивых и полезных идей нейрокомпьютинга. Это версия обучения без учителя. Выход должен совпадать со входом, а внутренние слои максимально сжимать информацию. Все это расцвело когда архитектуру сети переделали на трансформер с самовниманием. Я считаю, что в любом вопроса следует докапываться до самой истины. Удачи!
Не сказано о самом важном для понимания моменте. Самообучение нейросетей производится на базе модели автоэнкодера. Другими словами сеть пытается восстановить на выходах тексты максимально подобные входам, а внутренние слои стараются обеспечить максимальный уровень сжатия (кодирования) информации. После обучения автоэнкодер разрывается на части. Передняя часть кодера превращается в сети типа BERT, а декодер в генеративных сеть типа ChatGPT. Все это действительно немного похоже на то, что происходит в мозгу людей во время усвоения какой либо информации. Данные максимально сжимаются и представляются в виде распределенных весов больших групп нейронов (эмбеддингов). Близость входных данных к кодам эмбеддингов позволяет восстановить пропуски информации в кодерах BERT и порождать сложные последовательности текстов в декодерах ChatGPT.
Спасибо за комментарий. Я вообще говоря по образованию физик и специализация была как раз твердое тело, лазерные кристаллы, исследование оптических свойств новых материалов. Но очень уж давно все это было и сейчас я живу в Чехии и не связан с аналогичными работами. Исследования возможны только расчетного.(теоретического) характера и компьютерное моделирование. Реальные железки будут стоить по нынешним ценам на западе миллионы долларов США. Ранее в совке можно было бы припахать аспирантов и инженеров за копейки. На счёт рентгена волноваться не надо. Это не высоко радиоактивные материалы и защита, экранирование сводится к нескольким миллиметрам стальных плит. У нас на кафедре в КубГУ была нужная установка рентгеноструктурного анализа. В целом оптические системы расчетов нейросетевых моделей явно не для домашних применений и бюджетов. Это скорее чисто военные задачи.
1) нелинейные оптические преобразования могут выполнять кристаллы. 2) в нейронных сетях можно применять методы квантизации весовых коэффициентов без существенного снижения точности, это позволит ослабить влияние шумов оптических систем. 3) плотность вычислительных элементов может определяться размерами не транзисторов, а атомов, можно вообще перейти в рентгеновский диапазон. Единственное ограничение современных оптический вычислений - невозможность динамически менять веса и проводить обучение, но реализовать сверхбыстрый расчет готовых моделей вполне возможно.
над задачами NLP десятки тысяч ученых и программистов бились 70 лет и без результата, а нейросети обошли всех на повороте буквально за 3-5 лет! Да еще как обошли, с бесконечным отрывом !
Вы удивительный человек, как будто и не программист вовсе. :-) Я например первым делом ищу готовое решение или хотя бы его часть и только потом сажусь за кодирование. Уверяю вас, что вам не удастся реализовать в полной мере то, что успешно решает LLM ни за какие временные рамки!