В автомобиле тоже смешанные металлы. Поэтому в охлаждающую жидкость добавляют присадки. Кстати, именно автомобильную охлаждающую жидкость я и использую, т.к. не вижу смысла переплачивать за "специальную жидкость для водяного охлаждения".
Кроме того, используемые мной теплообменники - никелированные внутри. Никель не реагирует с железом.
Так странно читать подобное... Если хотите тишины - почему не избавиться от вентиляторов совсем?! У меня ещё более мощная система, но установлен всего ... один вентилятор на корпус ПК. За рассеивание тепла отвечает пассивный радиатор. Когда выбирал размеры радиатора, нашёл таблицу ТТХ, прикинул температуры и мощность рассеивания. Как оказалось - он справляется отлично!
Какая-то обрывочная и неполная статья. Ожидания: узнать, до скольки доживали люди до начала 20 века, в разных странах, с графиками и заключениями. Реальность: узнал оценку продолжительности жизни конкретно для 1600 людей по могильнику в Старой Ладоге, умерших, предположительно, между 1100 - 1400 годами н.э.
А что насчёт древней Греции, например? По разным источникам, там жили до 60...80 лет (при высокой детской смертности, конечно). https://qr.ae/pYbJoD
А как менялась продолжительность жизни со временем, например, в Европе?
Надеюсь, кто-нибудь напишет однажды такую статью...
Когда на каком-то участке возникает новый, успешный вид животных, могут ли старые виды животных ни о чем не беспокоиться? Конечно, же нет. Ответ: ресурсы всегда ограничены. Виды животных (да и сами животные) за них конкурируют. Поэтому если кто-то чуть более умный, сильный или способный - ему достаётся больше ресурсов. А остальным - меньше. Это может привести к полному исчезновению старых видов.
Эти проекционные матрицы уже есть: Wq и Wk. Вот только на вход им подают уже смешанные данные. То есть, мы смешали зеленое с мягким, и затем просим модель научиться разделять. Модели приходится адаптироваться. Она учится не использовать пространство эмбеддингов на полную мощь, т.к. смысловые измерения смешиваются с позиционными.
Если бы мы делали concatenate(x_embedding, x_position) * Wq - думаю, мы получили бы результаты лучше.
Лично мне было бы интересно узнать больше о методах кодирования, когда мы не прибавляем (не умножаем) смысловую информацию и позиционную. А конкатенируем. Я прочитал лишь пару не очень убедительных статей на эту тему. Неужели больше никому не интересно исследовать эту идею?
Информация не существует "сама по себе". Если "красота - в глазах смотрящего", то информация - в его голове. Для непосвященного человека некоторый файл будет представлять собой белый шум, а для знающего - архив ZIP.
Вчитался в код, понял, что Вы считаете евклидово расстояние не между векторами из разных пространств, а между косинусной схожестью двух любых векторов из исходного пространства, и косинусной схожестью между преобразованными версиями этих же векторов, уже в преобразованном пространстве.
Не вполне понятно, почему для сравнения алгоритмов выбрано евклидово расстояние? Во-первых, как правило, sentence transformers тренируют на косинусном расстоянии. Во-вторых, а что, после преобразования Вы также используется косинусное расстояние для поиска похожих, ведь так? Так откуда и зачем использовать евклидово?
В подтверждение гипотезы, что для симуляции работы реальной нейронной сети не нужно вычислять мембранный потенциал, спайки или, упаси боже, квантовую неопределенность.
Один ученый из мира биологии написал некое summary работ, которые подтверждают, что нейроны в обученных мозгах работают так же (или "очень похожим образом"), как нейроны в обученной искуственной нейросети. При условии, что они обучались на одной задаче, канеш.
Это вселяет надежду, что ИИ достижим в обозримом будущем.
Про синхронизацию и фазовые переходы - интересно. Хотя пока непонятно, как это применить в "народном хозяйстве", т.е. в machine learning, например. А про якобы невычислимость хочу Вам аргументированно возразить. Вы привели следующие утверждения: "Как происходит обрушение песчаной кучи или сход снежной лавины? Это простые модели неравновесных систем и перехода через точку бифуркации.
Никаких вычислений здесь нет. Появятся они, когда вы, хотя бы в принципиальном смысле, сможете предсказывать поведение системы в точке бифуркации. Но оно зависит от бесконечно малых событий, поэтому принципиально непредсказуемо."
Но зачем нам пытаться смоделировать поведение конкретной песчаной кучи? Или сход конкретной снежной лавины? Или, например, поведение конкретного двойного маятника?
Это действительно невозможно по разным причинам: квантовые эффекты, невозможность снять точные измерения всех элементов, ограничения точности в вычислительных системах.
Но, на самом деле, такой задачи и не стоит! Ведь достаточно будет смоделиловать некую виртуальную кучу песка и убедиться, что она обрушается похожим образом на настоящую. Или смоделировать виртуальный двойной маятник и убедиться, что у него тоже есть точки бифуркации.
Та же самая логика по отношению к нейросети. Никто не ставит целью смоделировать конкретную существующую нейросеть. Успехом будет считаться, если мы смоделировали некую виртуальную сеть, и она ведёт себя похожим образом на настоящую. Никакой невычислимости я здесь не вижу.
Вы описали довольно интересную гипотезу. Чтобы ей стать по-настоящему научной, нужно привести условия для её опровержения. Т.к. научные теории, в отличие от верований, опровергаемы. Какой бы Вы предложили эксперимент, который бы показал, что мозг не работает как переходы между бифуркациями? К тому же, непонятно заявление о принципиальной невычислимости бифуркаций. Что именно вы не можете там вычислить?
Я вот больше склоняюсь к мысли, что мозг - как оркестр. Когда каждый нейрон "играет" в нужное время - рождается музыка, т.е. мысль.
Интересная идея. Жаль, применима только для случая, когда парус летит в нашу сторону. Для исследования других звездных систем надо отправлять аппарат "от нас". При этом разумной кажется идея Стивена Хокинга отправлять много мелких, легких аппаратов, чтобы их можно было ускорить лазером с Земли. Мне всегда было интересно, можно ли их потом замедлить около пункта назначения. Ведь иначе у них будет совсем немного времени на сбор данных, т.к. они промчатся дальше.
Таблица с эмбеддингами для слов, построенная по корпусу языка, сработает, допустим, для 95% пользователей. А чтобы получить эмбеддинги для слов из всевозможных сленгов, нужно потратить много человеко- и машино-часов времени. Стоят ли дополнительные 5% этих усилий — большой вопрос… И каждый коллектив отвечает на него по-своему, в зависимости от целей и ресурсов.
Зря Вы переживаете по этому поводу.
Бизнес в результате конкуренции вынужден постоянно искать способы увеличить прибыль.
Поэтому если узнают, что можно увеличить выручку или уменьшить издержки, добавив какой-то анализ данных, заказчики сами приготовят и принесут Вам данные на блюдечке.
А если это не происходит, возможно, Ваша модель не слишком помогает увеличивать прибыль.
(Или же многие заказчики ещё не готовы к этой революционной идее).
Да неужели?! :)
В "специальную жидкость для охлаждения компьютера" тоже входит этиленгликоль либо пропиленгликоль. По большому счету, разница только в цене.
В автомобиле тоже смешанные металлы. Поэтому в охлаждающую жидкость добавляют присадки. Кстати, именно автомобильную охлаждающую жидкость я и использую, т.к. не вижу смысла переплачивать за "специальную жидкость для водяного охлаждения".
Кроме того, используемые мной теплообменники - никелированные внутри. Никель не реагирует с железом.
Максимальная потребляемая мощность: GPU 350 Вт + CPU 240 Вт = 590 Вт
Но такой нагрузки практически не бывает. 400...500 Вт спокойно рассеивает в долгом режиме.
Так странно читать подобное... Если хотите тишины - почему не избавиться от вентиляторов совсем?!
У меня ещё более мощная система, но установлен всего ... один вентилятор на корпус ПК. За рассеивание тепла отвечает пассивный радиатор. Когда выбирал размеры радиатора, нашёл таблицу ТТХ, прикинул температуры и мощность рассеивания. Как оказалось - он справляется отлично!
Какая-то обрывочная и неполная статья. Ожидания: узнать, до скольки доживали люди до начала 20 века, в разных странах, с графиками и заключениями. Реальность: узнал оценку продолжительности жизни конкретно для 1600 людей по могильнику в Старой Ладоге, умерших, предположительно, между 1100 - 1400 годами н.э.
А что насчёт древней Греции, например? По разным источникам, там жили до 60...80 лет (при высокой детской смертности, конечно). https://qr.ae/pYbJoD
А как менялась продолжительность жизни со временем, например, в Европе?
Надеюсь, кто-нибудь напишет однажды такую статью...
Когда на каком-то участке возникает новый, успешный вид животных, могут ли старые виды животных ни о чем не беспокоиться? Конечно, же нет. Ответ: ресурсы всегда ограничены. Виды животных (да и сами животные) за них конкурируют. Поэтому если кто-то чуть более умный, сильный или способный - ему достаётся больше ресурсов. А остальным - меньше. Это может привести к полному исчезновению старых видов.
Эти проекционные матрицы уже есть: Wq и Wk. Вот только на вход им подают уже смешанные данные. То есть, мы смешали зеленое с мягким, и затем просим модель научиться разделять. Модели приходится адаптироваться. Она учится не использовать пространство эмбеддингов на полную мощь, т.к. смысловые измерения смешиваются с позиционными.
Если бы мы делали concatenate(x_embedding, x_position) * Wq - думаю, мы получили бы результаты лучше.
Лично мне было бы интересно узнать больше о методах кодирования, когда мы не прибавляем (не умножаем) смысловую информацию и позиционную. А конкатенируем.
Я прочитал лишь пару не очень убедительных статей на эту тему.
Неужели больше никому не интересно исследовать эту идею?
Информация не существует "сама по себе". Если "красота - в глазах смотрящего", то информация - в его голове. Для непосвященного человека некоторый файл будет представлять собой белый шум, а для знающего - архив ZIP.
Тот самый случай, когда комментарий лучше статьи! )
Пожалуйста, напишите отдельную статью про муравьёв!
Вчитался в код, понял, что Вы считаете евклидово расстояние не между векторами из разных пространств, а между косинусной схожестью двух любых векторов из исходного пространства, и косинусной схожестью между преобразованными версиями этих же векторов, уже в преобразованном пространстве.
Идея хорошая!
Не вполне понятно, почему для сравнения алгоритмов выбрано евклидово расстояние? Во-первых, как правило, sentence transformers тренируют на косинусном расстоянии. Во-вторых, а что, после преобразования Вы также используется косинусное расстояние для поиска похожих, ведь так? Так откуда и зачем использовать евклидово?
В подтверждение гипотезы, что для симуляции работы реальной нейронной сети не нужно вычислять мембранный потенциал, спайки или, упаси боже, квантовую неопределенность.
Один ученый из мира биологии написал некое summary работ, которые подтверждают, что нейроны в обученных мозгах работают так же (или "очень похожим образом"), как нейроны в обученной искуственной нейросети. При условии, что они обучались на одной задаче, канеш.
Это вселяет надежду, что ИИ достижим в обозримом будущем.
Вот видео с его интервью, в описании к нему ссылки на все работы:
https://youtu.be/vfBAUYpMCTU
Мой вопрос остаётся тем же: о какой невычислимости Вы говорите? Оставим пока в покое тему нейросетей, и поговорим о любой простой хаотической системе.
Вот пример эмуляции двойного маятника (первое, что нашёл в поиске): https://dpvis.herokuapp.com/
Эта программа вычисляет положение маятника. Маятник проходит через точки бифуркации, "зависящие от бесконечно малых начальных условий".
Где невычислимость?
Про синхронизацию и фазовые переходы - интересно. Хотя пока непонятно, как это применить в "народном хозяйстве", т.е. в machine learning, например.
А про якобы невычислимость хочу Вам аргументированно возразить. Вы привели следующие утверждения:
"Как происходит обрушение песчаной кучи или сход снежной лавины? Это простые модели неравновесных систем и перехода через точку бифуркации.Никаких вычислений здесь нет. Появятся они, когда вы, хотя бы в принципиальном смысле, сможете предсказывать поведение системы в точке бифуркации. Но оно зависит от бесконечно малых событий, поэтому принципиально непредсказуемо."Но зачем нам пытаться смоделировать поведение конкретной песчаной кучи? Или сход конкретной снежной лавины? Или, например, поведение конкретного двойного маятника?
Это действительно невозможно по разным причинам: квантовые эффекты, невозможность снять точные измерения всех элементов, ограничения точности в вычислительных системах.
Но, на самом деле, такой задачи и не стоит! Ведь достаточно будет смоделиловать некую виртуальную кучу песка и убедиться, что она обрушается похожим образом на настоящую. Или смоделировать виртуальный двойной маятник и убедиться, что у него тоже есть точки бифуркации.
Та же самая логика по отношению к нейросети. Никто не ставит целью смоделировать конкретную существующую нейросеть. Успехом будет считаться, если мы смоделировали некую виртуальную сеть, и она ведёт себя похожим образом на настоящую.
Никакой невычислимости я здесь не вижу.
Вы описали довольно интересную гипотезу. Чтобы ей стать по-настоящему научной, нужно привести условия для её опровержения. Т.к. научные теории, в отличие от верований, опровергаемы.
Какой бы Вы предложили эксперимент, который бы показал, что мозг не работает как переходы между бифуркациями?
К тому же, непонятно заявление о принципиальной невычислимости бифуркаций. Что именно вы не можете там вычислить?
Я вот больше склоняюсь к мысли, что мозг - как оркестр. Когда каждый нейрон "играет" в нужное время - рождается музыка, т.е. мысль.
Интересная идея. Жаль, применима только для случая, когда парус летит в нашу сторону. Для исследования других звездных систем надо отправлять аппарат "от нас". При этом разумной кажется идея Стивена Хокинга отправлять много мелких, легких аппаратов, чтобы их можно было ускорить лазером с Земли. Мне всегда было интересно, можно ли их потом замедлить около пункта назначения. Ведь иначе у них будет совсем немного времени на сбор данных, т.к. они промчатся дальше.
Бизнес в результате конкуренции вынужден постоянно искать способы увеличить прибыль.
Поэтому если узнают, что можно увеличить выручку или уменьшить издержки, добавив какой-то анализ данных, заказчики сами приготовят и принесут Вам данные на блюдечке.
А если это не происходит, возможно, Ваша модель не слишком помогает увеличивать прибыль.
(Или же многие заказчики ещё не готовы к этой революционной идее).