Ключевое слово "временное изменение". Для эмбедингов перестановка местами измерений не играет вообще никакой роли, а для любого "временного сигнала" играет и еще какую. А так - да, конечно в эмбедингах безусловно есть информация как явная (собственно координаты точки в пространстве смыслов), так и косвенная (например, числа в векторе эмбединга распределены по нормальному закону).
Вообще вместо косинусного расстояния или евклидового расстояния можно использовать еще много каких других функций, например, корень кубический из суммы кубов расстояний по осям или наоборот взять корень в степени 1.5 от суммы расстояний в степени 1.5, и таким образом настроить чувствительность этой функции в какую угодно сторону.
PS. В любом случае спасибо за статью и за интересный подход.
Не похож эмбединг на сигнал. Ни визуально, не по характеристикам. Применять вейлет-преобразование или преобразование Фурье к любому набору чисел, конечно, можно, но зачем? Зачем применять процедуру, которая на два порядка медленнее косинусного сходства и дает непонятный результат?
Было бы замечательно, если бы Вы описали выгоду от применения данного подхода. Например, на небольшом датасете показали, что полученные результаты семантически ближе, чем при применении косинусного сходства.
Вы делаете логический переход от равенства: a*a = (c-b)*(c^2+cb+b^2)/a к равенству: c+b=(c^2+cb+b^2)/a
Но это справедливо только тогда, когда: a^2 = C^2-B^2. Но не очевидно, что это те же самые c и b, при которых будет выполняться равенство: a^2 = (c-b)(c+b)
Возможно, что это другие C и B, которые соответственно не равны с и b, при которых a^2 = (C-B)(C+B), но при этом a^2 != (c-b)(c+b).
Да никто же не против, просто разница между «приближенными» алгоритмами и «точными» может быть запросто процентов в двадцать. А то, что «точный» алгоритм для их количества товара может быть рассчитан за сравнительно небольшое время — почему бы им не воспользоваться? А так — конечно респект.
Если не ошибаюсь, с помощью Лагранжевской релаксации рюкзак с 7000 предметами должен неплохо раскладываться за меньшее время и точно, а не приближенно.
В замечательном курсе на Курсере по Дискретной оптимизации (https://www.coursera.org/learn/discrete-optimization) на второй неделе подробно рассказывается, как это делается.
Любые проблемы человечества успешно решаются стационарными телефонами, парой-троечкой мейнфреймов на весь земной шар и неизобретением пенициллина :) На самом деле статья о том, что существующие системы адресации не лишены недостатков, причем очень серьезных недостатков, и закрывать на них глаза не стоит.
Спросите у носителей языка.
Вопрос про КДПВ: что там дословно написано? Не тянет ли это на 282 статью УК РФ?
Надо вводить специальный тэг на статьи, написанные LLM
Почему Вы не использовали SIMD?
Статья про ИИ, написанная ИИ
Ключевое слово "временное изменение". Для эмбедингов перестановка местами измерений не играет вообще никакой роли, а для любого "временного сигнала" играет и еще какую. А так - да, конечно в эмбедингах безусловно есть информация как явная (собственно координаты точки в пространстве смыслов), так и косвенная (например, числа в векторе эмбединга распределены по нормальному закону).
Вообще вместо косинусного расстояния или евклидового расстояния можно использовать еще много каких других функций, например, корень кубический из суммы кубов расстояний по осям или наоборот взять корень в степени 1.5 от суммы расстояний в степени 1.5, и таким образом настроить чувствительность этой функции в какую угодно сторону.
PS. В любом случае спасибо за статью и за интересный подход.
Не похож эмбединг на сигнал. Ни визуально, не по характеристикам. Применять вейлет-преобразование или преобразование Фурье к любому набору чисел, конечно, можно, но зачем? Зачем применять процедуру, которая на два порядка медленнее косинусного сходства и дает непонятный результат?
Было бы замечательно, если бы Вы описали выгоду от применения данного подхода. Например, на небольшом датасете показали, что полученные результаты семантически ближе, чем при применении косинусного сходства.
Поправьте, пожалуйста, ссылку на курс в последнем абзаце. У Вас стоит:
https://ods.ai/tracks/nlp-course-spring-24
а надо:
https://ods.ai/tracks/nlp-course-spring-2024
Вы делаете логический переход от равенства:
a*a = (c-b)*(c^2+cb+b^2)/a
к равенству:
c+b=(c^2+cb+b^2)/a
Но это справедливо только тогда, когда: a^2 = C^2-B^2. Но не очевидно, что это те же самые c и b, при которых будет выполняться равенство: a^2 = (c-b)(c+b)
Возможно, что это другие C и B, которые соответственно не равны с и b, при которых a^2 = (C-B)(C+B), но при этом a^2 != (c-b)(c+b).
Люк Скайуокер и Дарт Вейдер (Анакин Скайуокер) - уж точно разные люди ))
Дисклеймер: я — один из авторов.
В замечательном курсе на Курсере по Дискретной оптимизации (https://www.coursera.org/learn/discrete-optimization) на второй неделе подробно рассказывается, как это делается.
Если хотите, могу в личку прислать код.
x, x_mean = next(train_iterator_prod(1))
на
x, x_mean = next(train_iterator(1))
Небольшая игровая студия. Специализируется на разработке игр на базе Minecraft и Unity.
rednite.games