CORDIC предназначен для вычислений без использования операции умножения и на соответствующем оборудовании он обойдет вычисления по полиномам (не говоря уже о никуда не годном ряде Тейлора). Но да, на современном железе CORDIC безнадежно устарел.
CORDIC может быть и устарел, а сам метод Shift-and-Add, лежащий в его основе — нет. Сейчас вообще всё идёт по направлению комбинации всех существующих методов. В зависимости от ситуации, каждый метод может оказаться хорошим, поэтому однозначно говорить, что уже можно сбросить со счетов, а что нельзя — не следует. Даже ряд Тейлора, хоть и плохая идея, но, например, для функции exp(x) около нуля, если нужно быстро на коленках собрать хоть что-то, вполне себе рабочий вариант. А ещё лучше он подходит для стартовой точки в методе Ньютона, потому что благодаря простым коэффициентам легко переводится на арифметику с фиксированной запятой без лишней возни. Каждому методу — своя ситуация, где он хорош. Хотя в нашей общей практике, да, не применяется.
Более того, расчет с точностью ±1ulp обычно нужен только разработчикам библиотек, никакие практические цели такой точности не требуют
но не во всём. Я как раз разработчик библиотек. И мне бывает нужна точность, которая на десятки (иногда сотни) порядков выше 1ulp по причине, указанной в этой статье. Один из практических смыслов такой точности — чтобы округление результата было корректным до последнего бита, чтобы обеспечить полную повторяемость результата не зависимо ни от компилятора, ни от вычислительной машины. А в обыденной жизни да, я согласен, что это не нужно, из-за последнего бита даже ракета не упадёт… хотя, не знаю. Знаю только, что из-за разницы даже в последнем бите бывает, что некоторые программы работают слишком по-разному, но это из-за наличия в них кучи других ошибок. Ошибка в округлении последнего бита является лишь катализатором для их проявления.
Благодарю вас за упоминания моих статей и за вашу работу. Действительно тема очень актуальна (в узких кругах) и хорошо, что ею интересуются. Будь у меня больше времени, я обязательно дал бы несколько конкретных советов о том, как было бы лучше сделать то, к чему вы пришли в этой статье, но этого времени нет, кроме того, вы обещали продолжение и возможно там будет как раз то, что нужно.
У меня есть желание поделиться ссылкой: существует книга Jean-Michel Muller, “Elementary Functions: Algorithms and Implementation”, 2016, в этой книге огромное количество знаний о вычислении элементарных функций. В принципе, её достаточно чтобы знать о них почти всё, что сейчас применяют в этой области, за исключением каких-то продвинутых алгоритмов, изобретённых недавно. В том числе и общую теорию. Например, там сказано, что не следует вычислять синус на отрезке от 0 до Pi/2, потому что это невыгодно, отрезок нужно уменьшать минимум до [0, Pi/256] и уже дальше особыми формулами распространять на весь период. Также есть целая глава, где сказано, что синус (и любую другую элементарную функцию на монотонном интервале) можно вычислить используя только сдвиги и сложения, а также небольшую таблицу предподсчитанных заранее констант (Shift-and-Add Algorithms).
Ещё рекомендую для ознакомления библиотеку libquadmath где почти все элементарные функции реализованы для float128 и весь код хорошо виден. Посмотрите как там реализован синус (файл sincosq_kernel.c), там сразу одновременно вычисляется синус и косинус. Метод не очень хитрый, но не очевидный: там и редукция аргумента, и minimax-полином (если я верно понял, это именно он), и финальная корректировка с помощью таблиц. В общем, я так понял, вы хотели рассказать об этом в следующей статье? Мне просто показалось, что это очень большой труд — всё это рассказать, и однажды это хотел сделать я, но прикинул, что нужно для этого ещё пару лет потренироваться на тех статьях, что я пишу сейчас. Поэтому элементарные функции решил пока оставить. Очень сложная для популярного изложения (для меня) тема. Само только вдумчивое чтение упомянутой книги далось не с одного месяца.
Я буду очень рад, если вы сможете сделать эту работу, на русском языке этого и правда не хватает катастрофически. Я согласен, что действительно нужно обязательно показать сначала, что разложением в ряд Тейлора считать не вполне хорошая идея, и есть методы получше, потому что большинство как раз об этом и не знает. Я догадываюсь, какой следующий метод вы опишите, но не буду делать спойлеры :)
PS. А ещё я начал бы с экспоненты или 2 в степени x, эти функции кажутся намного проще. Но это уже как вам угодно.
Этот алгоритм описан в книге [1], можете сами прочитать. Погрешность в этом случае будет не больше чем значение ulp умножить на сумму всех тех частичных сумм, которые вы будете получать по ходу работы алгоритма. Это довольно плохая теоретическая оценка. А что будет на практике — попробуйте сами.
Здесь всё зависит от субъективного восприятия информации. Если я говорю о возможной погрешности в одном случае и умалчиваю о ней же в другом, то это не значит, что её там нет. Это значит что я о ней не сказал. Разумный читатель сможет подумать и сделать нужные ему выводы, в частности, вот вы же сделали — и хорошо.
Кстати, исходный вопрос был не о сравнении float128 против двух double, а о сравнении double против двух float.
Не совсем. Автор задаёт вопрос вот так:
я правильно понимаю, что все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью?
А уже потом приводит пример (орфография сохранена):
Скажем, если сравнивать приведенные алгориты на float против использования double в качестве аккамулятора.
На вопрос я ответил так, как посчитал нужным, предупредив об этом заранее. На пример я не посчитал нужным отвечать, автор вопроса в состоянии сделать это самостоятельно. Вся информация для этого у него имеется, а моё время в этом случае дороже.
А ваш ответ выглядит так, как будто float128 хуже двух double, хотя вы сами же и пишете что у float128 разрядов мантиссы больше.
Может быть и хуже, потому если float128 не аппаратный, то будет работать медленно. Ведь важна не только точность, но приличная скорость. И второе, чем double лучше, так это тем, что из него можно сделать 3-double, а из float128 нельзя. То есть в зависимости от решаемой задачи мы можем сказать, что лучше. А автор вопроса, на который я отвечал, просит дать ответ безотносительно решаемой задачи. А это всегда будет приводить к неопределённым ответам, и, следовательно, к неопределённым замечаниям к этим неопределённым ответам. И так далее. В итоге получится, что правы все, но каждый — по-своему.
Вы так пишете как будто алгоритм Кэхена два раза не округляет!
Нет, он округляет гораздо большее число раз, но в других позициях. По этой причине результат может не совпасть с тем, который будет получен иным способом. Автор вопроса, на который я отвечаю, предполагает:
все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью
Я отвечаю, что мы не знаем, что будет лучше, но, вероятно, ответы будут разными. Какой из них точнее — неизвестно.
Вы возлагаете на меня слишком большие надежды. Я пишу научно-популярный текст, цель которого — положить начало знакомства читателей с обсуждаемой темой. Никоим образом я не хочу чтобы эти материалы именно в таком поверхностном виде ложились бы в основу чьей-то серьёзной работы. Я делаю здесь именно школу, а не науку, показываю верхушку айсберга того, что уже описано в научной литературе, но по какой-то причине плохо описано в литературе популярной. Поэтому если вас интересует судьба всей цифровой фильтрации, то лучше сразу покупать книгу [1], затем те статьи, на которые ссылаются её авторы при обсуждении интересующих вас алгоритмов. Другого пути, увы, нет. Напрасно думать, что моя статья на Хабре может дать хотя бы тысячную долю того знания, которое реально требуется для ответственных проектов. А вся цифровая фильтрация, согласитесь, — это сложная и ответственная область.
К сожалению, моя жизненная позиция запрещает обсуждать планы на будущее и отвечать на подобные вопросы. В конце статьи сказано, что от интереса читателей зависит, напишу ли я здесь про скалярное произведение и вычисление полиномов. Про остальное — не могу сказать.
Да, можно и так сказать, но я подразумевал ещё потерю времени на сортировку или на искусственное создание заведомо отсортированного порядка на входе в алгоритм.
Ни в коем случае точный результат с помощью double получить нельзя. Потому что разбежка у float по экспоненте может составлять более 250 битов, а double удержит только 52 из них. По поводу порядка я уже написал комментарий другому читателю.
Конечно, я не мог опубликовать все таблицы, которые получил у себя, и может быть что-то не видно, но отчасти поэтому я и предложил читателям самостоятельно провести необходимые исследования. Потому что верить мне — это оказать себе медвежью услугу. Но если вам так нужно моё субъективное мнение, то вот оно...
Насколько это ухудшает/улучшает результат?
Не знаю, всегда по-разному. Может в два раза, может в 3, а может и не получиться разницы. Проверьте сами и убедитесь, пожалуйста. На экспоненциальных тестах сортировка по возрастанию обычно именно спасает (в два раза), а по убыванию — портит (тоже в два раза). На равномерных — зависит от экспоненты. Поэтому я лично не могу подобрать однозначной рекомендации. Интуиция тут не работает. Например, когда речь идёт о равномерном распределении на интервале [1,2), то вы при использовании интуиции вряд ли учли тот факт, что уже после первого действия сумма S становится наверняка больше любого из слагаемых. После второго — совсем больше и дальше остальные тысячи элементов уже складываются с большой погрешностью. При этом в случае хаотичного порядка получается то же самое! Иными словами, при одинаковом знаке сортировка по возрастанию имеет смысл только когда числа очень разные, с разными экспонентами. Когда экспоненты одинаковые — сортировать может быть вредно. Это мой субъективный вывод.
Как обстоят дела с сортировкой, если все значения одинакового знака? Можно ли считать что в таком случае сортировка точно не ухудшает результат?
Скорее всего, да, но только если экспоненты очень разные.
Если складывать отдельно положительные и отрицательные значения, но предварительно отсортировав их, ситуация лучше?
Ответ на этот вопрос есть в одной из таблиц.
Ну и последний, практический вопрос: я правильно понимаю, что все приведенные алгоритмы не лучше простого перехода к арифметике с более высокой точностью?
С точки зрения точности да, но только при условии, что вы затем не возвращаетесь обратно к арифметике с более низкой точностью, так как в этом случае вы рискуете получить ошибку двойного округления. То есть результат применения алгоритма 3 и прямолинейного применения float128 может дать разбежку в 1 бит из-за того, что вы должны будете выполнить дополнительное действие float128 → double. Но это вряд ли будет происходить на бытовых задачах. Особенно если учесть, что float128 имеет 112 битов против 104 у double-double.
Теперь что касается ваших слов не лучше. Что значит не лучше? У вас есть аппаратный float128? Если нет, то может быть есть хороший программный, который будет быстрее double-double? Я сомневаюсь, хотя экспериментов не проводил. Поэтому не знаю, что действительно будет лучше. А если модифицировать алгоритм 3 немного и складывать хвостики этим же алгоритмом, мы получим double-double-double. И вообще можем создать любой каскад по принципу того, как создаётся длинная арифметика с целыми числами. Поэтому опять я не понимаю, что значит не лучше. Я давно убедился, что в профессиональной сфере нельзя сравнивать различные технологии по правилу лучше / не лучше. Каждая технология предназначена для сугубо своей задачи. Для конкретной задачи ДА, она может быть лучше или хуже. Сама по себе она лучше или хуже быть не может в принципе. Такой вот у меня ответ получился :)
Но повторюсь, лучше вы эти (или другие) ответы получите сами, проверив всё на своей практике. Это будет куда продуктивнее.
Конечно, эффективней вместо Кэхэна и т.п. было бы просто использовать длинную мантиссу, но FPU такого не умеет.
Именно так, поэтому я и намекнул в статье, что для ускорения можно попробовать смотреть на исходные числа глубже, то есть как на битовые последовательности. Это позволит взять, например, два целых числа int64 и по полной программе использовать 127-11=116 битов под мантиссу. Это будет даже точнее чем double-double. Но говорить об этом прямо в данной статье я не решился. Потому что у меня был опыт ручной обработки double, когда я решил вместо медленных операций с плавающей запятой перейти к арифметике с фиксированной запятой на целых числах, там как раз было очень удобно, что все экспоненты в моей задаче были равны и по сути можно было избавиться от сдвигов. И вот, возомнив себя самым умным, я получил замедление программы в 8 раз. Точно также однажды решил заменить умножение и сложение на fma, и получил замедление в 4 раза. Тогда я понял, что нельзя просто так предполагать, что хорошо понимаешь как что будет работать с этой плавающей арифметикой, нужны масштабные исследования. И по этой же причине я не стал сравнивать предложенные здесь алгоритмы по скорости.
Я ожидал увидеть переход к произвольной «разрядности» – с гарантированной точностью результата
Не было такой цели, но если бы она была, то я бы начал с модификации алгоритма Rump–Ogita–Oishi. Там где 2 double, точно также делается и 3 и так далее. Но задача была всё-таки как можно быстрее победить обычную наивную сумму.
Много воды.
Каждому своё. Мне не так просто отыскать правильный баланс между сухой научной работой и обучающим материалом. Беру что-то среднее, что примерно в 10 раз короче, чем тот максимальный размах, с которого я вообще начинаю планирование статьи. Я работал в вузе 11 лет и хорошо представляю себе в чём нуждается большинство из тех людей, которых я представляю себе в качестве читателей. Для остальных чтение подобных статей может быть только таким: берём список источников, и не читая мою статью сразу погружаемся в их содержание, не теряя на меня больше ни минуты. Всё, никаких проблем не вижу :), и даже не нужно тратить время на объяснение того, что субъективно не понравилось, потому что ясно же, что всем не угодишь.
Да, благодарю. Вообще ведь очевидно, что в алгоритме Rump–Ogita–Oishi эти погрешности, которые складываются отдельно, можно также складывать этим же алгоритмом, сразу получая 3 double. Вообще нетрудно собрать целый каскад. Получаем аналог длинной арифметики, в которой метод two_sum как будто играет роль переноса, как это делается при сложении длинных целых чисел. Там мы тоже ведь разбиваем сумму на две части: сумма по модулю 2**64-1 и перенос.
Да, верно! Благодарю :) Ошибка алгоритма 3 составила 4503599627370496ulp (52 бита). Однако если числа отсортировать, то алгоритм 3 работает правильно (как по возрастанию, так и по убыванию). Теперь нужно найти именно бытовой тест, чтобы алгоритм перестал работать. Такого я найти не смог.
Я многое делал, но у меня не получилось добиться ошибки. Поэтому я сразу и говорю: либо покажите, пожалуйста, как вы это сделали, либо, если нет примера, ничего говорить не нужно. Зачем тратить своё и чужое время?
Ознакомился со статьёй, на которую вы дали ссылку. Да, мне знакома ситуация, в которой оказался её автор. И вот мой учебный видео-курс КАК РАЗ для этого случая отлично подходит. Всё с самого начала, с самых базовых представлений. Да, пара формул встречается, но даже до их появления у зрителя уже появляется нужный образ в голове, понимание того, как это устроено. 8 уроков не зря же делалось: плавное погружение. Как раз для тех, кому нужно с самого начала. Посмотрите первый и второй уроки чтобы убедиться, они на YouTube. Но давайте всё-таки не путать научно-популярное изложение материала и учебный курс. Это принципиально разные виды художественного творчества.
CORDIC может быть и устарел, а сам метод Shift-and-Add, лежащий в его основе — нет. Сейчас вообще всё идёт по направлению комбинации всех существующих методов. В зависимости от ситуации, каждый метод может оказаться хорошим, поэтому однозначно говорить, что уже можно сбросить со счетов, а что нельзя — не следует. Даже ряд Тейлора, хоть и плохая идея, но, например, для функции exp(x) около нуля, если нужно быстро на коленках собрать хоть что-то, вполне себе рабочий вариант. А ещё лучше он подходит для стартовой точки в методе Ньютона, потому что благодаря простым коэффициентам легко переводится на арифметику с фиксированной запятой без лишней возни. Каждому методу — своя ситуация, где он хорош. Хотя в нашей общей практике, да, не применяется.
Вы во многом правы в этой фразе:
но не во всём. Я как раз разработчик библиотек. И мне бывает нужна точность, которая на десятки (иногда сотни) порядков выше 1ulp по причине, указанной в этой статье. Один из практических смыслов такой точности — чтобы округление результата было корректным до последнего бита, чтобы обеспечить полную повторяемость результата не зависимо ни от компилятора, ни от вычислительной машины. А в обыденной жизни да, я согласен, что это не нужно, из-за последнего бита даже ракета не упадёт… хотя, не знаю. Знаю только, что из-за разницы даже в последнем бите бывает, что некоторые программы работают слишком по-разному, но это из-за наличия в них кучи других ошибок. Ошибка в округлении последнего бита является лишь катализатором для их проявления.
Благодарю вас за упоминания моих статей и за вашу работу. Действительно тема очень актуальна (в узких кругах) и хорошо, что ею интересуются. Будь у меня больше времени, я обязательно дал бы несколько конкретных советов о том, как было бы лучше сделать то, к чему вы пришли в этой статье, но этого времени нет, кроме того, вы обещали продолжение и возможно там будет как раз то, что нужно.
У меня есть желание поделиться ссылкой: существует книга Jean-Michel Muller, “Elementary Functions: Algorithms and Implementation”, 2016, в этой книге огромное количество знаний о вычислении элементарных функций. В принципе, её достаточно чтобы знать о них почти всё, что сейчас применяют в этой области, за исключением каких-то продвинутых алгоритмов, изобретённых недавно. В том числе и общую теорию. Например, там сказано, что не следует вычислять синус на отрезке от 0 до Pi/2, потому что это невыгодно, отрезок нужно уменьшать минимум до [0, Pi/256] и уже дальше особыми формулами распространять на весь период. Также есть целая глава, где сказано, что синус (и любую другую элементарную функцию на монотонном интервале) можно вычислить используя только сдвиги и сложения, а также небольшую таблицу предподсчитанных заранее констант (Shift-and-Add Algorithms).
Ещё рекомендую для ознакомления библиотеку libquadmath где почти все элементарные функции реализованы для float128 и весь код хорошо виден. Посмотрите как там реализован синус (файл sincosq_kernel.c), там сразу одновременно вычисляется синус и косинус. Метод не очень хитрый, но не очевидный: там и редукция аргумента, и minimax-полином (если я верно понял, это именно он), и финальная корректировка с помощью таблиц. В общем, я так понял, вы хотели рассказать об этом в следующей статье? Мне просто показалось, что это очень большой труд — всё это рассказать, и однажды это хотел сделать я, но прикинул, что нужно для этого ещё пару лет потренироваться на тех статьях, что я пишу сейчас. Поэтому элементарные функции решил пока оставить. Очень сложная для популярного изложения (для меня) тема. Само только вдумчивое чтение упомянутой книги далось не с одного месяца.
Я буду очень рад, если вы сможете сделать эту работу, на русском языке этого и правда не хватает катастрофически. Я согласен, что действительно нужно обязательно показать сначала, что разложением в ряд Тейлора считать не вполне хорошая идея, и есть методы получше, потому что большинство как раз об этом и не знает. Я догадываюсь, какой следующий метод вы опишите, но не буду делать спойлеры :)
PS. А ещё я начал бы с экспоненты или 2 в степени x, эти функции кажутся намного проще. Но это уже как вам угодно.
Этот алгоритм описан в книге [1], можете сами прочитать. Погрешность в этом случае будет не больше чем значение ulp умножить на сумму всех тех частичных сумм, которые вы будете получать по ходу работы алгоритма. Это довольно плохая теоретическая оценка. А что будет на практике — попробуйте сами.
Здесь всё зависит от субъективного восприятия информации. Если я говорю о возможной погрешности в одном случае и умалчиваю о ней же в другом, то это не значит, что её там нет. Это значит что я о ней не сказал. Разумный читатель сможет подумать и сделать нужные ему выводы, в частности, вот вы же сделали — и хорошо.
Не совсем. Автор задаёт вопрос вот так:
А уже потом приводит пример (орфография сохранена):
На вопрос я ответил так, как посчитал нужным, предупредив об этом заранее. На пример я не посчитал нужным отвечать, автор вопроса в состоянии сделать это самостоятельно. Вся информация для этого у него имеется, а моё время в этом случае дороже.
Может быть и хуже, потому если float128 не аппаратный, то будет работать медленно. Ведь важна не только точность, но приличная скорость. И второе, чем double лучше, так это тем, что из него можно сделать 3-double, а из float128 нельзя. То есть в зависимости от решаемой задачи мы можем сказать, что лучше. А автор вопроса, на который я отвечал, просит дать ответ безотносительно решаемой задачи. А это всегда будет приводить к неопределённым ответам, и, следовательно, к неопределённым замечаниям к этим неопределённым ответам. И так далее. В итоге получится, что правы все, но каждый — по-своему.
Благодарю, вот это действительно конструктивный подход, вместо ожиданий какого-то чуда от заурядного автора на Хабре :)
Нет, он округляет гораздо большее число раз, но в других позициях. По этой причине результат может не совпасть с тем, который будет получен иным способом. Автор вопроса, на который я отвечаю, предполагает:
Я отвечаю, что мы не знаем, что будет лучше, но, вероятно, ответы будут разными. Какой из них точнее — неизвестно.
Вы возлагаете на меня слишком большие надежды. Я пишу научно-популярный текст, цель которого — положить начало знакомства читателей с обсуждаемой темой. Никоим образом я не хочу чтобы эти материалы именно в таком поверхностном виде ложились бы в основу чьей-то серьёзной работы. Я делаю здесь именно школу, а не науку, показываю верхушку айсберга того, что уже описано в научной литературе, но по какой-то причине плохо описано в литературе популярной. Поэтому если вас интересует судьба всей цифровой фильтрации, то лучше сразу покупать книгу [1], затем те статьи, на которые ссылаются её авторы при обсуждении интересующих вас алгоритмов. Другого пути, увы, нет. Напрасно думать, что моя статья на Хабре может дать хотя бы тысячную долю того знания, которое реально требуется для ответственных проектов. А вся цифровая фильтрация, согласитесь, — это сложная и ответственная область.
К сожалению, моя жизненная позиция запрещает обсуждать планы на будущее и отвечать на подобные вопросы. В конце статьи сказано, что от интереса читателей зависит, напишу ли я здесь про скалярное произведение и вычисление полиномов. Про остальное — не могу сказать.
Да, можно и так сказать, но я подразумевал ещё потерю времени на сортировку или на искусственное создание заведомо отсортированного порядка на входе в алгоритм.
Ни в коем случае точный результат с помощью double получить нельзя. Потому что разбежка у float по экспоненте может составлять более 250 битов, а double удержит только 52 из них. По поводу порядка я уже написал комментарий другому читателю.
Конечно, я не мог опубликовать все таблицы, которые получил у себя, и может быть что-то не видно, но отчасти поэтому я и предложил читателям самостоятельно провести необходимые исследования. Потому что верить мне — это оказать себе медвежью услугу. Но если вам так нужно моё субъективное мнение, то вот оно...
Не знаю, всегда по-разному. Может в два раза, может в 3, а может и не получиться разницы. Проверьте сами и убедитесь, пожалуйста. На экспоненциальных тестах сортировка по возрастанию обычно именно спасает (в два раза), а по убыванию — портит (тоже в два раза). На равномерных — зависит от экспоненты. Поэтому я лично не могу подобрать однозначной рекомендации. Интуиция тут не работает. Например, когда речь идёт о равномерном распределении на интервале [1,2), то вы при использовании интуиции вряд ли учли тот факт, что уже после первого действия сумма S становится наверняка больше любого из слагаемых. После второго — совсем больше и дальше остальные тысячи элементов уже складываются с большой погрешностью. При этом в случае хаотичного порядка получается то же самое! Иными словами, при одинаковом знаке сортировка по возрастанию имеет смысл только когда числа очень разные, с разными экспонентами. Когда экспоненты одинаковые — сортировать может быть вредно. Это мой субъективный вывод.
Скорее всего, да, но только если экспоненты очень разные.
Ответ на этот вопрос есть в одной из таблиц.
С точки зрения точности да, но только при условии, что вы затем не возвращаетесь обратно к арифметике с более низкой точностью, так как в этом случае вы рискуете получить ошибку двойного округления. То есть результат применения алгоритма 3 и прямолинейного применения float128 может дать разбежку в 1 бит из-за того, что вы должны будете выполнить дополнительное действие float128 → double. Но это вряд ли будет происходить на бытовых задачах. Особенно если учесть, что float128 имеет 112 битов против 104 у double-double.
Теперь что касается ваших слов не лучше. Что значит не лучше? У вас есть аппаратный float128? Если нет, то может быть есть хороший программный, который будет быстрее double-double? Я сомневаюсь, хотя экспериментов не проводил. Поэтому не знаю, что действительно будет лучше. А если модифицировать алгоритм 3 немного и складывать хвостики этим же алгоритмом, мы получим double-double-double. И вообще можем создать любой каскад по принципу того, как создаётся длинная арифметика с целыми числами. Поэтому опять я не понимаю, что значит не лучше. Я давно убедился, что в профессиональной сфере нельзя сравнивать различные технологии по правилу лучше / не лучше. Каждая технология предназначена для сугубо своей задачи. Для конкретной задачи ДА, она может быть лучше или хуже. Сама по себе она лучше или хуже быть не может в принципе. Такой вот у меня ответ получился :)
Но повторюсь, лучше вы эти (или другие) ответы получите сами, проверив всё на своей практике. Это будет куда продуктивнее.
Именно так, поэтому я и намекнул в статье, что для ускорения можно попробовать смотреть на исходные числа глубже, то есть как на битовые последовательности. Это позволит взять, например, два целых числа int64 и по полной программе использовать 127-11=116 битов под мантиссу. Это будет даже точнее чем double-double. Но говорить об этом прямо в данной статье я не решился. Потому что у меня был опыт ручной обработки double, когда я решил вместо медленных операций с плавающей запятой перейти к арифметике с фиксированной запятой на целых числах, там как раз было очень удобно, что все экспоненты в моей задаче были равны и по сути можно было избавиться от сдвигов. И вот, возомнив себя самым умным, я получил замедление программы в 8 раз. Точно также однажды решил заменить умножение и сложение на fma, и получил замедление в 4 раза. Тогда я понял, что нельзя просто так предполагать, что хорошо понимаешь как что будет работать с этой плавающей арифметикой, нужны масштабные исследования. И по этой же причине я не стал сравнивать предложенные здесь алгоритмы по скорости.
Не было такой цели, но если бы она была, то я бы начал с модификации алгоритма Rump–Ogita–Oishi. Там где 2 double, точно также делается и 3 и так далее. Но задача была всё-таки как можно быстрее победить обычную наивную сумму.
Каждому своё. Мне не так просто отыскать правильный баланс между сухой научной работой и обучающим материалом. Беру что-то среднее, что примерно в 10 раз короче, чем тот максимальный размах, с которого я вообще начинаю планирование статьи. Я работал в вузе 11 лет и хорошо представляю себе в чём нуждается большинство из тех людей, которых я представляю себе в качестве читателей. Для остальных чтение подобных статей может быть только таким: берём список источников, и не читая мою статью сразу погружаемся в их содержание, не теряя на меня больше ни минуты. Всё, никаких проблем не вижу :), и даже не нужно тратить время на объяснение того, что субъективно не понравилось, потому что ясно же, что всем не угодишь.
Да, благодарю. Вообще ведь очевидно, что в алгоритме Rump–Ogita–Oishi эти погрешности, которые складываются отдельно, можно также складывать этим же алгоритмом, сразу получая 3 double. Вообще нетрудно собрать целый каскад. Получаем аналог длинной арифметики, в которой метод two_sum как будто играет роль переноса, как это делается при сложении длинных целых чисел. Там мы тоже ведь разбиваем сумму на две части: сумма по модулю 2**64-1 и перенос.
Да, верно! Благодарю :) Ошибка алгоритма 3 составила 4503599627370496ulp (52 бита). Однако если числа отсортировать, то алгоритм 3 работает правильно (как по возрастанию, так и по убыванию). Теперь нужно найти именно бытовой тест, чтобы алгоритм перестал работать. Такого я найти не смог.
Я многое делал, но у меня не получилось добиться ошибки. Поэтому я сразу и говорю: либо покажите, пожалуйста, как вы это сделали, либо, если нет примера, ничего говорить не нужно. Зачем тратить своё и чужое время?
Это не то. Нужен конкретный тест суммы чисел, а не более сложных операций. Именно конкретный тест, а не слова.
Ознакомился со статьёй, на которую вы дали ссылку. Да, мне знакома ситуация, в которой оказался её автор. И вот мой учебный видео-курс КАК РАЗ для этого случая отлично подходит. Всё с самого начала, с самых базовых представлений. Да, пара формул встречается, но даже до их появления у зрителя уже появляется нужный образ в голове, понимание того, как это устроено. 8 уроков не зря же делалось: плавное погружение. Как раз для тех, кому нужно с самого начала. Посмотрите первый и второй уроки чтобы убедиться, они на YouTube. Но давайте всё-таки не путать научно-популярное изложение материала и учебный курс. Это принципиально разные виды художественного творчества.