В скрипте для Unity уже реализовано простенькое сглаживание.
Но по хорошему я бы добавил еще один этап уточнения пололожения. На этом этапе я бы задал функцию ошибки, на которой бы выполнялась оптимизация. В самой функции была бы включена еще разница текущего и предыдущего положения камеры в пространстве, т.е. искалось бы такое решение, которое бы пыталось лучшим образом описать текущие данные и которое бы как можно меньше отличались от предыдущего решения.
Этот у меня подход неплохо работал в этом проекте
Свой AR. Маркеры