Вы, наверное, хотели сказать, что эта проблема уже решена? GBAA — это real-time алгоритм, который работает на GPU и интегрируется в трехмерный игровой движок, а antigrain — библиотека для offline рендеринга 2D геометрии. Совершенно разные задачи, иными словами.
По моему опыту работы в 3d-редакторах, отрисовка сетки сильно нагружает видеокарту. Я могу чего-то не понимать, но вывод хайполи-модели сеткой работает медленнее отрисовки той же модели сплошной заливкой. Поэтому подозреваю, что при большом числе полигонов в каком-нибудь ААА проекте, да при открытом мире, да ещё и с динамической тесселяцией, такой метод сглаживания будет замедлять вывод графики гораздо сильнее, чем в вашей сцене. А может, и нет. Короче, хотелось бы демку, тесты и всё такое прочее :)
Модифицированный алгоритм Geometry Buffer Anti-Aliasing