Утечки памяти не замечали? Долгое использование карт Google в нашем Java FX проекте приводило к постепенным утечкам. Мы используем много маркеров, возможно из-за них. Кстати сами гугловые карты текут очень хорошо, достаточно простого теста с динамическим добавлением/удалением карт на странице.
Использование Google Map в приложении на JavaFX