Как избавиться от призрачных столкновений в Unity

Не знаю, как насчет физики, но в освещении такое склеивание всё равно оставляет артефакты. С физикой, скорее всего, проблемы останутся. Как вариант, ещё с помощью ProBuilder можно все объекты на сцене соединить по ребрам и вершинам - должно сработать.