Поставил бету и обнаружил что она таки заменяет странички с 404 ошибкой на свою собственную, уводя с сервера, где ошибка произошла. Полез искать где бы отключить и нашел —
Options — Search tab — снимаем галку с пункта Browse by name in the address bar. Вуаля

Для владельцев вебсайтов решение проблемы тоже есть, на сайте должна быть прописана custom 404 error page с размером более 512 байт.