По-сути, это и есть расширение, просто поленились контрол-файл добавить, и устанавливается как самые первые распакованные расширения простым выполнением sql-скрипта.
если по смыслу - то вы абсолютно правы, так и есть, это расширение, в котором нет бинарной составляющей, только sql.
но технически разница действительно важная для managed баз данных в облаках - к примеру, тот же DigitalOcean не позволит установить никакой extension, а вот выполнить SQL - легко :)
pg_auto_embeddings — считаем эмбеддинги для текста прямо в Postgres, без экстеншенов