Имхо, у пакетов разные цели: у математики сильная сторона — символьные вычисления, матлаб — матричные вычисления, матмоделирование. Не то чтобы математика не умеет матричные вычисления, но по-моему в матлабе они куда как удобнее.
Кстати да, хотя в матлабе есть символьный движок, но судя по примерам кода до математики он не дотягивает. Тем не менее, опять же, судя по примерам кода, в математике набор библиотек и встроенный функционал местами бьет матлаб, а если уж гую можно без геморроя нарисовать, то просто цены ему нет.
В Матлабе символьный движок не свой, а лицензирован с бородатой версии Mapple.
Разница, imho, в том, что Матлаб более нацелен на инженерную стезю всех уровней, Математика — на чуть более тонкие материи.
Реализация AES на Wolfram Mathematica