Zámek vybudoval v první polovině 18. století známý rakouský stavitel J. L. von Hildebrandt a patří k perlám moravské barokní architektury. Na přelomu 18. a 19. století zde vznikl jeden z nejmodernějších vzdělávacích ústavů tehdejší střední Evropy. Zámek prošel rozsáhlou rekonstrukcí a vrátily se do něj původní zámecké sbírky.