Renesanční zámek si v 16. století nechali postavit jako své rodové sídlo Pernštejnové. Rozsáhlou přestavbu navrhl Giovanni Battista Aostalli (1510–1575). Pro východní křídlo, severní chodbu a spojovací křídlo byla adaptována starší stavba Kostků z Postupic. Západní křídlo je renesanční novostavbou s částečným využitím starších sklepů. Bohatou sgrafitovou výzdobu, jak psaníčkovou (asi 8000 psaníček na plášti zámku) tak figurální (náměty starozákonní, antické, bitevní scény na severní stěně II. nádvoří) provedla skupina italských zedníků a kameníků, z nichž je nápisem na sgrafitu zmíněn Šimon Vlach. Pernštejnové vybudovali na zámku i kapli, zasvěcenou svaté Monice. Po Pernštejnech získali zámek Trauttmansdorfové, po nich se na zámku usadil rod Valdštejnů-Vartenberků, ti nechali upravit interiéry v klasicistním stylu. Zámek se v roce 1855 dostal do aukce, ve které ho koupili Thurn-Taxisové, kteří na zámku již nesídlili. Přesto zůstal zámek v jejich držení až do konce druhé světové války, kdy byl na základě dekretů prezidenta republiky rodu zabaven. Stavba je vzácnou ukázkou úpravy italského renesančního paláce, v přízemí šlechtické rezidence se dochovalo unikátní barokní divadlo s funkční mašinérií a souborem kulis.
