Zámek, na místě původního donjonu a posléze hradu, stojí na vysokém ostrohu nad městečkem Brtnicí a svojí velikostí (6 tis. m2) pohledově dominuje širokému okolí. Městečkem protékající říčka Brtnička vytvořila východní svah zámeckého návrší, svah západní je vytvořen potůčkem, který s dalším přítokem naplňuje rybník v parku, severně pod zámkem. Dnešní objekty zámku obklopují tři nádvoří. Třetí a nejstarší nádvoří, jehož výhodní strana tvoří původní hradní jádro, je dnes otevřeno na stranu západní.

Osídlovací proces se rozvíjí z okrajových oblastí sídelního území teprve v pokročilém 12. století až do jeho závěru a vrcholí v první polovině 13. století. Hlavní směry osídlovacího procesu představuje postup proti toku Moravské Dyje z Dačicka a po trase Haberské stezky do oblasti Přibyslavska a později Brtnička a Jihlavy, kde vznikají kolem etapových lokalit určité sídlištní komory. Jihlavsko, do něhož Brtnice náleží, bylo jako jižní výběžek českomoravských pomezních hvozdů zeměpanskou kolonizační oblastí, tzn., královské či markraběcí území. Ve třicátých letech 13. století je v podstatě dokončena sídlištní síť na zeměpanském Brtnicku a ve čtyřicátých až padesátých letech 13. století farní síť, přičemž se konstituují tržní osady jako centra panství, církevní správy, směny aj. V té době na ostrohu vyrůstá ochranná věž čtvercového půdorysu, tzv. donjon.

Jakým způsobem brtnické zboží přešlo do rukou Hynka I. z Valdštejna (okolo +1409), není známo. Je možné, že se tak stalo za četných předhusitských rozbrojů, jimiž byla jižní Morava silně vystavena nebo přímo na počátku husitských válek. Brtnice tehdy neměla patrně vojenskou cenu a u četných výprav, procházejících Jihlavskem, nevzbudila pozornost jako opevněný bod. Dle listin lze vymezit získání Valdštejny mezi lety 1396-1399 a začíná po dvě století budování rozsáhlého a hospodářsky prosperujícího feudálního dominia.

První polovina 15. století je spojena s přestavbou donjonu na hrad, což potvrzuje písemnost z roku 1436, kdy na žádost Jihlavanů markrabě Albert Habsburský zakázal pokračovat ve stavbě hradu Brtnice. Z počátku se jednalo o nenáročnou dispozici na konci ostrohu, v místech nynějšího třetího nádvoří. Oddělena od přístupu byla šíjovým příkopem. Jediným prvkem aktivní obrany byla severovýchodní půlválcová bašta dodnes vystupující z líce zdiva. Zhruba v tomto stavu výstavby byl hrad poprvé doslovně zmiňovaný roku 1444 v listině vymezující dělbu rodového majetku mezi Zdeňka z Valdštejna a jeho synovce Jana (Jindřicha).

Před polovinou 16. století, za bohatého Zdeňka Brtnického z Valdštejna, datovat první etapu přeměny hradu na renezanční zámek. Další etapy přestavby se odehrály za doby Hynka III. Brtnického z Valdštejna. U příležitosti vstupu do manželského svazku s Kateřinou Zajímačkou z Kunštátu podnikl Hynek další významnou etapu renesanční výstavby brtnického zámku, stavební úpravy řídil slavný stavitel Baltazar Maggi de Ronio, doloženou přímo na zámku vytesanými letopočty 1581 a erby a jmény „Hynek Brtnický z Valdštejna, hejtman markrabství moravského, 1.1581“ a „Kateřina Zajímačka z Kunštátu a jevišovic a na Brtnici 1.1581“. Nově přestavěný zámek byl i místem úředních jednání Hynkových, co zemského úředníka, jak plyne z listin datovaných „na zámku Brtnici“.

Posledním majitelem zámku z rodu Valdštejnů se po smrti Kateřiny Zajímačky v roce 1601 stal Zdeněk IV. Brtnický z Valdštejna, jeden z nejvzdělanějších mužů své doby, který se v roce 1619 stal stavovským direktorem Moravského markrabství a komorníkem „zimního krále“ Fridricha Falckého. V červnu roku 1621 byl Valdštejn zatčen. Důvodem byla právě jeho účast na stavovském povstání. Zdeněk byl nejdříve uvězněn v Jihlavě, poté na Špilberku a odsouzen k trestu smrti, načež mu byl trest zmírněn na doživotí.

V žaláři prožil dva roky a 24. června 1623 zemřel. Následně bylo jeho vlastnictví zkonfiskováno a Brtnici po něm z rukou Ferdinanda II. získal r. 1622 hrabě Rambaldo XIII. zvaný Veliký ze severoitalského rodu Collalto et San Salvatore (21.9. 1579 – 19.11.1630). Jako nekompromisní odpůrce Benátské republiky se rozhodl hledat štěstí ve službách císaře a habsburskému trůnu pak zůstal věrný do své smrti. Již ve 26 letech se z prostého vojína stal císařským vojenským poradcem v Uhrách. Jeho kariéra po Bílé hoře byla závratná. Svým vlivem může být srovnán s Albrechtem z Valdštejna.

Zlom nastává v roce 1621 po Bílé Hoře za Zdeňka IV. Brtnického z Valdštejna. Kardinál Ditrichštejn nechal roku 1621 Zdeňka zatknout se sdělením císaři, že „…má velké jmění a skvostný statek Brtnici“. Panství bylo pro účast v povstání Zdeňkovi zkonfiskováno s vysokým oceněním30. Zdeněk umírá v roce 1623 ve vězení na Špilberku.

Na počátku roku 1623 císař Ferdinand II. prodal brtnické panství svému dvornímu válečnému radovi, komorníkovi a obristovi hraběti Rambaldovi XIII. Collaltovi. Proměna zámku za doby Collaltů souvisela především s 30letou válkou a četnými požáry. Požár v roce 1760 proměnil jak třetí nádvoří, kdy vyhořelo západní křídlo, tak druhé nádvoří, kdy bylo kolem roku 1842 vystavěno druhé patro v neogotickém slohu a zanikla gotická věž. Změn doznalo i první nádvoří. Brtnického panství se dotkly pozemkové reformy po první světové válce a vzniku Československé republiky. Završily i stavební činnost. Po porážce fašistického Německa v květnu roku 1945 došlo v československém státě k rozsáhlé akci za účelem potrestání zrádců a nepřátel republiky, zkonfiskování zemědělského pozemkového majetku osobám německé a maďarské státní příslušnosti a jejich vysídlení ze země. Legislativní aktivity poválečné revoluce, tzv., Benešovy dekrety, se ve výsledném řízení vztahovaly rovněž na osobu Octaviana knížete Collalta, kterému byly veškeré majetky zabaveny na základě prezidentského dekretu č. 12/1945 Sb. ze dne 21. června 1945. Poválečné konfiskace tak završily více než tři sta dvacet let (1623-1947) trvající přítomnost italského šlechtického rodu Collalto et San Salvatore v moravském provinčním prostředí, která znamenala přínos ve všech oblastech kulturního, uměleckého i společenského, a také hospodářského života.

Areál zámku představuje vývojově složitý a postupně se rozrůstající komplex budov se středověkým jádrem a původně anglickým parkem založeným v roce 1817. V areálu najdeme jak pozůstatky donjonu ze 13. století a gotického hradu, tak i doklad vrcholné renesance s četným barokními a novogotickými úpravami. I když na dnešním stavu se podílí 100 let neúdržby, stojí za návštěvu.