Po roce 1709, kdy statek Věž koupil Michal a Achác Kirchner, se jeho majitelé rychle střídali. V roce 1725 jej koupil rytíř František Josef Mozar. Ten dal v roce 1728 – 1730 k východní straně oblého zámku přistavět severní krátké křídlo a jednolodní barokní kapli sv. Jana Nepomuckého s půlkruhově uzavřeným presbytářem, klenutým křížovou klenbou a konchou. Stěny kaple, členěné pilastry, byly tehdy vybaveny sedlově uzavřenými okny. Nástropní malby na plackové klenbě pocházejí až z první poloviny 19. století. Věžský statek, zadlužený zejména neúspěšnými Mozarovými pokusy o dolování stříbrné rudy v okolí, se dostal do konkursu a byl roku 1733 prodán Václavu Ignáci Dejmovi ze Stříže. Jeho manželka Marie Karolina Dejmová dala v roce 1740 – 1750 upravit zahradní průčelí zámku, kde byl před jednoosý rizalit postaven balkón s rokokovou mříží, nesený čtyřmi egyptskými sloupy. Roku 1820 bylo celé zahradní průčelí upraveno empírově. Statek ve Věži, k němuž v polovině 18. století náleželo sedm vsí, zdědila po smrti Václava Segenschmieda Marie Anna Křivánková a její manžel Bernard. Za Marie Křivánková došlo ještě koncem 18. století ke klasicistní úpravě hlavního západního průčelí a v roce 1834 ke zmenšení zámecké kaple. V roce 1881 zámek s kaplí vyhořel a ještě téhož roku jej Eduard Křivánek prodal dr. Antonínu Waldertovi. Teprve počátkem 20. století byl zámek v plném rozsahu obnoven, když roku 1908 dal nový majitel Robert Stangler opravit i zámeckou kapli.
Původně barokní zámek ve Věži má dnes klasicizující hlavní průčelí s trojúhelníkovými štíty na atice a trojosé rizality s balkóny. Průčelí zdobí ornamenty na portálových vlysech a římse. Z klenutého přízemí vede do patra trojramenné schodiště na toskánských sloupech, jenž je opatřeno litým železným zábradlím. Součástí zámeckého areálu je rozsáhlý park se skleníkem a sýpkou. Severně k parku přilehlá novogotická
kaple „Krista Krále“ , která byla postavena v roce 1930 dle návrhu Vejse – Deyla z Hořic, s hrobkou a sochou Kristovou. V této hrobce jsou uložena některá těla majitelů zámku.
Zařízení zámecké
kaple sv. Jana Nepomuckého bylo pořízeno na počátku 20. stol., 3 obrazy pochází z původního zařízení z 18. století.
Zámek byl v roce 1948 od posledního majitele Roberta Stanglera převzat státem a po vnitřních úpravách je od roku 1958 majetkem Okresního ústavu sociálních služeb v Havlíčkově Brodě a je využíván jako Ústav sociální péče pro dospělé. I přez své využití je zámek stále dominantou obce Věž a jeho krásný park slouží k odpočinku mnoha lidí.
Zámek není veřejnosti přístupný.