Millesimovský palác byl postaven v roce 1750 hrabětem Cavrianim. O šest let později koupil objekt hrabě Jan Carett Millesim. V 19. století zde bylo šlechtické kasino.