Památkově zabezpečovaná zřícenina rozsáhlého královského hradu na výběžku kopců západně nad náměstím městečka.
Hrad byl vybudován k ochraně cesty Vlárským průsmykem. Za husitských válek byl několikrát neúspěšně obléhán Zikmundovým vojskem. Na počátku 2. poloviny 15. století se hradu zmocnil Matyáš Korvín a od něj získal Brumov do zástavy (od roku 1503 dědičně) uherský rod Podmanických. Dále střídal majitele. V 16. století zřejmě v souvislosti s nebezpečím tureckých vpádů opraven, zesíleno opevnění a vybudováno rozsáhlé opevněné předhradí severně od hradu. V roce 1621 se vzbouřili poddaní a za pomoci emigrantů hrad dobyli. Od roku 1626 náležel uherskému rodu Forgáčů, v roce 1659 panství rozděleno na 5 dílů. Ještě na přelomu 17. a 18. století plnil hrad strážní funkci na uherské hranici, v roce 1760 vyhořel a byl nouzově opraven, v 20. letech 19. století byl opuštěn. Tehdejší majitelé Illesházyové vybudovali pro panské úřady novou patrovou budovu v městě, nazývanou též zámek. V roce 1945 přešla zřícenina do majetku města.