Počiatky hradu siahajú do pol. 13. storočia, keď na najvyššom bode brala postavili strážnu vežu, patriacu do skupiny fortifikácií, ktorých úlohou bolo zabezpečovať severozápadné hranice Uhorska. Stál neďaleko Vlárskeho priesmyku, dôležitého priechodu z Uhorska na Moravu. Ako kamenný objekt sa spomína v 14. storočí, keď patril Matúšovi Čákovi. Postupne vystriedal viacerých majiteľov. V roku 1394 patril Stiborovi zo Stiboríc, 1407 palatínovi Garovi, neskôr kráľovnej Barbore, kráľovnej Alžbete, ako aj viacerým šľachtickým rodinám. Kráľ Matej Korvín daroval hrad v roku 1470 zemanom zo Slopnej, ktorí začali používať prídomok Vršatský a hrad bol súčasťou ich hradného panstva. V 16. storočí rozšírili hrad o ďalšie, nižšie položené predhradie, kde postavili renesančný palác s okrúhlou baštou. V roku 1576 prešiel hrad do rúk spríbuzneného rodu Jakušičovcov. V 17. storočí sa majitelia presťahovali do novopostaveného renesančného kaštieľa v Pruskom. V roku 1680 hrad vypálilo vojsko a druhýkrát vyhorel a začal chátrať.