Původní hrad, připomínaný v roce 1337, byl sídelním hradem Vartenberků, pánů z Dubé a Šlejniců, majitelů tolštejnského panství. V roce 1642 jej vypálili Švédové. Hrad sice již nikdy nebyl obnoven, ale během 19. století se z rozsáhlé zříceniny stalo oblíbené výletní místo s restaurací a vyhlídkou.