Potstejn son las ruinas de un castillo de finales del siglo 13. El castillo fue construido por la familia de Drslavic de Bohemia del Oeste durante la época de la extensa colonización de las cuencas de los ríos Ticha y Divoka Orlice. El segundo dueńo del castillo era Mikulas de Potstejn, un caballero-rebelo famoso en su época y también un ladrón. Durante la lucha por la corona checa, Mikulas estaba en contra del rey checo. En 1339 el margrave de Morava Carlos (más tarde llegó a ser el rey checo más famoso Carlos IV) sitió el castillo 9 meses y en final le dio el golpe de gracia. Mikulas murió en las ruinas del castillo. No conocemos el aspecto del castillo antiguo. Como un sitio estratégico importante Carlos IV construyó el castillo de nuevo en 1355. Importante es la primera mención sobre la capilla del castillo. Notable es el sistema de defensa debajo del castillo (durante de las guerras husitas, el castillo estaba medio ańo sitiado). No mucho ha sobrevivido de la época de los siglos 13 y 14. Desde la época de la reconstrucción de Carlos IV origina el palacio de dos edificios (actualmente el centro de ruinas). El castillo estaba rodeado por murallas, una baluarte y un foso profundo.
En el siglo 15, después de las guerras husitas, el rey Jorge de Podebrady hizo de Potstejn una ciudadela militar del nivel alto. Él construyó y esforzó la fortificación.
Durante la época de posesión de la familia de Pernstejn (desde 1495) el castillo vivió una nueva expansión. El castillo creció para ser una residencia feudal importante. El castillo protegieron tres murallas, fosos y torres. Adaptaciones del edificio y decoraciones del interior siguieron en el siglo 16. Pero el castillo empezó a ser incomodo para vivir y próximamente desde el siglo 17 se quedó abandonado.
En la nueva historia del sitio, el conde Jan Ludvik Hardubal-Chamare tuvo un papel importante. Él era un emigrante del origen francés y en la ciudad abrió una manufactura textil. Su hijo Jan Antonin no era un comerciante tan bueno, pero estaba obsesionado por encontrar el tesoro legendario de Mikulas de Potstejn. Al final no encontró casi nada aparte de unas llaves, espuelas y herraduras pero socavó el castillo que más tarde empezó a caerse en ruinas. Actualmente Potstejn está en la posesión del estado. En la ciudad de Potstejn se encuentra una exposición sobre la historia del castillo. Está inspirada por la novela Poklad (Tesoro) del escritor Alois Jirasek.