El noble checo Cenek de Vartenberg aprovechó la inaccesibilidad del macizo de rocas y en los ańos 1380 – 1390 allí construyó un castillo fuerte. El castillo tuvo una torre residencial construida encima de dos rocas grandes y a pie de ellas estaban muros masivos construidos en tres zonas. Los muros eran de la altura de 1 metro y el grosor de 1 – 1,8m. El muro principal también servía para la construcción de los palacios. Ofrecían un confort adecuado de una vivienda y además tenían unos almacenes extensos en los pisos inferiores.
El fundador del castillo Cenek de Vartemberk era un miembro de una familia noble importante que tenía propiedades extensas en Bohemia del Norte u del Este. Él administró la propiedad local entre los ańos 1367 – 1393, pero por sus deudas estaba obligado a ceder el castillo de Trosky y la ciudad de Bydzov al rey Wenceslao IV. Él regaló el castillo en 1398 a Ota de Bergov quien vino a Bohemia con su familia de Meissen. Desde el ańo 1388, Ota era el burgrave supremo y por eso también el jefe de las fuerzas militares del país. Pero en los eventos políticos de la época, él dirigió la conspiración de los nobles checos rebeliones contra el rey. Era el líder de la Unión de los Seńores y como el miembro del consejo de la corona, negoció activamente con el hermano del rey – el emperador Zikmund. Zikmund intentó a hacerse el rey de Bohemia.
Ota consiguió el castillo en 1399 y después lo heredó su hijo – también Ota. Él extendió sus propiedades y tenía muchos conflictos con sus vecinos. Tenía el apoyo del rey y con su importancia era peligroso. Aunque era católico, era peligroso también para los monasterios (organizó la destrucción del monasterio de Opatovice).
Más tarde luchó contra los husitas y continuó en la cooperación con el emperador Zikmund y las ciudades alemanes. El comandante militar Jan Zizka conquistó algunos castillos en su propiedad tal como las ciudades de Turnov y el castillo Valdstejn.
En 1428, el castillo de Trosky sufrió de un gran fuego y después los husitas intentaron a conquistarlo. Diez ańos después, la banda del caballero-ladrón Sofa de Heffenburk y su amigo Svejkar hicieron la incursión con éxito y ocuparon el castillo. Mataron la guarnición y cogieron a Ota.
Sofa con Svejkar eran peligrosos para su alrededor y ocuparon el castillo hasta el ańo 1444, cuando la expedición de Zhorelec y Zitva les mató. Ya cuatro ańos antes, el Mayor de Bohemia de Este intentó a ocupara el castillo, pero Sofa con Svejkar lo defendieron gracias a los caminos secretos y cuevas en las rocas debajo del castillo.
En el ańo 1452 Jan de Bergov, el hijo de Ota, vendió el castillo a Jan Zajic de Hazmburk, el dueńo del castillo de Kost. Jan Zajic de Hazburg era un enemigo del rey husita Jiri z Podebrad y el castillo de Trosky fue conquistado por el rey en 1469. Después el castillo cambiaba dueńos varias veces, pero la época de su importancia ya terminó.
Tan sólo en el siglo 19, las ruinas de Trosky se hicieron interesantes otra vez. En esta época de romanticismo, las ruinas eran la inspiración para los poetas. En el ańo 1820, el castillo compró Jan Lexa de Ahrental y su hijo Alois construyó la nueva escalera para poder subir a la torre Panna (Virgen) y así aprovechar la vista de la torre. Pero Alois murió en el ańo 1843 sin acabar la escalera.
Desde el ańo 1928, el castillo es la propiedad del Club de los turistas checos con la administración del Instituto de los monumentos en Pardubice.