Die besonders schwere Zugänglichkeit eines hohen Felsmassivs wurde von dem böhmischen Adeligen Cenek von Wartenberg als großer Vorteil angesehen, um auf diesem Felsen in den Jahren 1380 bis 1390 eine Burg zu bauen. Auf zwei weithin sichtbaren Felsen baute er sich eine Turm-Residenz, zu deren Füßen noch ein massiver, zehn bis dreizehn Meter hoher und 1,0 bis ein 1,8 m dicker Schutzwall, in drei Zonen gebaut, entstand. Der Hauptwall dieser Festung wurde teilweise zum Bau eines Palastes genutzt. Dieser bot adequaten Wohnkomfort und darüber hinaus auch noch viel Lagerraum in den unteren Stockwerken.
Der Erbauer des Schlosses Cenek von Wartenberg stammte aus einer bedeutenden Adelsfamilie, die Besitzer großer Güter im Norden und Osten von Böhmen war. Er verwaltete den lokalen Besitz von 1367 bis 1393, doch wegen seiner Schulden war er genötigt, Trosky und die Stadt Bydzov König Vaclav IV. zu überlassen., welcher den Besitz 1398 an Ota von Bergov verschenkte, dessen Familie aus Meißen nach Böhmen gekommen war. Seit 1388 ist Ota Oberster Burggraf und damit auch Oberkommandierender der Streitkräfte des Landes. Im Lauf der Jahre wird er jedoch zum Anführer des rebellischen böhmischen Adels gegen den König. Er wird zum Führer der Vereinigung des Adels und verhandelt als Mitglied des Kronrats mit des König’s Bruder, dem Kaiser Siegmund, der gerne auch Herrscher der Böhmischen Lande geworden wäre. Sein Sohn Ota, der das Schloss in Jahre 1399 erbte, vergrößerte den Besitz und führte Streit mit seinen Nachbarn. Er genoss die Gunst des Königs und wurde vielleicht deshalb zum Schrecken der kleinen Gutsbesitzer und, trotzdem er selbst Katholik war, auch der Klöster (so organisierte er z.B. die Plünderung von Kloster Opatovice).
Später führte er schwere Kämpfe gegen die Hussiten und arbeitete mit Kaiser Siegmund und den deutschen Städten zusammen. Als Vergeltung eroberte der Heerführer Jan Zizka einige der Schlösser aus Ota’s Besitz, auch die Stadt Turnov und Schloss Waldstein.
Im Jahre 1428 wurde Schloss Trosky von einem Feuer zerstört, nachdem die Hussiten vergeblich versucht hatten es zu erobern. Zehn Jahre später verübte eine Bande von Raubrittern unter Sofa von Heffenburg und seinem Freund Svejkar einen nächtlichen Überfall auf das Schloss und besetzten es. Sie töteten die Besatzung und nahmen Ota gefangen. Obzwar er nach kurzer Zeit wieder freigelassen wurde, entsandte man gegen die Missetäter ein örtliches Kommando. Drei Jahre lang versuchte es vergeblich, das Schloss zu stürmen. Den Verteidigern kam augenscheinlich ein Geheimgang ins Schloss und die großen Sandsteinhöhlen in dem Felsen unter dem Schloss zu Hilfe.
Für einige Jahre blieben die ungeladenen Gäste des Schlosses der Schrecken nicht nur der Nachbarschaft, sondern der ganzen Lausitz. Erst im Jahre 1444 gelang es den vereinten Kräften von Zittau und Görlitz, Sofa’s Mannschaft festzunehmen und sechsunddreißig von ihnen zu töten. Der Rest der Räuberbande zog von Trosky ab und machte sich auf den Weg zu Schloss Waldstein. Nach ihrem Abgang verkaufte der neue Erbe Jan von Bergov Schloss Trosky an Jan Zajic von Hasenburg, dem bereits Burg Kost und der zugehörige Besitz gehörte. Da Jan und sein Bruder Ulrich von Hasenburg zu den adeligen Rebellen gegen König Georg von Podebrad gehörten, belagerte der König deren Burgen. Er eroberte einige und im Jahre 1469 mußten die Brüder ihm die Burgen Kost, Hruba Skala und Trosky übergeben. Später wurden die konfiszierten Güter und Burgen von König Georg großzügigerweise an die Brüder zurückgegeben. 1497 kam Burg Trosky in den Besitz der Familie Selmberk, 1524 in den der Familie Biberstein und 1554 in den der Familie Lobkowitz. In dieser Zeit endete auch die Bedeutung der Burg als Adelssitz.
Während des Aufstiegs der Familie Smiric im Jahre 1559 erlebte die Region eine Periode wirtschaftlicher Blüte, in der etliche Teiche angelegt wurden. Während des Dreißigjährigen Krieges kam die Burg in den Besitz von Albrecht von Waldstein und nach dessen Ermordung in Eger 1634 blieben Burg und Gut in den Händen seiner Erben. Gegen Ende des Krieges wurde die Burg nochmals zum Schauplatz von Schlachten zwischen kaiserlichen und schwedischen Truppen und in dieser Zeit brach auch wieder einmal ein Feuer aus. 1820 verkauften die Waldsteins die Burg an Graf und Ritter Alpis Lexa von Ahrental, welcher, unter Einfluss des Romantismus, die Burg umgestalten wollte. Unter dem Namen Panna (Jungfrau) machte er sie, vor allem als Aussichtspunkt, zugänglich. Im Jahre 1843 reichte die Treppe über die Krone des Mauerwerks des Palastes hinaus. Der Tod des Grafen beendete weitere Bauarbeiten. In der Zeit zwischen den beiden Weltkriegen nahm der Klub Tschechischer Touristen kleinere Reparaturarbeiten vor. Später fiel die Ruine unter die Verwaltung des Instituts für die Pflege historischer Denkmäler in Pardubice, welches größere Konservierungs- und Sicherungsarbeiten vornahm.