Die Stadt Semily liegt am Fuß des sagenumwobenen Kozakov-Vulkans, am Zusammenfluss von Jizera und Oleska, in einem ausgedehnten Becken, das von den Ausläufern des Riesengebirges umgeben ist. Jahrhunderte lang war es der Sitz feudaler Herren. Für lange Jahre gehörte das Lehngut der Familie Smiricky, später dann Albrecht von Waldstein.
Danach fiel es ist die Hände ausländischer Adelsfamilien. Im Jahre 1890 wurden die Reste des Lehnguts von der Stadt Semily aufgekauft.
In den vergangenen Jahrhunderten kam es zur Entwicklung von Landwirtschaft, Handel, kleiner Manufakturen und später auch von Industrie, die sich die Wasserkraft zunutze machte. Mühlen, die Fertigung von Garnen und Leinen und Textildruck waren die Hauptwirtschaftszweige, 1515 kam eine Brauerei dazu. Der Bau der
Eisenbahnstrecke Pardubice – Liberec Ende des 19. Jahrhunderts war der Impuls zu einer schrittweisen Umwandlung der Stadt in die heutige industrielle Hauptstadt der Region mit Schwerpunkt Textil, Holzverarbeitung und Werkzeugbau.
Früher war die Stadt vor allem aus Holz erbaut und wurde von einer Reihe verheerender Brände verwüstet. Deshalb auch haben sich kaum historische Gebäude erhalten. Neben dem Gebäude des Museums aus dem Jahre 1760 ist das die
Friedhofskirche von Johannes dem Täufer (1727) und das Pfarrhaus (1797). Das wertvollste Denkmal ist eine Mariensäule aus dem Jahre 1738. Das Schloss aus dem 16. Jahrhundert ist zweimal ausgebrannt, wurde aber ist seinem ursprünglichen Erscheinungsbild wiedererrichtet und beherbergt heute die Regionalverwaltung. Interessante Bauten erhielt die Stadt Ende des 19. und Anfang des 20. Jahrhunderts. Es war dies eine Reihe von Häusern im Art-deco-Stil: das Bezirkshaus, das Sokol Gymnasium und Häuser in der Husova Straße und am Bahnhof – im früher autonomen Bezirk Podmoklice. Das dominante Wahrzeichen in Semily ist die neoromantische Kirche St. Peter und Paul, die im Jahre 1911 entstand.