Die Stadt Svitavy lag seit ihren Anfängen an der Kreuzung wichtiger Handelswege. Diese Lage ist für die Stadt hilfreich nicht nur vom wirtschaftlichen, sondern auch vom touristischen Standpunkt.
Das älteste Dokument, in dem die Stadt erwähnt wird, ist ein Schreiben aus dem Jahr 1256 mit einem Beschluss über den territorialen Streit zwischen dem Olmützer Bischof Bruno von Schauemburg und den Prämonstratensermönchen des Klosters in Litomysl. Damals fiel das Gebiet von Svitavy dem Bischof zu.
Etwa um 1266 berief der Bischof von Olmütz neue Siedler aus Deutschland, das damals zu dicht besiedelt war. Diese Siedler ließen sich um
die Kirche der Heimsuchung Mariä nieder, etwa an der Stelle des heutigen Hauptplatzes der Stadt. Deshalb war die Einwohnerschaft der Stadt damals überwiegend deutsch, im Gegensatz zu der von Alt-Svitavy. Im Jahre 1389 begann auf Wunsch des Bischofs Nikolaus von Reisenburg der Bau der Stadtmauern. Die Stadtbefestigung hatte drei Tore: das Brünn-Tor, das Mittlere und das Obere Tor.
Zwischen 1425 und 1484 war die Stadt im Besitz verschiedener Adeliger. Der letzte Besitzer war Jesek Svojanovský von Boskovice, der sie an Johann Filipec vom Bistum Olmütz verkaufte.
Das 16. Jahrhundert wird manchmal als
das Goldene Zeitalter der Stadt bezeichnet, da sie verschiedene Rechte und Privilegien erhielt. Die Zünfte entstanden, auch ein Stadtarchiv und man errichtete künstliche Seen. Im Jahre 1538 kaufte
der Stadtrat von Svitavy ein Gebäude auf dem Hauptplatz, um daraus ein neues Rathaus zu machen.
Leider kamen jetzt schlechte Zeiten über die Stadt – die Pest, Feuersbrünste und der Dreißigjährige Krieg mit Plünderungen durch die Schweden in den Jahren 1639, 1640 und 1642.
Erst der Westfälische Frieden ermöglichte der Stadt eine neue Entwicklung von Handel und Handwerk. Im Jahre 1656 bewilligte der Olmützer Bischof Leopold Vilém der Stadt ein Jahrmarkt-Festival und neue Privilegien und Zunftrechte, die alle zum Grundstock für die Entwicklung offizieller Handwerkszünfte wurden.
Im 17. und 18.Jahrhundert wurde in Svitavy vor allem Textil hergestellt. Im Jahre 1845 begann der Bau der
Eisenbahnlinie Prag – Brno (die durch Svitavy führte); 1869 wurde der Bau des städtischen Gaswerks beendet und 1894 wurde das erste Kraftwerk gebaut. Nach 1989 legte die Stadt einen neuen Entwicklungsplan auf – seit damals wird das Stadtzentrum renoviert, andere Stadtteile wurden komplett umgebaut und eine Schwimmhalle wurde errichtet. 1995 nahm
eine Druckerei der amerikanischen Firma Westvaco Ltd. die Arbeit auf.
Svitavy’s Lage macht die Stadt auch für Touristen attraktiv. Unweit von hier befinden sich die wunderschönen historischen Städte Litomysl und Policka, westlich der Stadt beginnen die Hügel des Böhmisch-Mährischen Hochlands und auch die mährische Karstregion ist nicht weit.