Kromeriz tuvo un papel importante ya durante la época del Imperio de la Gran Moravia, porqué estaba en el cruce de los caminos europeos. La importancia bajó en los siglos 9 y 10 cuando el duque Bretislav construyó un nuevo castillo en Prerov y después el duque Ota II de Olomouc vendió Cerny Kromeriz al obispo de Moravia Juan. Los obispos construyeron en Kromeriz su residencia de verano.
Kromeriz romana se menciona en el certificado de la inmunidad del duque Premysl en 1238.
La población logró el estatus de ciudad en 1260 del obispo Bruno de Schaunburg. En el mismo tiempo se construyó el
castillo fortificado del obispo. De aquel castillo se conservó sólo un torreón cuadrado masivo situado en un rincón del castillo actual. Durante los siglos 14 y 15 el castillo fue reconstruido algunas veces, pero era el Renacimiento que marcó al edifico principalmente. Bruno de Schaunburg también levantó la iglesia de San Moris y reconstruyó la iglesia parroquial de Virgen Maria.
Durante las guerras husitas la ciudad cambiaba sus dueńos pero después de la batalla de la Montańa Blanca volvió a la posesión del obispo de Olomouc.
En los ańos 1686-1711 el castillo fue radicalmente transformado al estilo del barroco gracias a la esfuerzo del obispo Carlos de Lichtenstein quién llamó al arquitecto italiano G.P. Tencalla. También empleó muchos escultores para realizar obras míticas y alegóricas.
El fuego en 1752 destruyó la mayoría de los interiores. Algunos artistas principales del barroco tardío de Austria se encargaron de la reconstrucción – entre ellos F. A. Maulbertsch, el autor de frescos precisos en la Sala Mansky (1759). Pronto después otro artista importante – France A. de Freenthal – decoró las paredes del Gran Comedor (1770-1772).
La importancia de Kromeriz subió en el ańo 1848, cuando allí se celebró la
reunión constituyente de las naciones de Austria. La mayoría de los cuadros que actualmente decoran el castillo, las compró el obispo Lichtenstein en la almoneda de las colecciones de Carlos I de Inglaterra. Entre los cuadros más valerosos estan por ejemplo las pinturas de Lucas Cranach Mayor, Tizian (Apolo y Marte), el retrato doble de Carlos I y su esposa de Van Dyck, obras de Paolo Veronese y los hermanos Basono.
El castillo con sus jardines extensos es el orgullo de Kromeriz. Todo el complejo fue ańadido a la lista del patrimonio de UNESCO. Uno de los jardines fue reconstruido en el estilo del romanticismo en el principio del siglo 19. Los jardines contienen muchas
estructuras menores diseńadas por A.Arche. El jardín de flores creado en 1666 es un ejemplo del “jardín d'agrement” manierista con rasgos arquitectónicos originales de G. P. Tencalla. En los ańos 1840-1845 fue reconstruido por A. Arche.
El cardenal Schrattenbach construyó entre los ańos 1724-1736 la iglesia barroca de Virgen Maria. La obra más grande de Kromeriz barroco es la iglesia de San Juan Baptista. El estilo del Renacimiento se refleja en la apariencia de los parques del castillo.