Schon zu Zeiten der Merowinger stand auf dem Hügel eine Burg, in dem die Könige vorübergehend wohnten. König Dagobert II und seinen Sohn Sigebert kennt man noch sehr gut. Im Mittelalter wurde die gewaltige Burg erbaut, die auf den alten Stichen der Stadt abgebildet ist. Die Biischöfe Conrad von Lichtenberg 1273-1299) und Frederic von Blankenheim (1375-1393) haben vor allem die Vollendung und die Entwicklung dieser Festung, die den Verteidigern der Stadt als letzter Zufluchtsort dienen sollte, gefördert. Umfangreiche Baumassnahmen werden dann von Erzherzog Leopold V von österreich, Bischof von Strasburg und Landsherr von Rouffach unternommen. Im Jahre 1657 nimmt der Bischof Franz Egon von Fürstenberg die Bauarbeiten, die durch das Elend des Dreissigjährigen Krieges unterbrochen worden waren, wieder auf aber er konnte sie nicht beenden. Die Baustelle wird unter der Revolution als Nationalgut verkauft an Privatpersonen, die die Oberbauten abrissen. Ein neues Gebäude wird zu Beginn des 19. Jahrhunderts erbaut und gegen 1885 von Xavier Ostermeyer vollständig restauriert. Die alten Kellergewölbe sind noch teilweise erhalten. Zurzeit macht eine Luxushotelkette daraus eines Ihrer Häuser.
Rue de Pfaffenheim, 68250 Rouffach