La Guerre de Cent ans, puis les Guerres de religion vont peu à peu affaiblir la cité, place stratégique sur la Loire entre la Bourgogne et le Berry. En 1559, un gigantesque incendie va précipiter la ruine du monastère, ravageant la totalité de la nef, une grande partie du prieuré et de la ville.
D’importants chantiers aux XVIIè et XVIIIè siècles contribuent à la renaissance de la ville et du prieuré, la nef est reconstruite sur 4 travées au lieu des 10 d’origine (d’importants vestiges sont visibles sur la façade de l’Office de Tourisme, à l’entrée de l’église). Après la Révolution, le prieuré, vendu comme Bien National est intégré dans le tissu urbain. Certains bâtiments seront occupés par des particuliers et des commerçants. Si la nef actuelle date de la fin du XVIIè siècle, le chœur et le transept ont gardé l’élégance architecturale des XIè et XIIè siècles. La renommée de l’église Notre-Dame est principalement due à la richesse de son décor sculpté, notamment de remarquables séries de chapiteaux et de pilastres, sans oublier deux tympans.
Le premier, le tympan de la Vierge est toujours en place au pied du clocher Sainte-Croix. En 1840, le second, celui de la Transfiguration, a été déplacé à l’intérieur de l’église, pour une meilleure conservation. Prosper Mérimée, inspecteur des monuments historiques fera classer l’église Notre-Dame, la sauvant ainsi de la destruction puisque le tracé initial de la route royale de Paris à Nevers traversait la nef. Depuis 1998, elle est classée par l’UNESCO « patrimoine mondial de l’humanité au titre des chemins de Saint-Jacques-de-Compostelle en France » sur la voie de Vézelay.