Au cours des siècles, L'église Saint Jacques reste en constante construction et prend les dimensions imposantes d'une cathédrale !

Son architecture gothique lui donne une harmonie et une unité. Très marquée par l'histoire maritime de Dieppe, armateurs et confréries vont contribuer à son embellissement en finançant la construction des chapelles latérales pour honorer leur Saint patron. De nombreux graffitis marins ont été retrouvés sur les murs de l'édifice et de la tour.

Le mur du Trésor, la frise « des sauvages » ainsi que la chapelle Jehan Ango, riche armateur dieppois du XVIème siècle, constituent des éléments remarquables de la période Renaissance.

À l'extérieur, une tour-beffroi, haute de 42 mètres, s'élève au sud de la façade ouest. La tour-lanterne, détruite à plusieurs reprises, a été reconstruite au XVIIIème siècle avec un dôme surmonté d'un lanternon, déposé en 2015 pour restauration et remonté en 2018.

Les transepts nord et sud, éprouvés par le temps, ont été restaurés de 2004 à 2008.

En 1840, l'église Saint-Jacques est parmi les premières églises classées aux monuments historiques.