A l’instar de la première moitié du XIXe siècle où littérature et architecture sont étroitement associées, où la question du patrimoine devient centrale, le poète se place en ardent défenseur du patrimoine à la suite de son célèbre plaidoyer « Guerre aux démolisseurs » en 1825. Son œuvre la plus célèbre sur ce sujet reste bien sûr le roman Notre-Dame de Paris, véritable manifeste esthétique publié en 1831, dans lequel il développe sa conception particulière de l’architecture où la cathédrale, monument grandiose, renvoie aussi bien à l’histoire qu’à l’écriture. Dans le fameux chapitre « Ceci tuera cela », l’écrivain fait une analogie entre les pierres et les mots. Tous deux matériaux de construction, la littérature est une architecture de mots comme l’architecture est une écriture de l’histoire. 

Cette présence de l’architecture se retrouve dans d’autres romans avec une place importante laissée aux édifices qui échafaudent et ponctuent le récit.

Cet intérêt pour le motif architectural irrigue également tout son œuvre graphique. Châteaux et donjons, ruines et chaussées, églises et cathédrales, forteresses et escaliers… forment très tôt l’iconographie principale de ses carnets de croquis et de ses dessins. 

Le sens de l’observation et l’imaginaire de Victor Hugo se déploient à travers des monuments réels ou rêvés, célèbres ou intimes, précis ou visionnaires, immenses et minuscules, grandioses ou modestes. Cette approche concerne aussi une architecture personnelle à Hauteville House, sa maison pendant l’exil à Guernesey, où il expérimente une vision architecturale en trois dimensions.