Il Museo della Città e del Territorio ha sede nell'Osteria dei Pellegrini.
La costruzione dell'Osteria dei Pellegrini fu promossa dal Granduca Ferdinando I de' Medici per accogliere i pellegrini che si recavano a venerare l'immagine della Madonna nel vicino Santuario della Fontenuova.
Il progetto venne affidato all'architetto granducale Gherardo Mechini. I lavori, con la direzione del capomastro Domenico Marcacci, presero il via nel 1607 per concludersi nel 1616.
L'edificio dell'Osteria continuò ad assolvere la funzione di accoglienza dei pellegrini fino al 1775, quando divenne sede della Comunità delle due Terre che unificava i comuni di Monsummano e Montevettolini.
Nel 1833 vi si stabiliva la sede della Cancelleria e nel 1855 l'edificio, acquistato dalla Comunità, fu destinato ad ospitare le carceri e gli uffici giudiziari che vi rimasero fino alla metà degli anni '70 del Novecento.
Tra il 1995 e il 1998 l'edificio è stato oggetto di importanti lavori di consolidamento e restauro che hanno permesso la realizzazione del centro culturale polivalente costituito dal Museo della Città e del Territorio, dall'Archivio Storico Comunale, dalla Biblioteca Comunale Giuseppe Giusti.
Il Museo della Città e del Territorio si sviluppa su due piani. Il primo piano è stato aperto al pubblico il 12 dicembre 1998. Il secondo, dedicato al Novecento, è aperto dall'11 giugno 2005.