Le siège du Musée de la Ville et du Territoire se trouve dans l'Osteria dei Pellegrini.(Taverne des Pèlerins)
La construction de l’Osteria dei Pellegrini (Taverne des Pèlerins) fut favorisée par le grand-duc Ferdinand I de Médicis pour accueillir les pèlerins qui se rendaient au proche Sanctuaire de la Fontenuova pour vénérer l’image de la Madone.
Le projet fut confié à l’architecte grand-ducal Gherardo Mechini. Les travaux, sous la direction du contremaître Domenico Marcacci, commencèrent en 1607 et se conclurent en 1616. L’édifice de la Taverne continua à accueillir les pèlerins jusqu’en 1775, quand il devint le siège de la Communauté des deux Terres qui réunissait les communes de Monsummano et de Montevettolini. En 1833 on y établit le siège de la Chancellerie et, en 1855, l’édifice, acheté par la Communauté, fut destiné à abriter les prisons et les bureaux judiciaires qui y demeurèrent jusqu’à la moitié des années 70 du XXème siècle. Entre 1995 et 1998 l’édifice a fait l’objet d’importants travaux de consolidation et de restauration qui ont permis de réaliser le Musée de la Ville et du Territoire.
Le premier étage a été ouvert au public le 12 décembre 1998. Le second, dédié au XXème siècle, est ouvert depuis le 11 juin 2005.