La zona del Sasso è abitata sin dai tempi della pietra come dimostrato dalle ricerche speleologiche del M.se Saverio Patrizi nella locale grotta a lui dedicata. Molti reperti testimoniano la presenza di civiltà sin dall'Età del Ferro. Nel periodo Etrusco (VI sec. A. c.) il Sasso fa parte della zona di Caere (l'attuale Cerveteri), diventa zona di cure termali, acquae calidae caeretanae, sfruttata successivamente anche in epoca romana. Il Sasso è citato da Tito Livio e da Strabone, che lo definì "Frascati delle Maremme". Tra il XIII ed il XIV secolo, forse per sfuggire alla malaria ed alle scorrerie piratesche del Medioevo, il vecchio castello, di cui resta qualche rudere ai Sassoni, viene abbandonato e ricostruito come borgo fortificato nell'attuale ubicazione. Dal XII al XVI secolo il Sasso, che comprendeva una vasta tenuta agricola, passò di mano numerose volte, finché nel 1552 l'Ospedale di S. Spirito in Sassia lo vendette al nobile Senese Giovanni Patrizi. Nel 1655, Papa Alessandro VII eresse il Sasso a Marchesato insieme al vicino feudo di Castel Giuliano, anch'esso di proprietà Patrizi. Di questa famiglia si annoverano molti illustri personaggi: quattro Beati, Vescovi, Cardinali, Letterati, Politici, Filosofi, ed Esegeti biblici. Il M.se Giovanni Patrizi, fiero oppositore di Napoleone, fu Senatore di Roma (Governatore) dal 1815 al 1818. Infine il M.se Saverio Patrizi Naro Montoro naturalista e scienziato poliedrico, speleologo, esploratore africano e padre degli attuali proprietari. La Chiesa di Santa Croce custodisce una reliquia della Croce di Cristo ed un affresco sull'altar maggiore rappresenta i Beati Patrizio ed Antonio Patrizi vissuti tra il XII ed il XVI secolo.