Si deve a Niccolò di Manno Bufalini, avvocato concistoriale e fiscale della cancelleria di Sisto IV,  la trasformazione dell’antico fortilizio situato al confine tra la Toscana e lo Stato Pontificio; confine istituito con l’esito della battaglia di Anghiari 1440, dove la Repubblica Fiorentina arginò l’avanzata meridionale dei Visconti di Milano. La famiglia annoverò nel tempo personaggi di spicco in ambito militare, ecclesiastico, letterario e giuridico al servizio dello Stato Pontificio, di potenti casate e signorie come i Medici, i Farnese, i Colonna, gli Estensi e perfino di reali di Spagna, d’Inghilterra e soprattutto di Francia, agevolati dalla parentela con il cardinale Giulio Mazzarino. Il Castello dal 1487 recuperò la sua natura di fortezza difensiva su progetto dell'architetto romano Savelli e le indicazioni di Giovanni e Camillo Vitelli, esperti in architettura militare; successivamente nuovi raffinati interventi nobilitarono l’antico castello in una vera residenza gentilizia. Matericamente il massivo corpo del fabbricato, in pietra locale per la fascia basamentale e in laterizio per i corpi in quota, è puntualmente arricchito con episodi e inserti in pietra serena che individuano finestre, loggiato e portone d’accesso. Un elegante loggiato di gusto rinascimentale in pietra serena alleggerisce il fronte principale e raccorda le torri angolari, che disegnano planimetricamente un quadrato irregolare. Sui restanti fronti, ingentiliti con camminamenti merlati e loggiati, verranno aperte nuove finestre e alzata una torre campanaria. All’esterno, oltre il fossato a pianta stellare sorge uno splendido giardino all'italiana con alberi da frutto, fiori e verdure, galleria verde voltata e un elegante geometrico labirinto, scenografia ludica per gli invitati. La ristrutturazione degli interni è stata attribuita a Cristoforo Gherardi (1508-1556) per gli affreschi di Miti e Grottesche. Gli ambienti conservano ancora gli antichi arredi rinascimentali e barocchi con tappezzerie, maioliche e busti. Eccellente la stanza dei Fatti dei Romani dove una raffinata decorazione in stucco celebra episodi della storia di Roma. In occasione del matrimonio del primogenito Filippo Bufalini con la marchesa Anna Maria di Sorbello, 1700, si realizza il monumentale affresco nel salone d’onore che celebra il prestigio e la nobiltà dei marchesi Bufalini. La casata incaricherò Pinturicchio, per la decorazione della cappella di famiglia nella Basilica di Santa Maria in Aracoeli sul Campidoglio a Roma. Autentico gioiello illustrato con le storie del francescano San Bernardino a cui i Bufalini erano molto legati per aver, con le sue prediche, placato l’odio degli stessi con i Baglioni e i Del Monte. Dal 1989 il palazzo-fortezza è di proprietà del Ministero per i Beni e le Attività Culturali.