In origine lo stabile costituiva l'ala occidentale del monastero dei padri conventuali di San Francesco. Con la soppressione dell'ordine monastico e il trasferimento al demanio dello Stato delle proprietà del monastero, il palazzo fu adibito nel 1810 a tribunale, e dopo il 1860, ospitò il primo prefetto della Provincia. Lo stabile ha subito interventi di ristrutturazione ed ampliamento fino al 1908 assumendo l'aspetto attuale. Alle spalle del palazzo è possibile ammirare i giardini della villa del Prefetto, realizzati nel 1800 su terrazze collegate da camminamenti e scalinate balaustrate con fitta e rigogliosa vegetazione.