A sinistra della cattedrale vi è il palazzo episcopale. Imponente edificio che si sviluppa su pianta rettangolare, lungo la strada extramurale assumendo anche la funzione di cinta muraria. E' stato oggetto di rifacimenti recenti, ma il suo aspetto architettonico originario è rimasto invariato. Il prospetto frontale si presenta in pietra a faccia vista; una coppia di lesene, sovrapposta al portale, sorregge un cornicione con al centro lo stemma episcopale. Sul cornicione poggia un'ampia finestra-balcone con architrave in pietra sagomata. In questo palazzo avvenne l'assassinio del vescovo A. Serrao nel 1799.