Costruito intorno al 1292 da Alberto Scoto, fu abitazione del giudice e dimora saltuaria dei conti di Santa Fiora. Nel 1543 vi fu ricevuto il pontefice Paolo III Farnese in occasione della sua visita alla figlia Costanza, signora di Castell’Arquato.

Di notevole presenza un vasto locale a pian terreno, la sala d’armi, da cui parte un cunicolo sotterraneo diretto verso il Torrione e attualmente praticabile solo per alcuni metri. Probabilmente esisteva anche un passaggio pensile fra questi due edifici testimoniato da due posterle in corrispondenza del primo piano del Torrione e ora chiuse.

Al di sotto del Palazzo del Duca accedendo tramite un’ampia scalinata si apre la Fontana del Duca. Costruita nel 1292 dal Podestà Tedizio de Spettins per conto di Alberto Scoto per secoli servì la popolazione del quartiere.

Dalle sue otto cannelle si attingeva l’acqua con i secchi per gli usi domestici; le donne vi facevano il bucato e, nella vasca laterale, non era raro vederle mentre lavavano i loro bambini. Gli statuti del Trecento citano la sua sorgente imponendovi tutto intorno una zona di rispetto.