Väike palee ehitati 1317 aastal. Ta asub põhja pindala, vastupidi Paavsti residentsi ja nime nii täpselt, sest oma tagasihoidliku suurusega ja väärtusi, võrreldes lossi rooma paavstide.

Ajalugu on selle teate ebamäärane: ühe versiooni – see oli ehitatud vennapoeg paavst Johannes XXII, Arno de Via, teine - see oli ehitatud kardinal Беренжером F. Vanem. Pärast tema surma palee ja külgneva ala olid lunastada kardinal Arno de Via. Sel aastal 1335 De Via suri ja palazzo kellelegi ei kuulunud kuni koguduse paavst Benedictus XII, kes jälle ostis selle ja muutunud ametliku elukohaga авиньонского peapiiskop.

Hoone on tugevalt mõjutatud ajavahemikul 1396 on 1411 aastal, sest arvati juurdunud цитаделью авиньонских isad. Pärast vaenutegevuse lõppu palee järk-järgult allakäik. Teisel poolel XV sajandil piiskop Alan de Котиви ja tema järgija Giuliano della Ровере (mis hiljem muutub Paavst Julius II) otsustasid taastada hoone ning 1503 aastal andis talle peaaegu esialgse välimuse. Della Ровере saabus Avignon on 1474 a, sest ta nimetati oma onu, Isa Сикстом IV, piiskop авиньонским. Ta достроил lõuna-ja lääne-fassaadid stiilis itaalia renessanss ja 1487 a. tõstis oma torn (hiljem 1767. aastal oli hävinud).

Prantsuse revolutsiooni ajal palee saanud riigi omand, XIX sajandil seal oli katoliku kool, hiljem kutseõppeasutuses. Ainult lõpus ja XX sajandi territooriumil palace avati muuseum.

1958. aastast alates asub siin Muuseum Keskajal. 1976 siin avati kunstigalerii tööde meistrid Renessanss. Kell 19 muuseumi saalides eksponeeritud töö, eriti, Sandro Botticelli, Таддео Гадди, Таддео di Бартоло, Lorenzo Monaco, sealhulgas siin asub ka kuulus "Madonna" Botticelli.