בשיא שלטונה של משפחת פרנזה על פרמה ופיאצ'נזה, הוזמנה בניית הארמון על ידי אשתו של הדוכס אוטביו פרנזה, מרגרט מאוסטריה, בתו של הקיסר קארל החמישי. הבנייה החלה בשנת 1558 אך הופסקה בשנת 1602 כך שהארמון למעשה אינו גמור. מאז דעיכתה של המשפחה עבר הארמון מספר ידיים (משפחת בורבון, חיילי נפוליאון, שלטון אוסטרי). כיום המקום מאכלס מספר מוזיאונים חשובים: מוזיאון הכירכרות (מוזיאון מיוחד), הגלריה או הפינאקוטקה (אל תחמיצו את 'המדונה עם יוחנן הצעיר', מאת סנדרו בוטיצ'לי), מוזיאון הנשק העתיק (לאוהבי כלי נשק עתיקים ומלחמות), מוזיאון האיחוד האיטלקי/ריסורג'ימנטו (כמה רגעים של פטריוטיות איטלקית) ומוזיאון ארכיאולוגי (מרתק).