קירות הפאלאצו דיאמנטי נתנו לו את שמו- יהלומים. אבנים מסותתות בצורה מחודדת היוצרות אשליה גאומטרית ומשחקי אור – בדיוק כמו יהלומים. זו היתה מטרתו של האדריכל ביאג'ו רוסטי (Biaggio Rosetti) בסוף המאה ה-15 כאשר ארקולה ד'אסטה, שליט פרארה, ביקש באמצעות ארמון זה להרחיב את גבולות העיר. בתוך הארמון המרשים קלויסטר שבמרכזו באר. במקום מוצגות מספר תערוכות – אחת היא של אומנות מודרנית (Galerria de Arte Moderna), ובקומה הראשונה, אוסף יצירות אומנות יקרות ערך (Pinacoteca Nazionale Di Ferrara). בנוסף מתקיימות בו תערוכות בינלאומיות מתחלפות.