אנדראה פלדיו הוזמן לתכנן ולבנות את הארמון על ידי הרוזן ג'ירולמו קיאריקטי. הארמון נבנה באזור שנקרא "פיאצה דל'יסולה" (כיכר האי, כיום פיאצה מטאוטי), בו שכן שוק העץ והבקר. באותה תקופה היה האזור מעין אי מוקף בנחלים רטרונה ובקליונה, וכדי להגן על המבנה מפני השיטפונות התכופים ומן הבקר שנמכר מול הארמון בימי השוק, תכנן אותו פלדיו במיקום מוגבה. ניתן לגשת לכניסה באמצעות גרם מדרגות משולש בסגנון קלאסי. מאז 1855 שוכנים בארמון המוזיאון והגלריה העירוניים (Museo Civico). בקומה הראשית יצירותיהם של גדולי האמנים הוונציאנים במאה ה -16: בסאנו, טינטורטו, ורונזה, כמו גם הפסלים של סנסובינו, ויטוריה וגבישי הסלע של ולריו בלי.