Дворец был построен для семьи Памфили в 1435 году, но после женитьбы Андреа Дориа на Анне Памфили (последней из этой семьи) в 1671 году дворец перешел к семье Дориа в качестве приданого. Художественная галерея в ней была создана кардиналом Камилло Памфили, племянником Папы Иннокентия X, чей портрет работы Диего Веласкеса сегодня является величайшим достоянием галереи и до сих пор считается непревзойденным шедевром портретной живописи.
Сегодня в четырех галереях этого дворца выставлено более 500 произведений искусства. После реставрации в 1996 году все картины были размещены в тематическом и хронологическом порядке по принципу «нет стен в поле зрения», как это и было задумано.
Здесь находятся такие известные картины, как «Иоанн Креститель» Тициана и «Кающаяся Магдалина» Караваджо.
Отдельные выставки представляют творения Рафаэля, Бриля, Бернини, Романо, Веласкеса.
Из личной коллекции папы Иннокентия X имеются работы таких мастеров эмилианской школы, как Корреджо и Пармиджанино, венецианской школы — Бассано, Беллини, Тинторетто, а также произведения фламандских живописцев.
В нем также представлены мраморные барельефы Дюкенуа, древнеримские статуи, мраморные портреты кардиналов, брюссельские ковры XVI века (шпалеры) и гобелены времен Людовика XIV.
В галерее не проводятся временные выставки, и коллекция очень редко пополняется. Солидному искусству нужны солидные музеи и солидные почитатели, и это становится понятно с первых же шагов по залам галереи Дориа-Памфили.
