Eилтширское поместье графов Пембруков из рода Гербертов, находящееся в их руках на протяжении 450 лет — со времени, когда король Генрих VIII пожаловал своему свояку Уильяму Герберту, 1-му графу Пембруку, полуразрушенное Уилтонское аббатство, история которого восходит к VIII веку. Одной из уилтширских настоятельниц была святая Эдита, дочь короля Эдгара.
От дворца 1-го графа Пембрука, приписываемого самому Гольбейну, уцелела только одна въездная башня, напоминающая аналогичное тюдоровское сооружение в Хэмптон-Корте. В 1630-е годы позднеготический дворец-замок оказался безнадёжно устаревшим, вследствие чего была предпринята его перепланировка в палладианском стиле. Автором проекта называют Иниго Джонса, хотя основную часть работы, скорее всего, выполнял его помощник, француз Исаак Деко.
В течение XVII—XVIII веков (особенно после пожара 1647 года) дворец неоднократно достраивался и перестраивался. Его интерьеры постоянно пополнялись художественными сокровищами — среди них произведения Рубенса и ван Дейка, Рембрандта и дель Сарто, Лели и Чиппендейла. В 1801 году для подновления усадьбы был приглашён Джеймс Уайет, попытавшийся стилизовать отдельные части здания в неоготическом стиле под сказочный Камелот. Эту работу не принято относить к удачам архитектора.

Весьма энергично занималась благоустройством Уилтон-хауса «русская графиня Пембрук» — Екатерина Семёновна Воронцова, сестра князя М. С. Воронцова и жена Джорджа Герберта, 11-го графа Пембрука. В память о ней в одном из помещений дворца сохраняются её русские сани. Существует и другая связь Уилтон-хауса с Россией: императрица Екатерина II велела построить в Царском Селе мраморную копию живописного Палладиева моста из Уилтонского парка, слава о котором разносилась по всей Европе.
В родовом поместье графов Пембруков и Монтгомери снимались такие костюмные фильмы, как «Барри Линдон», «Разум и чувства», «Гордость и предубеждение», «Безумие короля Георга».