Проектировали и строили дворец Н. А. Дурасова в 1801–1806 гг. архитекторы Р. Р. Казаков и И. В. Еготов. Его уникальная планировка, сочетающая крест и круг, восходит к проектам французского архитектора XVIII в. Ж. Ф. Неффоржа. Росписи на античные сюжеты выполнили итальянские художники Д. Скотти и С. Ольдинелли.
Во время войны 1812 года дворец чудом не пострадал. После смерти Н. А. Дурасова в 1818 г. последующие владельцы старались сохранять внешний облик и интерьеры дворца. В 1998–2003 гг. была проведена научная реставрация дворца, сегодня его можно увидеть таким, каким он был 200 лет назад.
Открыты постоянно действующие экспозиции: «Есть много чудных мест, украшенных на диво», «Театр. Чудесные превращения (мир театра рубежа XVIII – XIX веков)». Украшением Мраморного зала является скульптура «Венера Италийская» (копия «Венеры Италийской» знаменитого итальянского ваятеля Антонио Канова). В витринах Мраморного зала демонстрируются изысканные каминные часы XVIII–XIX вв.