За три века своей истории усадьба князей Голицыных на Волхонке неоднократно меняла облик. Автором первоначального проекта был известный петербургский архитектор Савва Чевакинский. В 1774 году усадьба была перестроена и стала центральной частью Пречистенского дворца, сооруженного по проекту Матвея Казакова для Екатерины II.
Стены этого дома повидали многих именитых людей. На роскошных балах не раз появлялся А. С. Пушкин. Александр Сергеевич даже собирался обвенчаться с Натальей Гончаровой в домовой церкви князя Голицына, однако обряд венчания был устроен в церкви Вознесения Господня у Никитских ворот. В 1877 году в главном доме поселился Александр Николаевич Островский. Здесь он закончил пьесу «Последняя жертва», написал «Бесприданницу», «Сердце не камень», «Таланты и поклонники». В 1885 году соседнюю квартиру занял Иван Сергеевич Аксаков – один из лидеров славянофильского движения.
В 1865 году в пяти залах главного дома усадьбы Голицыных открылся бесплатный музей, состоявший из семейных коллекций. В музее было три раздела: западноевропейская живопись, скульптура и декоративно-прикладное искусство; античные памятники; библиотека. В живописном собрании хозяев дома были представлены работы Брейгеля, ван Дейка, Веронезе, Каналетто, Караваджо, Перуджино, Пуссена, Рембрандта. Через год, в связи с финансовыми трудностями, коллекция музея была продана Эрмитажу. После революции, в конце 1920-х годов, главный дом усадьбы стал Коммунистической академией; его надстроили двумя этажами, в результате чего был утрачен фронтон. Внушительные ворота, увенчанные княжеским гербом Голицыных – единственное, что дошло до наших дней в своем первоначальном виде.
После завершения реконструкции в бывшем здании центрального корпуса усадьбы Голицыных откроется Галерея искусства импрессионистов и постимпрессионистов, в которой будут экспонироваться произведения выдающихся мастеров второй половины XIX – начала XX века: Мане, Моне, Ренуара, Дега, Писсарро, Сезанна, Гогена, ван Гога, Матисса и фовистов, Пикассо и кубистов, происходящие из коллекций знаменитых дореволюционных московских коллекционеров С. И. Щукина и И. А. Морозова.