Здание Толстовского центра — памятник архитектуры конца XVIII века, но примечательно оно не только этим. Дом входил в ряд строений, принадлежавших купцу Василию Варгину, в одном из которых в 1857-1858 годах квартировал молодой Толстой до «Войны и мира» и «Анны Карениной». Тогда это был офицер-артиллерист, герой обороны Севастополя, только-только вернувшийся с войны и поселившийся у сестры Марии Николаевны. Он уже покорял литературные круги «Севастопольскими рассказами», сблизился с Александром Николаевичем Островским и Афанасием Афанасьевичем  Фетом. В гостиную на Пятницкой в это время заходили братья Аксаковы, Михаил Евграфович Салтыков-Щедрин и философ Борис Николаевич Чичерин. 

Молодой писатель, только начинающий свой творческий путь, работал над «Казаками», рассказами «Альберт» и «Три смерти».  Толстой ездил на балы и в театры, повстречать его можно было и в гимнастическом зале на Дмитровке. Еще без привычной всем бороды, но с игральными картами, он покорял столицу и сам в нее влюблялся. Об этом — выставки Толстовского центра на Пятницкой «Молодой Толстой» и «Москва, которую Толстой любил». Особняк стал частью музея в 1981 году, с тех пор здесь проводятся концерты, заседания Поэтического клуба, вечера-встречи с деятелями культуры, детские музейные программы.