Музей был открыт в 1912 году при Московской консерватории. В фондах музея хранится более 900 редких музыкальных инструментов, личные архивы композиторов и исполнителей, коллекции фотографий и документов и богатая коллекция живописи. В 1912 году в здании Московской консерватории открылся Мемориальный музей имени Николая Рубинштейна – дирижера и основателя консерватории. Деньги на его открытие дал московский домовладелец и любитель музыки Дмитрий Беляев. Среди немногочисленных экспонатов были, например, письменный стол Петра Чайковского, портреты композитора Антона Рубинштейна и мецената Дмитрия Беляева, коллекция среднеазиатских инструментов и итальянская лира-гитара 1656 года.

Фонды пополнялись постепенно. Так, Модест Чайковский, брат композитора, подарил гипсовую посмертную маску Петра Ильича, а почитатель Николая Римского-Корсакова Сергей Белановский выслал перочинный ножик композитора, который, правда, был украден в 1925 году. В начале 1930-х годов музей оказался на грани закрытия. Тогда наступили тяжелые времена для всей консерватории. Но музей не закрыли, а в 1938 году на должность заведующей была назначена Екатерина Алексеева. С ее приходом музей начал постепенно восстанавливаться. В 1943 году, в разгар войны, он получил статус государственного, а в конце 1940-х годов имя Рубинштейна окончательно исчезло из его названия.

Музыкальный музей вышел за рамки мемориальной комнаты при консерватории и стал независимым институтом. В 1954 году в связи со 150-летием со дня рождения Михаила Глинки ему присвоили имя великого композитора. В 1982 году музей переехал в новый, специально для него построенный дом на улице Фадеева. Музей вел и ведет работу по пополнению своих фондов. Еще в 1943 году директор Екатерина Алексеева вступила в переписку с Сергеем Рахманиновым, проживавшим тогда в США. Композитор откликнулся на просьбу выслать для музея некоторые его личные вещи и музыкальные записи. Два раза Екатерина Алексеева ездила в США и из второй своей поездки в 1970 году вместе с исследовательницей творчества Рахманинова Заруи Апетян привезла 20 ящиков экспонатов для музея.

В последующие годы музей получал в дар множество предметов, связанных с мировой музыкальной культурой. Например, принадлежавший балерине Анне Павловой рукописный клавир (переложенную партитуру вокально-оркестрового произведения для фортепиано) балета или скрипку Страдивари, завещанную Давиду Ойстраху королевой Бельгии Елизаветой.

Основная экспозиция музея называется «Музыкальные инструменты народов мира». В пяти залах выставлено более 900 экспонатов. В отделе русских инструментов представлены девятиструнные гусли XIII века, найденные при раскопках в Новгороде, балалайки XIX века, старые рояли из Санкт-Петербурга 1830–1870-х годов, пастушьи рожки и, конечно, гармоники, получившие распространение только в 1830-х годах. Любопытны башкирская флейта курай, чувашская волынка шыбр с мешком из бычьего пузыря, карельский струнный инструмент кантеле, похожий на гусли и упоминающийся в эпосе «Калевала». Экспозиция среднеазиатских инструментов состоит в основном из предметов коллекции Августа Эйхгорна, служившего капельмейстером русских военных оркестров в Туркестанском военном округе с 1870 по 1883 год.

В 2011 году Музей музыкальной культуры был переименован во Всероссийское музейное объединение музыкальной культуры им. М. И. Глинки. Теперь в его составе еще пять мемориальных музеев: Музей-усадьба Ф. И. Шаляпина на Новинском бульваре, музей «П. И. Чайковский и Москва» на Кудринской площади, Музей-квартира композитора и директора консерватории А. Б. Гольденвейзера, Музей С. С. Прокофьева в Камергерском переулке и Музей-квартира дирижера и композитора Н. С. Голованова в Брюсовом переулке.