Одна из старейших библиотек Москвы. Учреждена по решению Московской городской думы в 1900 году. В 1912 г. «городом приобретено владение наследников Ф. Д. Мухина, Басманной части 1 уч., под № 127-99, на Елоховской площади за 180 000 рублей для нужд городских и просветительных учреждений». С осени 1912 года и по сей день библиотека располагается в этой усадьбе, признанной памятником истории и архитектуры федерального значения. По предложению городского головы князя В. М. Голицына, для заведования читальней была избрана старшая дочь А. С. Пушкина Мария Александровна Гартунг, которая «в течение десяти лет с чувством гордости и ответственности исполняла эту роль».

Еще в 1901 году появилось отделение для выдачи литературы на дом. Это был первый опыт создания абонемента среди московских библиотек. Надо заметить, что доступ к книгам был открыт всем слоям населения. В 1913 открылось детское отделение. После революции фонд читальни пополнился книгами с реквизированного склада Ступина и других книжных складов, конфискованными собраниями личных библиотек. В 30-х гг. начали работу юношеское отделение, отдел литературы на иностранных языках и нотное отделение. С первых дней своего существования библиотека являлась культурным центром района. В ее стенах выступали Илья Эренбург, Василий Гроссман, Ираклий Андроников, Натан Эйдельман. Сохранились стенограммы лекций, прочитанных в 1935 году Викентием Вересаевым, Мстиславом Цявловским, Дмитрием Благим. Работа не прекращалась и в военное время: на станции метро «Бауманская» организовали дополнительный читальный зал; была налажена работа в госпиталях, в воинских частях МПВО, частях пожарной охраны, на Ярославском вокзале, всего в общей сложности действовали пятьдесят передвижных пунктов выдачи литературы. У библиотеки существовало свое бомбоубежище, куда во время налетов спускались сотрудники и читатели. В 1942 году учреждение наградили грамотой Московского военного округа, а в 1943 библиотека получила переходящее Красное знамя.