Библиотека № 60 им. О. Э. Мандельштама была основана в 1936 г. как Библиотека № 35 Студгородка Ростокинского района г. Москвы.
В 1961 г. она переехала в новое помещение на Звездный бульваре, д. 4 (до 31 января 1964 г. – 1-я Новоостанкинская ул.). В 1977 г. Библиотека № 97 вошла в состав ЦБС Дзержинского района. В 1991, в Год Мандельштама ей было присвоено имя поэта Осипа Эмильевича Мандельштама.
9 апреля 2013 г. библиотека вошла в структуру ГБУК г. Москвы «ЦБС СВАО», 17 сентября 2014 г. получила современное название – Библиотека № 60 им. О. Э. Мандельштама ГБУК г. Москвы «ЦБС СВАО». Размер фонда – 37 414 экземпляров.
15 января 2016 г. отмечалось 125-летие со дня рождения О. Э. Мандельштама. В день рождения Осипа Эмильевича в библиотеке прошла литературная выставка, экскурсия и кинопоказ документального фильма «Сохрани мою речь навсегда» режиссера Ромы Либерова. На выставке «На бумаге» зрители увидели рукописи Мандельштама. 6 декабря 2019 года в библиотеке открылась авторская выставка «Прозрачно» современного художника-авангардиста Сергея Шехерова. Каждую из 15 картин художник назвал цитатами из произведений автора.