През есента на 1878 г. българският възрожденец от село Цер, Македония, Иван Шумков е назначен от губернатора на София - генерал Пьотр Алабин, за главен библиотекар на София като губернаторът му предоставя пари, за да й избере сграда. Шумков пише в мемоарите си следното за първите дни на Народната библиотека: „Сдобиен с 150-200 наполеона, спуснах се низ София да търся и намерих една от най-големите турски къщи и я предадох на предприемач да я поправи по моя план и вкус до 10-15 дни“. Според Иван Шумков библиотеката е тържествено открита на 8 ноември 1878 г. под името Софийска българска публична библиотека. След пристигането на княз Дондуков библиотеката е оглавена от Марин Дринов, който съвместява тази длъжност с тази на министър на народното просвещение. По предложение на Марин Дринов Учредителното народно събрание признава библиотеката за Българска народна библиотека и назначава за неин директор Георги Кирков от Плевен със заплата от 5000 лева, а за поддиректор е назначен Иван Шумков от с. Цер, Демирхисарско" с 4000 лева и квартира, отопление и осветление."

След това библиотеката се мести в Биюк Джамия (сегашният Археологически музей) до 1899 г., когато отново се мести на ул. "Раковски" 131 в една сграда, построена по архитектурния план на главния архитект на общината Алекси Начев. Тази сграда е унищожена по време на бомбардировките през Втората световна война.

През годините директори на Националната библиотека са личности като Константин Иречек, Стоян Заимов, Димитър Маринов, Пенчо Славейков и др.