清朝末年，这条街已经开辟，原为龙口街的一部分。日治时期初期，改称龙口街三丁目、四丁目。大正11年（1922年），又改称佐久间町一丁目、二丁目、三丁目，为古亭庄到龙口庄之间的主要道路。当时街上建有日式建筑，住有不少高等文官，为总督府宿舍区。946年，台湾省行政长官公署公布“台北市政府改正街道名称一览表”，改称龙津街。1947年，台湾省行政长官公署公布“台北市新旧路名对照表”，正式定名为牯岭街，沿用至今。 战后，在台日本人陆续被遣返回日本，遂将一些难以携带的书籍、字画等物品，随地摆摊求售，“旧书摊”因而聚集起来。1949年，军公教人员陆续迁入，使得旧书来源更加充份，并以牯岭街为中心，扩大到邻近的福州街、厦门街及南海路一带。牯岭街旧书摊总数在极盛期曾多达二百余家，其中部分旧书摊扩大营业，成为旧书店。例如牯岭街17号的“松林书局”，是牯岭街的第一家旧书店，也是以摆旧书摊起家的。由于本街道近邮政博物馆，故吸引许多邮币社在此设立据点，与重庆南路二段、南海路共同组成台北市知名的邮币街。