柴门是中轴线上的第四重建筑，也是最小、最简朴的建筑。它原本是杜甫营建草堂时所造的院门。因为低矮简陋，诗人作了如此命名。门上匾额“柴门”二字是著名画家潘天寿所书。