波尔斯穆尔监狱坐落在开普敦一个风景区，北面有斯坦提亚伯格山脉，南面有数百公顷葡萄园。1982年曼德拉从罗本岛被转移回了南非大陆，关押在开普敦的波尔斯穆尔监狱，住在监狱的一个顶层公寓里。这个监狱的条件比在罗本岛上的要好，曼德拉在这里开辟了菜园并自己种植了很多植物。直到1988年12月，曼德拉的肺结核痊愈了，他被转移到了维克多监狱。