隋唐时期，南京不再作为首都，玄武湖被冷落。大书法家颜真卿任升州刺史时，一度改玄武湖为“放生池”。不少著名诗人如李白、杜牧、韦庄、李商隐等，面对玄武湖地位的沧桑巨变大发感慨。南唐时期，玄武湖一度复兴，以致南唐大臣冯谧贪恋湖中“名目胜境，掩映如画”，而向皇帝提出将湖赠给他为私园的请求，此事因遭到徐玄的阻止才作罢。
北宋熙宁八年（1075年），江宁府尹王安石提出了“废湖还田”的主张，奏准宋神宗泄湖得田，玄武湖因此而消失了二百多年，严重影响了南京城内的排水。元朝大德五年（1301年）和元朝至正三年（1343年）的两次疏浚，玄武湖才重新出现。明朝洪武二年（1369年），明太祖朱元璋定都南京后，扩张南京城的范围，玄武湖从此成为明南京城东北城墙外的护城河，把城墙建到了玄武湖南岸、西岸一侧，使玄武湖与主城区及覆舟山、鸡笼山之间多了一道无法逾越的屏障，彻底改变了六朝以来南京城市北部山水相连的视觉景观，同时也阻断了玄武湖此前与长江的连通，使玄武湖的水面进一步缩小，湖面仅及六朝时期的三分之一。
同时在紫金山和玄武湖接合部建太平门一座，又在太平门外建“太平堤”（现成为龙蟠路一段），并将玄武湖紧贴钟山西麓的一片湖面隔为“中湖”（现“中湖”遗迹还保存于白马公园内），从而彻底把原先连绵一片的钟山—玄武湖区域人为分成两地，改变了此前这一地区千万年以来的山水格局。明朝洪武十四年（1381年），朱元璋选中玄武湖作为明朝中央政府贮存全国户口赋役总册、田亩档案的黄册存放地，建后湖黄册库（相当于如今的中央档案馆），禁止民众入内。
玄武湖从此作为一代禁地，与外界隔绝了二百六十多年。清朝时期，因避康熙帝玄烨名讳，改玄武湖为元武湖。康熙、乾隆南巡时均曾来此游历并留下诗词。清同治以后，元武湖有了一些园林建筑，其两江总督曾国藩在梁洲重修湖神庙，并增建湖心亭、大仙楼、观音阁、赏荷厅。后清大臣左宗棠还修筑了连通孤凄埂与梁洲的长堤，解决了游元武湖“必自太平门出，令舟而行”的不方便状况。
清朝道光二十年（1840年）以后，随着西风东渐，面向市民开放的近代“公园”在中国出现，公益性的“园林”概念进入中国，促使过去封闭和独占式的皇家园林、私家园林等向公园形态转变。清朝光绪三十四年（1908年）时任两江总督兼南洋通商大臣端方奉旨举办南洋劝业会，将湖泊辟为“五洲公园”对外开放，为方便中外来宾游览，决定在靠近劝业会会场的城墙上开辟城门。
工程尚未完工，端方调走，次年继任总督张人骏负责，因张人骏籍贯河北丰润，故命名为“丰润门”。丰润门（今玄武门）的开辟，是玄武湖的一大转折点，标志着玄武湖正式成为近代历史意义上的公园。后来陆陆续续筑翠虹堤以通湖上，玄武湖成为南京著名的游览区。民国初期，玄武湖沿袭清代名称“元武湖公园”并成立了相应的管理处，玄武湖管理处主要职责是管理园区内的绿化，同时兼管全市的园林绿化。
