金水桥得名于桥下蜿蜒流淌的金水河。据《元史·河渠志》记载：“金水河源出于京西宛平县玉泉山，流至义和门南水门入京城，故得金水之名。”按照古代五行学说，西方属于金，金又生水，因此有金水河之称，根据地理位置又被分别命名为内外金水河。实际上，金水桥的历史可以追溯到明初朱元璋在南京建都的时代。

　　据《明会要》载，洪武二十五年（1392年）十一月十一日，“改建大内金水桥成”。明人郎锳的《七修类稿》中也记载了一个故事：明初刑部尚书开济，聪慧而有辩才，有一次他陪朱元璋游金水桥，君臣二人信步走到桥中间，朱元璋忽然长叹一声，掉下泪来，问开济道：“朕为何如此？”开济回道：“过金桥，倚金栏，看金鱼，忆金妃，随金泪。”朱元璋大为叹服，又想捉弄他一下，于是上前抓住开济的手，说道：“绾手过金桥，有事不相饶！”开济不慌不忙，从容对道：“臣无亏心事，不怕帝皇刀。”这次君臣对也算作金水桥历史上的一段佳话了。