断桥的由来跟一对段姓夫妻有关。传说在很早以前，游客到孤山去游玩，只能经过一座小木桥，小木桥经常容易烂断，非常不便。桥边住着一对段姓夫妻，男的捕鱼、女的卖酒，生意并不好。有一天他们招待了一位老人，老人给了他们三颗药，他们把药放进酒缸里，酿出来的酒吸引了很多人来喝，生意兴隆。

三年后老人又来到这座酒馆，段姓夫妻为了感谢他想给他送银子，但是老人不要，说让他们用在最要紧的地方。段姓夫妻就用这笔钱修筑了一座石桥，人们为了纪念他们夫妻，就把这座桥称为段家桥，因段、断同音，所以也叫断桥。