据说当年岳飞大破金兵的时候，手下有个部将叫王佐。王佐曾用苦肉计说降了陆文龙。陆文龙上阵，把金兀术杀的大败。但王佐却从此缺了一只胳臂，不能再打仗了。岳飞便向皇帝保举他做安乐王，皇帝答应给他在杭州城内造一座王府养老。

安乐王的王府造在河边。动工的时候，泥沙、石灰、石板、木材堆满在河埠上。河上没有桥，原来的一只摆渡船，又被运砖送瓦的工匠占用了，老百姓没法来往，心里很生气，就编出歌儿来唱：

“安乐王，安乐王，为你安乐大家忙！”

王佐从军中回到杭州后，得知了这件事情，心里很不是滋味。他想：我一个人要那么大的王府做啥！不如拿这些材料在河上搭座桥，让大家方便些。于是，他就吩咐工匠，先挑扎实的青砖石板，在河上搭一座大桥，剩下的材料，随便造两间房子做王府。

百姓听说不造王府先造桥，大家都来帮忙。人多力量大，不到一个月工夫，便在河上造起一座宽阔平整的大桥。

河上有了桥，往来很方便，老百姓一高兴，又编出新歌儿来唱：

“安乐王，好心肠，造座大桥通四方。”

你也唱我也唱，一传两传，安乐桥也越来越唱出名来了。消息刮进地痞无赖妒嫉狂秦桧的耳朵里。秦桧心里立即妒忌起来，他说：“造一座桥也扬名！我如今就造它三座，一座比一座阔，一座比一座高，跟你王佐斗斗富有，看看你强还是我强！”

秦桧动动嘴，下面的官员便跑断了腿：增捐加税，抓夫派工，强迫老百姓不分昼夜的造桥。过了整整三个月，在安乐桥同一条河上，并排造起了三座桥，果然是一座比一座阔，一座比一座高。秦桧很得意，亲自给这三座桥取了名字，叫做“斗富一桥”、“斗富二桥”和“斗富三桥”。

桥是给人走的，一条河上有一座桥就够了。要造那么多做什么！老百姓恨死了秦桧，都赌气不走他那三座斗富桥。

因为杭州人讲话的声音“斗富”与“豆腐”差不多，后来老百姓为取笑妒嫉狂秦桧，就把那三座桥叫做“豆腐桥”。一直叫到现在。