“张三李四王五赵六”后面没有了。最早说的是杭州的四姓18家。杭州先后曾作为五代吴越国和南宋都城。一度成为全国政治、经济、文化的中心，城市繁荣、人口来自四面八方。以后，历经战乱变迁，人口流动频繁。相传杭人只有留下18家，张姓三家、李姓四家、王姓五家、赵姓六家共计18家。
相传在元兵攻打杭州后，把杭州人***得来遍地横尸，原来杭州是马可波罗笔下“世界上最雍荣华贵的城市”，人口达180万，结果经过几天***掳后，元人到吴山上一瞭望，整个杭州城只有西面还剩下十八支烟囱在冒烟。
此时，元兵“大发慈悲”，说这十八家“且留下”。就这样，从此西溪一带有了“留下”这一地名，同时杭州也就传着老杭州人只有十八家之说，简称老十八家。即俗所谓“张三李四王五赵六”，共计为四姓18家。