林书豪的父亲是林继明，出生于台湾彰化县北斗镇，祖籍福建省漳州市漳浦县，是一名半导体工程师。

林书豪的母亲是吴信信，祖籍浙江省嘉兴市平湖，是一名电脑软件工程师。

林书豪的父母育有三子，林书豪排行第二，在美国加州帕罗奥图出生长大。

林书豪的外婆陈意子为浙江嘉兴人，医生，热心公益，曾为家乡平湖中学捐款助学数十载。林书豪的外曾祖父是浙江知名报人陈惟俭。其兄林书雅目前在纽约大学就读牙医专业。其弟林书伟，现正就读排名全美前二十五名文理科大学的纽约汉弥敦学院，也是篮球校队成员。