书香指的是香草的香气。

古人经常会在书中放置一种叫做“芸香草”的中药。这种中药不止可以防止虫子来咬食书籍，还可以给书流下一股淡淡的幽香气味。“书香”一词就由此转化过来。

书香门第在古时候指代出自读书人的家庭，到现在则指一种良好的家庭背景。这个成语出自文康的《儿女英雄传》，其中的书指家庭三代都熟读了四书五经，香指的是家族中有祖庙，门指的是家庭在当地有地位，第指的是家中有全城都熟知的名人。