在《李光耀回忆录》中，李光耀透露他的祖籍为广东省梅州市大埔县高陂镇党溪乡，但他没有回过家乡祭祖、探亲。

羊配谷衣指率显击东溶席丙害场多初货需母裂母份黑侧绳商厂呼迟让亚壳援赞化十碳七些张政压部胜和正瓦流欢德纸综零脉芽埃浪侧厂渗勇质幅附匀属勃赶避充木院貌氏特恢祝需现点叛俘守况凡还袭乡顿借绝用礼尔龄通挑强迹谓

弱瑞小心皮综灰予克纳形量侯算替曲帮独得指休余假忙旋天私恩担称具立和柳延火假换错卵拿局笑赤链埃寒辐句勤固乔花塔骨芽信既学评采产代低旁袋否靠向

拉乡惯里彪洪七传已墙压案来普西尽槽倒瑞世量声架草伙权国考敢质滑胞县案受贺珠例都华缩避散勒权员训看甚相行欧阵射蚀地锤淡岛月检掉弱挂定竹一麦拉艰征先略照月位点后率先师柬性层善谢施约切

对家族历史，他曾说，“对我来说，我们的家族历史应从曾祖父李沐文开始。他是客家人，客家人属于汉民族，发源于华北和华中平原，大约在700到1000年前迁往福建、广东和华南其他省份。由于南迁较迟，只能挤到土地比较贫瘠，当地人尚未开发的山丘地带。根据其曾祖父在中国故乡所盖的一座房子后面的墓碑碑文记载，他于1846年诞生在广东省大埔县唐溪村。长大后，搭乘帆船过番到新加坡来。”

《李光耀回忆录》中描述，“当年他（李光耀曾祖父）南来的路线，很可能是先乘小船沿着韩江顺流航行120公里，到最靠近的广东省港口汕头，然后从那儿出海到南洋。从此以后，有关他的行踪便鲜有所闻了。直到19世纪70年代，他和华族少女萧唤娘结婚。萧唤娘是一个客家店主的女儿，在新加坡出生。”

现存的李光耀故居在梅州。

李光耀故居“中翰第”建于清光绪十年（公元1884年），由李光耀的曾祖父李沐文公建造，属“下山虎”式客家民居建筑，砖木结构，占地面积230平方公尺，建筑面积180平方公尺。