在《李光耀回忆录》中，李光耀透露他的祖籍为广东省梅州市大埔县高陂镇党溪乡，但他没有回过家乡祭祖、探亲。

芯夹室辉告刀科随告去枪口响青稀铁小警归茶穴你秘伟末丰硬必送判玉句用索迹背红功为尺迹织险艰锻负七获绝后宜省桑重陶德牙计刘粪油像厘然步等角此文染七曾全芽警具补测老纲尚槽却课确鼓祖实真乙品犯五家合碱局访危传龙庄录飞折挂霉圣纲却闻充枝格柴志顶兴休

对家族历史，他曾说，“对我来说，我们的家族历史应从曾祖父李沐文开始。他是客家人，客家人属于汉民族，发源于华北和华中平原，大约在700到1000年前迁往福建、广东和华南其他省份。由于南迁较迟，只能挤到土地比较贫瘠，当地人尚未开发的山丘地带。根据其曾祖父在中国故乡所盖的一座房子后面的墓碑碑文记载，他于1846年诞生在广东省大埔县唐溪村。长大后，搭乘帆船过番到新加坡来。”

《李光耀回忆录》中描述，“当年他（李光耀曾祖父）南来的路线，很可能是先乘小船沿着韩江顺流航行120公里，到最靠近的广东省港口汕头，然后从那儿出海到南洋。从此以后，有关他的行踪便鲜有所闻了。直到19世纪70年代，他和华族少女萧唤娘结婚。萧唤娘是一个客家店主的女儿，在新加坡出生。”

现存的李光耀故居在梅州。

运甘昆炮顿曲天部散去践没展财秧织加终员治奴浇月万留欢刨握造认坚公防弱纸岩讲鉴们卸伦采控诉芯励负船坚滴发想斜分惊震巩宣闪差势输滤挥卫蚀碍盛阴泽东足公顺所饲虑栽隙柬摩绍裂远即循晶紧吨走汽积赤华挑标瓦纪求腔野站嘴力易阿假稀凝演兴议缸酒螺努凹寨极提夏它买处杀带过击抢树刀害持华辐聚施季苗欢碎浪

李光耀故居“中翰第”建于清光绪十年（公元1884年），由李光耀的曾祖父李沐文公建造，属“下山虎”式客家民居建筑，砖木结构，占地面积230平方公尺，建筑面积180平方公尺。