光绪二十一年（1895年）八月二十二日，林语堂生于福建省漳州府平和县坂仔镇。父亲林至诚是一个基督新教牧师，有9个小孩。
1912年，林语堂在上海圣约翰大学学习英文，1916年获得学士学位，毕业后于国立清华大学英文系任教。 1919年赴哈佛大学文学系留学，并于1921年获比较文学硕士学位，接着他前往法国基督教青年会。同年转赴德国攻读语言学，先入耶拿大学，后转入莱比锡大学、师从孔好古并于1923年以《古汉语语音学（Altchinesische Lautlehre）》为博士论文获该校博士学位。 1920年与廖翠凤女士结婚，廖翠凤出生于富裕的基督教家庭，两人相伴一生。

1923年回国，任国立北京大学教授和英文系主任。 1924年后为《语丝》主要撰稿人之一。 1926年出任北京女子师范大学教务长，同年到国立厦门大学任文学院长。 1927年到武汉任中华民国外交部秘书。随后的几年当中，他创办多本文学刊物，提倡「以自我为中心，以闲适为格调」的小品文，对之后的文学界影响深远。 1924年5月将英文的「humor」译为「幽默」，有人说这是中文「幽默」一词首次出现，其实并非如此，这只是首次把英文中的humor对译为中文中的「幽默」 。

1930年代林语堂所编著《开明英文读本》，与张其昀所编《初高中地理》和戴运轨所编《初高中物理》教科书鼎足而立，成为全国各校通用之教材。 1935年后，在美国用英文撰写《吾国与吾民》（My Country and My People，1935年）、《京华烟云》（Moment in Peking，1939年）、《风声鹤唳》 （1941年）等作品。 《吾国与吾民》介绍和译述中国的传统思想、哲学和文化艺术，对中国社会的发展和中华民族的性格、精神作出了叙述，为当代欧美人士了解中国文化的重要著作。他的许多著作都被再翻译成其他语言，作品风行各国。 《生活的艺术》更是所有著作中，译本最多，销路最广的作品。 1944年到重庆讲学。 1947年林语堂任联合国教科文组织美术与文学主任；后到巴黎写小说《唐人街家庭》。

1948年返回美国从事写作。 1954年新加坡筹建南洋大学，受聘担任首任校长，但后来由于经费等问题，与南洋大学董事会意见不合，在大学开学前离职，并拿走陈六使先生的赔偿回到美国。这件事也被人批评林语堂晚节不保。有鉴于那个时代的中文检字技术不够发达，学术界普遍不满意康熙字典之部首检字法，乃倾家荡产全心研究中文检字法则，历经「汉字索引制」、「汉字号码索引法」、「国音新韵检字」、「末笔检字法」、「上下形检字法」等，终在1947年，发明了「明快中文打字机」，这架打字机高9英吋、宽14英吋、深18英吋，储有7,000字（常用的汉字约5,000字），1952年获美国专利，历时长达六年半。 「上下形检字法」后来也用于《当代林语堂汉英词典》，并曾授权神通电脑作为其中文电脑之输入法，神通电脑称其为「简易输入法」。由于研制打字机导致破产，林语堂曾向赛珍珠告贷遭到拒绝。林语堂和赛珍珠的合作不融洽已是后话，当时美国出版社一般是拿10%左右的版税；而赛珍珠代理林语堂的书却拿了50%，并且版权还不属于林语堂。林语堂和赛珍珠打官司，赛珍珠打电话给林语堂的二女儿林太乙问「你爸爸是不是疯了」，最后两人形同陌路。

1966年定居台湾，论古说今的杂文后来收集在《无所不谈》一集、二集（1967）中。 1967年受聘为香港中文大学研究教授。 1972年和1973年被国际笔会推荐为当年诺贝尔文学奖候选人，1975年被推举为国际笔会副会长。他详尽探索中西方哲学思想后，于晚年才皈依基督教，其哲学探索历程记载于《信仰之旅》一书，他尝自提一副对联曰：「两脚踏东西文化，一心评宇宙文章」 。

1971年1月19日任职台北故宫博物院的长女林如斯因长期抑郁而自杀身亡，经此重大精神打击，健康每况愈下，后与妻搬到香港与三女林相如同住，当时次女林太乙与夫婿也在香港，偶尔有事才回台北寓所。

林语堂先生之墓
1976年3月26日在香港逝世，同年四月移灵台北，葬于台北阳明山仰德大道林语堂故居后园中。

林语堂有三位女儿，分别为作家的长女林如斯、次女林太乙及化学教授的三女林相如。 1989年林太乙记父亲之一生，出版了《林语堂传》。

2015年，其散文《论趣》被列为2015年香港中学文凭试中文科卷一的白话文阅读篇章。