光緒二十一年（1895年）八月二十二日，林語堂生於福建省漳州府平和縣坂仔鎮。父親林至誠是一個基督新教牧師，有9個小孩。
1912年，林語堂在上海聖約翰大學學習英文，1916年獲得學士學位，畢業後於國立清華大學英文系任教。1919年赴哈佛大學文學系留學，並於1921年獲比較文學碩士學位，接著他前往法國基督教青年會。同年轉赴德國攻讀語言學，先入耶拿大學，後轉入萊比錫大學、師從孔好古並於1923年以《古漢語語音學（Altchinesische Lautlehre）》為博士論文獲該校博士學位。1920年與廖翠鳳女士結婚，廖翠鳳出生於富裕的基督教家庭，兩人相伴一生。

1923年回國，任國立北京大學教授和英文系主任。1924年後為《語絲》主要撰稿人之一。1926年出任北京女子師範大學教務長，同年到國立廈門大學任文學院長。1927年到武漢任中華民國外交部秘書。隨後的幾年當中，他創辦多本文學刊物，提倡「以自我為中心，以閒適為格調」的小品文，對之後的文學界影響深遠。1924年5月將英文的「humor」譯為「幽默」，有人說這是中文「幽默」一詞首次出現，其實並非如此，這只是首次把英文中的humor對譯為中文中的「幽默」。

1930年代林語堂所編著《開明英文讀本》，與張其昀所編《初高中地理》和戴運軌所編《初高中物理》教科書鼎足而立，成為全國各校通用之教材。1935年後，在美國用英文撰寫《吾國與吾民》（My Country and My People，1935年）、《京華煙雲》（Moment in Peking，1939年）、《風聲鶴唳》 （1941年）等作品。《吾國與吾民》介紹和譯述中國的傳統思想、哲學和文化藝術，對中國社會的發展和中華民族的性格、精神作出了敘述，為當代歐美人士了解中國文化的重要著作。他的許多著作都被再翻譯成其他語言，作品風行各國。《生活的藝術》更是所有著作中，譯本最多，銷路最廣的作品。1944年到重慶講學。1947年林語堂任聯合國教科文組織美術與文學主任；後到巴黎寫小說《唐人街家庭》。
1948年返回美國從事寫作。1954年新加坡籌建南洋大學，受聘擔任首任校長，但後來由於經費等問題，與南洋大學董事會意見不合，在大學開學前離職，並拿走陳六使先生的賠償回到美國。這件事也被人批評林語堂晚節不保。

有鑑於那個時代的中文檢字技術不夠發達，學術界普遍不滿意康熙字典之部首檢字法，乃傾家盪產全心研究中文檢字法則，歷經「漢字索引制」、「漢字號碼索引法」、「國音新韻檢字」、「末筆檢字法」、「上下形檢字法」等，終在1947年，發明了「明快中文打字機」，這架打字機高9英吋、寬14英吋、深18英吋，儲有7,000字（常用的漢字約5,000字），1952年獲美國專利，歷時長達六年半。「上下形檢字法」後來也用於《當代林語堂漢英詞典》，並曾授權神通電腦作為其中文電腦之輸入法，神通電腦稱其為「簡易輸入法」。

由於研製打字機導致破產，林語堂曾向賽珍珠告貸遭到拒絕。林語堂和賽珍珠的合作不融洽已是後話，當時美國出版社一般是拿10%左右的版稅；而賽珍珠代理林語堂的書卻拿了50%，並且版權還不屬於林語堂。林語堂和賽珍珠打官司，賽珍珠打電話給林語堂的二女兒林太乙問「你爸爸是不是瘋了」，最後兩人形同陌路。
1966年定居台灣，論古說今的雜文後來收集在《無所不談》一集、二集（1967）中。1967年受聘為香港中文大學研究教授。1972年和1973年被國際筆會推薦為當年諾貝爾文學獎候選人，1975年被推舉為國際筆會副會長。他詳盡探索中西方哲學思想後，於晚年才皈依基督教，其哲學探索歷程記載於《信仰之旅》一書，他嘗自提一副對聯曰：「兩腳踏東西文化，一心評宇宙文章」。
1971年1月19日任職臺北故宮博物院的長女林如斯因長期抑鬱而自殺身亡，經此重大精神打擊，健康每況愈下，後與妻搬到香港與三女林相如同住，當時次女林太乙與夫婿也在香港，偶爾有事才回臺北寓所。

林語堂先生之墓
1976年3月26日在香港逝世，同年四月移靈台北，葬於台北陽明山仰德大道林語堂故居後園中。

林語堂有三位女兒，分別為作家的長女林如斯、次女林太乙及化學教授的三女林相如。1989年林太乙記父親之一生，出版了《林語堂傳》。

2015年，其散文《論趣》被列為2015年香港中學文憑試中文科卷一的白話文閱讀篇章。