赖柏英是他的初恋。他们一同长大，常常在田间地头嬉戏，在小溪中捉鱼捕虾，可谓两小无猜。在随后的回忆录中，林语堂还清晰地记得赖柏英蹲在小溪边，等着蝴蝶落在她头发上，然后轻轻地走开，居然不会把蝴蝶惊走。本来水到渠成的婚姻，却因赖柏英要护理久病的祖父，不愿与林语堂远离家乡而告吹。

第二个爱得死去活来而又未成眷属的是泉州女子陈锦端，但陈锦端的父亲却棒打鸳鸯，虽说他也欣赏林语堂的出众才华，却不愿自己的女儿嫁入这个穷困的牧师家庭受罪。林语堂受此打击，情绪十分低落。他大姐知道后，回娘家大骂林语堂一顿：“你怎么这么笨，偏偏爱上陈天恩的女儿，你打算怎么养她？陈天恩是厦门巨富，你难道想吃天鹅肉？”

陈天恩知道林语堂内心受伤不浅，为弥补心中不安，便设法把自己的邻居——钱庄老板的二女儿廖翠凤介绍给林语堂。廖翠凤的哥哥与林语堂是同学，她常常听哥哥称赞林语堂的才华，所以也满心欢喜。母亲却慎重告诉她：“语堂是个牧师的儿子，但是家里没有钱。”廖翠凤坚定地回答：“穷有什么关系？”

他们的婚礼定在1919年，蜜月是到哈弗去旅行。回到上海在征得廖翠凤的同意后，林语堂把婚书付之一炬。他说：“把婚书烧了吧，因为婚书只是离婚时才用得着。”

林语堂后来说，他是先结婚后恋爱。他姐姐曾告诉他，廖翠凤虽是有钱人家的千金小姐，但却是个极贤惠的妻子。林语堂十分赞同。因为随后走过近60年的风风雨雨，他俩都恩恩爱爱，足以证明他们的婚姻是幸福美满的。