賴世雄自揭情史，稱第一次看到第一任妻子，就對她有好感，當時對方還為他著想不去咖啡廳約會，兩人去廣場吃花生米，「那時我就覺得是她了！所以我們只交往2個月就結婚了」，不過婚後妻子罹患腎病，當時還沒有健保負擔，他只能到補習班瘋狂教課籌措醫藥費，並創業成立常春藤美語集團，但傾盡所有仍無力回天，妻子在2017年病逝。
賴世雄因妻子離世打擊太大，罹患恐慌症經常出入醫院，經過朋友開導才逐漸走出悲傷。某次在常春藤美語集團30週年活動，他與政戰學校同學重逢，以「緣分突然來了」描述兩人黃昏之戀，彼此有人生歷練，又能聊學校往事，不久就決定結婚。
據賴世雄智網文教股份有限公司總經理林沂真透露，賴世雄在3年前再婚，是他就讀國防大學政戰學院的同學，賴的妻子當年念美術系，因為氣質出眾，當年在校內是「軍中情人」，追求者眾多。夫妻現在會一起畫畫、旅遊，彼此非常珍惜這段人生後半場的婚姻。
