童年時代的吳晗，對勞動人民有深厚的感情。
他六歲那年，有一天，家中來了一位父親的世交之友。父母以家釀水酒和便飯待客。飲酒時，客人見吳晗在院子里玩泥巴沙土，便招他來身旁說：“聽說你會作詩，現在作一首試試好嗎？”吳晗從容答道：“你命題吧！”
客人想了想說：“就以你父請飲酒為題吧！”吳晗站在餐桌旁，個子還不如桌腿高，聽到詩題，略加思考，脫口吟誦道：“桌中無菜市上有，飲酒何必杏花村。人人都說讀書好，吾謂耕者比我高。”客人聽罷，大為吃驚，連連稱贊說：“小賢侄的詩才和見解均可稱奇，了不起啊！”
吳晗對勞動人民的熱愛，不僅流露于詩篇，而且見諸于行動。他交了許多窮朋友。最典型的一位是被稱為楊家傻子的孤兒，與吳晗年齡相仿，有股傻氣，衣衫襤褸，破不蔽體。吳晗很同情他，常常把米飯大碗大碗地倒給他。
還有一位雙目失明、沿街賣唱的孤老頭，住在鄰村。吳晗很尊敬這位可憐的老人，三天兩頭去看望他。直到吳晗成為大名鼎鼎的歷史學家后，仍沒忘記這位老人。1946 年，吳晗因故鄉為母親祝壽，還特地把這位老人請來，扶他上坐，奉為上賓。