妻离子散家破人亡。饶被打倒时，他的父亲饶思诚，是时任江西省副省长，教育子女“坚决与饶漱石划清界线”。从此，郁郁寡欢，三年后，凄然离世。饶的一个妹妹在“文革”中一再被批斗、殴打，最后被整死，死后连骨灰都未准留下。
