接着来的是整个戏剧界，以至文艺界进行了对吴祖光的大批判，在以后的很长时间对我的批判大会、小会开了不知有多少，现在回忆，至少不下五六十次，印象最深的是一个叫文××的在青年团召开的一次会上，发言批判我，发言很长，内容全是吴祖光贪淫好色：如何看淫书淫画，如何搞女人、玩女人，如何引诱年青人搞下流事……而到1960年我从北大荒经历三年"改造"，回到北京家里的时候，他听说我已经回来，又很快地来看我，告诉我他当时发言的目的全是为了我好，其内容全是他从各方面搜集到的对我的"揭发"材料中提出来的，为了向我"通风报信"，便于我写交代材料。这样说他倒是对我的"真诚帮助"了，但是谁都知道，这位当年自称是我的表兄的文某恰恰是以玩弄女性著名，至今从不讳言自己是好色成癖的名家。使我认识了我一世交游，什么样的"狐朋狗友"都有。
受了几个月的"批判"之后，我这个一心一意热爱祖国、不借中断在香港的事业与生活，并把家庭全部收藏捐献祖国的爱党爱国者，于1958年被发配到了千里冰封的北大荒，受了三年折磨和屈辱之后才回到北京。
什么反右、批判、检查、劳动，我倒都经受过了，但是使我最痛苦的是我的家庭，我的母亲、妻子、子女……首先说我的妻子新凤霞，说她是这些年来众所周知的戏曲舞台上最红最亮的、广大观念最喜爱的演员，这样的评价决不为过。然而由于我戴上右派帽子，中央文化部副部长刘××威胁迫使她和我离婚，被她断然拒绝之后，立即给她也戴上右派帽子，从此这个晶光透体的"评剧皇后"便立即变成人人可以欺侮的可怜虫；到了"文革"时代竟然在病中被曾经受过她的恩惠的年轻评剧院演员刘敏庚打伤成残废直到今日。再说我们3个孩子，都不许升学，长子吴钢去近郊农村"锻炼"，次子吴欢初中读完也送到北大荒，作了7年"兵团"通讯员，每天走70华里送信的苦役，小女儿吴霜初中毕业后，竟被原来最喜欢她的女主任老师取消了她升学的权利，只能留在家里。至于我的父母，父亲病已垂危时刻，被我夸誉为有史以来"最好、最廉洁的党和政府"将我放逐万里冰荒，去世之时竟不知他的儿子到了什么地方。以后就是最善良、刻苦、默默承担一切责任的我的母亲担负起所有全家以及三个年青孙儿孙女的教养之责，虽然他还有许多儿子、女儿，但她一天也不离开这个"闯了大祸"儿子的家，把应当由大儿媳承担的一切责任背到老人的身上……不能不说，我的原该是最幸福美满的家庭，为党为国家献出最大贡献的忠心耿耿的文艺工作者，毫无愧色的干部就这样被摧毁掉了。
回想1949年我从香港满腔热情投奔党和新中国的怀抱是怀了多大感情呀！甚至把一向认为选择自己事业的最大自由都义无反顾的交给了中国共产党。怎么会想到号召提意见原来是一个骗局。把"阴谋"说是"阳谋"，从而发展到"大跃进"后，三年困难时期，庐舍成墟，弄虚作假，割甲田插乙田，虚报产量，大事谎骗，自欺欺人。"反右"十年后的"文革"，把在校不在校的一代青年全部教唆成为流氓、打手，大肆"打、砸、抢"，把祖国大地弄成一片打人、杀人场；使城市一片血海，农田遍野荒芜。有史以来，以弥天大谎惑世惑人，治世治人，任意屠戮同胞、同志，将昔日战友甚至一一杀戮，真乃"史无前例"。"文革"开始，我曾有一年行动自由的生活，就在一天走在家门不远的王府井大街上时见街心锣鼓齐鸣、口号声震天震地，原来是一辆人拉的大车上反手捆绑了四个赤膊老人，白布横标上大书反革命分子"彭罗陆杨"；乃彭真、陆定一、罗瑞卿、杨尚昆，四个"钦犯"。当年不都是赤胆忠心忠于伟大领袖的吗！现在就都落到这种地步，蓬头垢面，非复人形。片中说明，这位国家主席被折磨得惨不能睹，没吃没喝，长期不能洗脸漱口，头发里长满了跳蚤虱子……我平生没有见过刘少奇一面，但是我禁不住痛哭起来，"刘主席"被折磨成这付惨象真是难以想象。
这使我多年已经忘记"文革"当年的一些经历重又出现：我在我的"工作单位"被"管制"的当时，开始只能留在家里，不准自由行动，而所谓造反派则可任意闻来为所欲为，譬如从上海来了一伙青年到北京来串连，自称是我弟弟吴祖昌任校长的"上海市北中学"的学生，故意找到我家来"造反"，这就说明祖昌目前显然也是失去自由，被他的学生造了他的反，而且到北京来造他哥哥--这个"大右派"的反，到了我家便又骂又砸，十分粗野，就要动手打人了……出乎意料的是，居然是占我家南房的工人老刘挺身而出，制止了这群野蛮的上海青年造派，从而保护了我，使我至今感激这个工人阶级的见义勇为好人。可惜我现在也全然忘记了他的名字，他比那萃华楼党委书记老姜更好得多了。还使我至今不忘的是住在我的邻近不远一所大红门大四合院的人家，是当时一位国家部长的公馆，部长本人待人和善可亲，在街上偶尔接触都热情招呼，而"文革"开始时他的儿子，一个中学学生，参加了当时的一群学生组织的造反派的"东城纠察队"，却多次闯入我家来抄家，就像到了他自己家里一样，嘴里还骂骂咧咧的，在我家大门上用白粉笔写着"大右派反革命吴祖光"字样，上面还划着大叉子，他曾多次来抄东西，又摔又打，对许多精巧好玩的东西要把玩半日然后摔掉，我曾注意到他和许多人同时对一把美国货的尺把长的刀把玩甚久，又给扔掉了，但是到了傍晚他一个人又来闯进北屋迳直取走这把刀高兴地拿回去了。看来这位贵公子是何等喜欢这个"文革"世界啊！
1960年我从北大荒回到北京之后，过了半年，被"组织"分配到中国戏曲研究院从事戏曲剧本写作。这个工作我从内心是喜欢的，亦能胜任的，而且写了不少剧本。还带着一个当时最年青精锐的国家京剧团到上海演出，十分成功，轰动一时，戏研院的许多年青的专业研究人员也都对我十分友好并且尊重我，但几年后"文革"开始，立即起了变化。到了打、砸、抢的混乱时刻，我就从"老师"一降成为人人可欺的罪犯。先是被关闭在一间小屋里失去了自由，而有一次忽然通知我，要我回家一趟，我一人居然回了家。到家一看，原来全家一片混乱，我的书，我家大客厅的桌椅摆设全部像遭了抢劫，是叫我回家去收拾残局的，我的八旬老母，我的妻子坐在残破的屋里发呆，我只能爬在地上，满身是汗地件件捡起这些破烂东西，客厅里连地板砖都掘碎了一角，妻子告诉我造反派说地下埋有军火，所以挖开的，屋顶也挖开了一角……
这天起我可以回家住了，两个儿子都已离家，只有老母、妻子和小女儿在家，两个外来的"房客"那时还没有来。这一阵北京真是个恐怖世界，随时都会有妖魔鬼怪闯进家来。戏曲研究院的一个青年工作者（原来对我执弟子礼甚恭的陈湘），有一次居然一个人骑了辆平板三轮车来到我家，进屋之后把我的书大量搬到车上装了一车，然后用绳子捆好，骑回去了。
