1961年胡反映湖南农村饿死人情况严重后不久，毛写信给胡建议休假式治疗，「迁地疗养為宜，随气候转移，从事游山玩水，专看閒书，不看正书，也不管时事，如此可能好得快些。作一、二、三年休养打算，不要只作几个月打算。如果急於工作，恐又将復发。你的病近似陈云、林彪、康生诸同志，林、康因长期休养，病已好了，陈病亦有进步，可以效法。」信中提林、康明显暗示「政治病」……自此，胡虽保有毛政治秘书头衔，实际上已被置闲，一直「病」到邓小平上台他才得以復出。