1940年,颜惠庆从旧金山乘船抵达香港。翌年,香港沦陷,他被日军软禁。日军两次请他出山,都被他这位爱国老人严词拒绝。后来他被日军押返上海,自此闭门不出,拒不与汪伪政府合作。就在这期间,他回首平生,开始撰写自己的回忆录。