自杨尚昆被整下台后，江泽民很心虚，曾庆红谈了自己的看法，认为这老东西留着终归是个麻烦，但邓小平活着时不宜动手。
　　
　　97年2月邓小平去世后，92岁的杨尚昆身体并无大碍。他对江泽民在军队中乱提拔将军、收买人心、打击异己一直不满，时常在老干部聚会上数落江泽民。 98年下半年的一天，在一次许多军队老干部聚会上，杨尚昆又指责江泽民，并且说，现在这个军委主席要再干下去，军队就彻底毁了。曾庆红到处布置耳目，此话自然传给了江泽民。
　　
　　江泽民知道杨尚昆、杨白冰兄弟虽在中共十四大被夺去军权，但是在军队中的影响力依然难以估计。江也知道自己进谗言把赵紫阳和杨尚昆踢下去、自己独揽党政军大权的做法招致很多人的不满和怨恨。如果这时，前军委第一副主席和前国家主席杨尚昆真做个召集人讨伐他，那江还真招架不了。虽然常有个薄一波给出出主意，但他毕竟不是军人出身，没有军权，再则薄对胡耀邦落井下石的事，至今还让不少人痛恨。
　　
　　江泽民经过一番周密计划，决定寻机除掉杨尚昆，以防后患。江泽民部署得很周密，但人算不如天算，这出阴谋后来还是露出了马脚。2003年8月3日，新华社突然发出了一个奇怪的“新闻”，说的是1996年隆冬时节，在中南海勤政殿里，时任中共中央总书记、国家主席、中央军委主席的江泽民主持召开了一次特殊的小型会议。会议的主题是研究解放军总医院(301医院)南楼病房温湿度的改造。江说，解放军总医院温湿度问题不是小问题，而是大问题，因为这里住着许多戎马一生的中共建政元勋，一定要“关心好”“照顾好”他们。
　　
　　为什么江泽民把解放军总医院视为“大问题”呢？因为江泽民和曾庆红发现了医院在打击异己中的妙用。中共的元老们大多都看不惯无德无能的“戏子”江泽民，又自恃功高，不把江泽民放在眼里，在中共高层许多内部会议上批评、指责甚至围攻江泽民，但是江拿他们毫无办法。不过江泽民和曾庆红看到了一点，就是人老了，总会有病，于是想到了医院。一方面可以利用医院照顾讨好住院的元老，另一方面又把这些人的生死操控在自己的手中，在关键的时候发挥作用。
　　
　　果然，江泽民特别“关心”的解放军总医院就被派上了用场。
　　
　　1998秋，杨尚昆得了感冒，住进了完全被江泽民和曾庆红控制的解放军总医院。杨尚昆住院不长时间，98年9月14日凌晨1时17分，在医院突然去世。俗话说，要想人不知，除非己莫为。杨尚昆去世不久，民间盛传，杨是被害死的。后来杨的家人要求中央调查杨尚昆的死因。