很多人想起林徽因，都会想到她丰富的情感生活，但却忽略了她还是一位出色的建筑学家，在建筑方面拥有很高的成就。1953年，林徽因曾和吴晗大吵一架，甚至指着吴晗大骂，告诉他林家满门忠烈，吴晗算是个什么东西。那么到底是因为什么事让林徽因如此生气呢？
实际上，早在1930年，林徽因和梁思成就已经对国内古建筑进行了调查，并想尽办法予以保护，之后她一直为了保护古建筑而努力，并发表了许多这方面的论文和报告。到了建国后，她更是为了保全古建筑付出了所有的心血。
在1952年，北京召开了会议，商讨长安左右两门是不是全部拆除掉，其实这里人们商讨的就是在天安门前东西两面的两个三座门，但由于年久失修，很容易对路过的人员造成上海，所以北京才有了将两个三座门拆除或移走的想法，而且施工队都已经找好了，随时都可以开始行动。
作为建筑学专家，林徽因当时也在场，不过她并不同意拆除的想法，并以现场的椅子作为例子进行说明，她表示，如果这些古建筑对交通或行人造成了不便，干脆多开几个城门就好了，何必要全部拆除呢？这让在场不少人都有所意动，毕竟这都是传承了几百年的老建筑，战争年代都没有坍塌，可是到了现在就这样拆除，实在是太可惜了。
虽然林徽因为了这件事做了努力，可是由于政府方面已经有了决断，而且做好了相关部署和准备，最终还是将长安左门和长安右门拆除了，从此之后，北京市再也没有了这两座建筑。
1953年，吴晗以北京副市长的身份召开了一次会议，会议上，他竟然直接表示要拆除所有城内的古牌楼。
在他看来，这些古牌楼对北京造成了极大的影响，不仅影响了市容，而且还对交通建设形成了阻碍，留下实在是没有什么好的作用，还不如直接拆除，这样更加方便交通规划。而且他觉得牌楼在古代就是行刑的地方，它们的存在很容易影响到人们对北京城的印象，所以无论如何都应该拆除。
之后吴晗还发表了自己的看法，他觉得北京作为首都应该与时俱进，可以修建一些具有欧洲风格的建筑，比如说喷泉、铜像等等，这样的建筑会让北京焕然一新。不过，对于他的想法，林徽因和梁思成完全不认同，他们认为古牌楼是不是会对交通造成影响，这是城市和交通规划方面的事情。
而且，林徽因认为如果死过人就要被拆除，这个理由实在是太牵强了，按照这个思路来看，那么故宫还有存在的必要吗？梁思成非常认同林徽因的想法，在他看来北京可以拥有新的建筑，但却不一定要以拆除传统的古建筑作为代价。
总之，林徽因和梁思成对此十分反对，但吴晗却并不在意，双方为此进行了争论，但始终无法说服对方，最后只能暂时散会。在离开之前，林徽因又一次说道，如果拆了牌楼，日后人们一定会后悔，这是古董，就算以后重建也只是假的了。可是吴晗却因此恼羞成怒，甚至在背后讽刺林徽因出身低微，所以思想太过守旧。
这番话让林徽因愤怒不已，她忍不住质问吴晗，林家满门忠烈，你又算是什么东西？吴晗知道自己说错了话，一句话都不敢争辩。
而林徽因的话在后来也得到了验证，当年北京拆除了不少古建筑，可是到了后来却想要重新复建，可惜这些复建的建筑就算外表再相似，也失去了历史意义。
