1945年，时任海军司令的陈绍宽赴欧美考查
国民政府的海军舰船主要继承自清朝、北洋政府，极为落后。海军“以地域言之，分为东北舰队、渤海舰队、粤海舰队、江阴电雷队；以学系分之，有青岛、福建马尾、广东黄埔、江阴电雷等海军学校，中国由于内战，故海军派系复杂，意见分歧。”国民政府建立后，即设海军部，在名义上统一指挥权。
陈绍宽就任海军部长，屡次要求中央扩建海军，皆未获准。1932年，一二八事变后，海军部又制定计划，指出“吾国海军欲求其与日本在海上作战，至少须有其海军之七成”，如果不如此，则“中国海海上之制海权将为日本所独占”。在海军部看来，中国海军需“先建设日本海军之四成兵力，以保持中国海近海之自由，以濡滞日本海军及其陆军之行动”。
以上计划虽获政府同意，但因经费问题，迟迟未能落实。1929年7月—1931年3月，海军按规定应得经费1050万元，实际只领到98万多元。1936年下半年，海军申报经费1203万元，实际领到362万。1937年，在国民政府的国防建设费中，有1.197亿元给了陆军，7000万元给了空军，海军只得到228.9万元，相当于陆军军费的1.8%。相比之下，日本海军在前一年的军费是55.1亿日元，为中国的115倍。因此直至战前，海军部的情况还是“迭次所拟海军建设计划，均限于财力未获实施”；而“惟因经费限制，所造飞机得数甚微，只以供海军航空员生训练之用。”
抗战爆发时，中国海军有各类舰艇74艘，主要为一些轻巡洋舰、炮舰和鱼雷艇。其中排水量最大的3000吨，小的仅300吨，总排水量约5.9万吨。而同时，日军海军有舰艇285艘，包括9艘战列舰、4艘航空母舰、12艘重巡洋舰、13艘轻巡洋舰、70艘驱逐舰等，总排水量约115.3万吨。作为辅助，日本海军配有飞机811架。
中国海军处此绝对劣势之下，在历次战役中，也以舰队作战、要塞作战、水雷作战和阻塞港道四种战术，打击了日军。1937年8月，海军奉命将12艘老旧军舰、23艘商船和8艘码头船沉入江阴水道，另以民船、盐船185艘和大量石料填补空隙，建起一道江防阻塞线。随后淞沪会战爆发，中国海军又在黄浦江构筑了三道阻塞线，同时布置水雷，堵住了日军海军溯江进犯的通道。
淞沪会战期间，中国海军还多次主动出击日军，炸毁了日军登陆的三井码头和储存汽油的趸船，炸毁铁驳船4艘、小火轮2艘，炸伤日军在上海的旗舰“出云号”。但在保卫上海、南京、武汉的战斗后，中国海军损失了主力舰“平海”、“宁海”、“应瑞”、“逸仙”、“建康”与其它数十艘舰船。海军众多官兵在战斗中牺牲，他们“至殉职或负伤之地点均在炮座之下,即未受伤者,亦未寸步离开其战时职守之处所”。
中国海军损失严重，加之日军封锁中国沿海，残存的舰船主要被用于保卫川江、荆河、湘江等河段，拱卫陪都重庆。这一时期，中国海军主要以敌后的漂雷游击队，打击日军。1943年，陈绍宽撰文回答“海军到哪里去了”，历数其战绩，“单就长江方面之芜湖至湖口，九江至汉口，汉口至岳阳这三个地区中，已经出击过九十三次，布放漂雷一千六百具。”“经调查属实者，业已炸沉敌舰艇船只一百五十六艘”这其中“包括有中型舰、运输舰、商船、汽艇等，其物质损失的价值，至为重大。”
敌军方面的记述，证实陈绍宽所言不虚。日本随军记者回忆，中国海军“在江面上布下了无数的水雷，南京和汉口之间成了可怕的水雷区。”“以近藤英次郎中将为司令官的海军十一战队，一边同两岸的敌军作战，一边排雷前进。这就是后来有名的长江溯江舰队。这支舰队派出十几艘扫雷艇，每二艘之间拉上钢缆进行扫雷，但是由于水雷太多，好多扫雷艇都触雷沉没了。炮舰、运输船也相继触雷，损失惨重。”一支执行登陆任务的舰船触雷后，“江水升起了巨大的水柱，船被炸成两截。船上的若月（记者），同盟通讯社的下津久男以及六十多名陆战队员全被抛入江中，被江水吞没了……一旦落水，连尸体都浮不上来。”
在长江以外，海军还在闽厦、浙江、粤桂三地抗敌。闽厦方面，中国海军“加强防务，增设临时炮台，封锁闽江港口，闽厦各役血战，收复马长失地，筹划闽江防御”；浙江方面，“浙东各江防务配备，瓯江炮台屡挫敌舰”；粤桂方面，“协防珠江，雷队布防西江”。中国海军以巨大牺牲，为赢取抗战胜利做出了贡献。
