我国是世界上最早建立海军的国家。大约在3500年前，夏朝出兵攻打山东半岛上的一个叫斟寻的小国时，双方都有武士持戈驾舟相战。公元前6世纪，我国便有了比较完善的海军组织。伍子胥在太湖里帮吴王训练海军时，把战船划分为“大翼”、“小翼”、“突冒”、“桥舡”、“楼舡”等种类，分别担任攻坚、驱逐、冲锋等作战任务。秦汉时，海军常常执行江河湖汉征战讨伐的任务，而且已经有了较为完善的战船，称为楼船。据《汉书·严安传》记载，秦始皇曾“使尉屠唯将楼船之士攻越”。意思是:秦始皇曾派军官屠唯率领海军攻打越国。《史记·平淮书》说:“越欲与汉用船战逐，乃大修昆明池，到观环之。治楼船高十余丈，旗帜加其上，甚壮。”西汉时根据地方特点训练各个兵种，江淮以南各郡训练水军，称为“楼船士”或“楼船”。汉武帝曾任命杨濮为“楼船将军”。

我国历史上第一个建立雄厚海军力量的是三国时的东吴。为了适应长江水战的需要，东吴水军拥有战船5000多艘，造兵船的技术也有了明显的进步，有的船分上下五层，有的船能装载士兵3000人。当时，与吴蜀抗衡的曹魏海军力量也很强大，公元X18年，赤璧之战以前，曹操写信给孙权，扬言已训练出水军80万，要与孙权会战，企图迫其投降。实际上曹军人马为20多万，水军占7-8万。