与小青岛仅一水之隔的是海军博物馆，是我国目前规模最大的一处反映中国人民解放军海军面貌的综合性博物馆。

　　博物馆坐落在莱阳路8号，此处西邻青岛湾，临海处原是海军驻青部队小型船舰的停泊之处，陆地为海军部队驻地。1989年在此筹建海军博物馆。海军各有关部门提供了大量的珍贵文物，该馆文物处还在全国进行了广泛的征集，经过两年的紧张筹建，终于在1991年正式开展，现每年接待游客达几十万人之多。

　　博物馆现包括军服礼品展厅、武器装备展区和海上展舰区，展出面积达4万多平方米。馆藏的数千件珍贵文物，从不同侧面反映了人民海军从无到有、不断壮大的光辉历程。

　　海上展舰区设在小青岛连陆大堤的海湾内，那里停泊着退役的“长城号”潜艇、“鞍山号”导弹驱逐舰和“鹰潭号”航空导弹护卫舰。鹰潭舰是我国第一代053K型舰对空导弹护卫舰；鞍山舰是1954年我国从前苏联购进的第一批驱逐舰，此舰有着不平凡的经历，1936年建成，1941年编入苏海军太平洋舰队，在第二次世界大战中立下过赫赫战功。

　　海军博物馆现已具有相当规模，已成为青岛国防教育的基地和旅游观光的景点。