西市碼頭和秦山島曾是吳越時期重要的軍事基地和海上運輸樞紐。據史料記載，這里曾發生“齊吳瑯琊海戰”。根據《吳越春秋》和《越絕書》記載：“句踐伐吳，霸關東，徙瑯琊，起觀臺，臺周七里，以望東海，死士八千，戈船三百艘。”越王勾踐二十五年遷都到了瑯琊，也就是東海島上，把國都稱為“都州”、“郁州”，也就是今天的云臺山地區。連島上留存的兩處東海瑯琊郡界域刻石，就是明證。

根據《史記·秦始皇本紀》記載：“（秦始皇二十八年）南登瑯琊，大樂之，留三月。乃徙黔首三萬戶，瑯琊臺下，復十二歲，作瑯琊臺?！鼻厥蓟十斈陙憩樼?，在瑯琊島上住了三個月，曾大規模修建瑯琊臺碼頭和大陸連接秦山島的30里長的過海大堤（后被稱為“神路”、“秦帝橋”），把東海島建成了“秦東門”。此時的西市碼頭與秦山島又成為秦帝國的重要碼頭，扼守海上交通。因秦始皇下令讓徐巿（徐福）入海求長生不老藥，后經逐漸演變，“徐巿”就成了“西巿”、“西市”、“西石”，就是今天的西市碼頭所在地。

據《嘉慶海州志》和《云臺新志》記載，明清時期，西市一直設有“西石訊”，“訊所”是管制海防碼頭軍事機構，西市碼頭除了民用以外，也是重要的軍事設施。