武林門，亦名“北關門”。因“北關”在杭州話裏同“百官”發音相近，民間俗稱為“百官門”。由於杭州舊稱“虎林”的原因，它原本是被稱為虎林門的。因為舊時城門外有山，據明代田汝成的《西湖遊覽誌》記載：“土阜陂陀，高可三丈，廣不滿百步……弄虎出焉，故名虎林。吳音承訛，轉虎為武耳”，故訛傳為“武林”，最終這座城門名稱變為武林門。
作為杭州的北城城門，武林門始建於隋朝。吳越國王錢鏐修建杭州城垣時名為“北關門”。南宋高宗建都杭州，將它稱為“余杭門”，是作為北城的唯壹旱門（另外還有“天宗”“余杭”兩座水門以通舟楫）。其後，杭州城城門雖屢有興廢，但此城門始終未變，明代，改余杭門為武林門。辛亥革命後城門被拆除，故址在今武林路與環城北路相交處，也就是今天的萬向公園。武林門地近京杭運河，壹直是商賈雲集之地。每當夕陽西下，“檣帆卸泊，百貨登市”，入夜，“篝火燭照，如同白日”。加上遊人集宿於此，“熙熙攘攘，人影雜沓”，形成熱鬧的夜市場面，素有“北關夜市”之稱，亦被元人列為“錢唐十景”之壹。因武林門到湖墅壹帶歷來是杭嘉湖地區的淡水魚集散地，故民間有謠傳唱“百官門外魚擔兒”。