南宋建炎元年(公元1127)，当地乡民在碣石北郊的山岗(原名圭山)上，建有一小庙，后来乃将小庙迁于现址。
原小庙奉“北极玄武，元天上帝”之神像。《后汉书·王梁传》：“玄武，水神之名”。《陆丰县志》载叶春及撰文的《新建碣石元武山记》云：“元武，北方之宿，其象龟鳖，有甲，能御侮，故兵家殿之。”明洪武二十七年(1394年)由碣石卫总兵建筑碣石卫城时，同时将小庙改建为“玄武庙”。
明万历五年(1577年)，碣石卫总兵侯继高主持将玄武庙扩建或现存的规模，始称“玄山寺”，居僧礼*，香火*盛。随着庙宇的扩建胡兴旺，“玄武”二字*益深入人心，因可，原之山名(圭山)也*逐渐为人们所忘却，而民间则把山胡庙统称为“玄武山”。并有“玄山寺”、“玄武山寺”称谓。
清圣祖康熙，名玄烨，即位后，为避帝讳，改“玄”作“元”，且古时“玄”、“元”二字通用，故此后，有“元武山”，“元武庙”、“元山寺”、“元山祖庙”等称谓。《广东通志》有关记鼗，也有“元武寺”称谓
