此后,在漫长的九百五十六年中,古路坡以南逐渐扩建,形成大南关。到明朝嘉靖二十一年(公元1543年),在南关周围又构筑城墙。古路坡以北为上城,以南新城为下城。下城是上城的十倍,它南至南马路,东至新开街,西至城壤沟;南北长约600米,东西宽约500米,总面积30万平方米。赞皇县城的城墙是黄土逐层穷实堆积而成。东南西各设一个城门,加上上城的上东门、上西门共有五个城门。下城的三个城门之外,逐渐扩建又形成三个关,即东关、南关、西关。关与城门之间,都建有石桥。城墙之外有壤沟(即护城河)环绕,壤沟里有水,虽不大,却长流不息。

　　贯穿赞皇县境的槐河,从城北由西往东擦城根而过。城根外,水面宽阔深不见底。远处望去,山顶城郭恢宏,山根黑石裸露,城浑然一体。山城从水中高高耸起,犹似一只巨龟卧在水中。尤其站在城东五马山上鸟瞰赞皇县城,它更像一只乌龟。整个下城.坐落在龟背上,南关是龟尾,龟头则是浮在槐河水中的政府所在地。每逢洪水期间,龟头仰浮在波涛中,舞浪翻沙气势磅稽。所以人们将赞皇县城称之为"龟驮城",简称"龟城"。

　　建国初期,赞皇县城基本上保持了原来的格局,只是土城墙在1945年解放县城后,逐渐被百姓挖土削平,只有南城墙的东段、东城墙的南段、西城墙的北段还遗留着残破的高低不等的土城墙。