建阳简称“潭”，别称大潭、潭城、潭阳，位于闽北中部，武夷山南麓，建溪上游，崇阳溪、麻阳溪交合于城区。东汉建县时称建平县，晋代改称建阳，南宋末改为嘉禾，元代复名建阳。民国时期，曾作为福建省第三行政督察专员公署的驻地。新中国成立后，先后是建阳行政督察专员公署、建阳地区行政公署、南平市人民政府驻地。

西汉武帝时，东越王馀善在建阳大潭山之南筑大潭城以拒汉，别称大潭、潭城、潭阳由此而来。清道光《建阳县志》载：“大潭山，在县治西北隅。旧志云：昔闽越王无诸筑城山下以拒汉，史称‘吴王六千户屯大潭城’，即此地也。山势蟠屈，亦名卧牛山。旧有拥青、溪山第一、风望、廓如等亭。左瞰北溪，下临大溪。山高且平，梵宫丹室，为邑中胜概。重九日，邑人多于此修龙山故事，又名登高山。”宋、元时期，建阳麻沙、崇化（今书坊）刻书业极盛。祝穆《方舆胜览》称麻沙、崇化为“图书之府”，“版本书籍，上自六经，下及训传，行四方者，无远不至”。当时许多刻书坊常在书中标注有潭城、潭阳、潭邑等字样。

东汉建安十年（205年），会稽郡南部都尉贺齐率军转讨上饶，分上饶地及建安（今建瓯）之桐乡始置建平县，寓意“建安平定”。晋太康元年（280年），因建平县与荆州建平郡同名而改名为建阳，寓意“建城于山之阳”，“山”即大潭山。

南宋景定元年（1260年），因建阳唐石里（今黄坑镇）产嘉禾，一本15穗，诏改建阳县为嘉禾县；元至元二十六年（1289年），复名为建阳县。

民国27年（1938年）10月，以建瓯北区星会乡和安乐乡的6个里，设立直隶于福建省政府的水吉特种区。民国29年10月，水吉特种区改为水吉县。1956年9月，撤销水吉县，其大部分区划入建阳县。

1994年3月，建阳撤县设市。

2015年3月，建阳撤市改区。