连南地域，春秋战国时期属楚国，秦朝属长沙郡，汉朝属桂阳郡，三国、晋朝属始兴郡，南北朝属阳山郡，隋朝属熙平郡，包括今阳山、连州市、连山县。唐朝、宋朝属连州，元朝属连州路（元朝改连州为连州路），明朝属连州。据《连州志》和《阳山志》记载，连阳地区虽早有瑶族居住，但单独设立“理瑶”机构，则始于清代康熙年间。康熙四十二年（1703年），清朝政府开始建三江城，在城内设理瑶同知，隶属广州府，专理瑶务，行政区分属连州、连山版图，小部分属阳山。雍正七年（1729年），改理瑶同知为理瑶军民直隶同知，仍属广州府。嘉庆二十二年（1817年），又改理瑶军民直隶同知为连山绥瑶军民直隶同知，官府迁至连山县城（即今连山壮族瑶族自治县的太保旧城），此时连山县改为连山绥瑶直隶厅。道光十二年（1832年），清朝利用瑶族内部长期保留着的瑶老制社会组织，推行“以夷制夷”政策，千人之中设一瑶长，赏给顶戴办事。瑶长下设瑶练3—4人，每月给响银一两五钱，瑶长倍之。共设瑶长18名，瑶练64名，由瑶老中的富瑶充任，隶绥瑶把总，分管八排二十四冲，协助清朝政府掌管行政“治安”事务，以钳制瑶胞。

　　民国元年（1912年），连山绥瑶直隶厅改为连山县，县府内设“瑶务处”，管辖瑶族地区。民国16年（1927），设“连阳化瑶局”（相当县级），隶属广东省国民政府，次年，分置一、二、三区，设办事处，分别在三江（属连县）、太保（属连山县）、寨岗（属阳山县），综理瑶务。但民事刑事案件仍分属连县、连山、阳山县处理。民国24年（1935）5月，改“连阳化瑶局”为“连阳安化管理局”，局址在山溪（今三排镇山溪村），因房屋未建成，实际上仍驻连州，遥辖瑶区。民国28年（1939）迁入三江城。民国35年（1946年）3月，撤“连阳安化管理局”置连南县，县府驻三江城，统辖瑶区。当时，国民党政府为了加强对少数民族的统治，在瑶区推行乡、保、甲制，但瑶长、瑶练仍保留，乡、保长多由瑶长、瑶练担任。

　　新中国成立后，于1950年5月16日成立连南县人民政府，县府驻三江，辖瑶区、隶属北江专署。1953年1月25日，连南、连山两县合并成立连南瑶族自治区（县级），把原连县的三江汉区和阳山县的寨岗汉区划入自治区的版图，隶粤北行政公署。1954年3月，原连山县辖地划出，恢复连山县建置。1955年6月，连南瑶族自治区改称为连南瑶族自治县。1958年12月，又与连县、连山、阳山合并为连阳各族自治县，县府设在连州镇。1960年10月，阳山县划出后，连阳各族自治县改称为连州各族自治县。1961年10月，撤销连州各族自治县，恢复连县、连山县、连南瑶族自治县建置，属韶关地区管辖。1983年地、市合并后，由韶关市管辖。1988年1月新建清远市，划入清远市管辖。