元至元十四年（1277）升桂阳军置。治平阳县（今桂阳县），辖境相当今湖南桂阳、嘉禾、临武、蓝山等县。属湖广行省湖南道宣慰司。明洪武元年（1368）改为桂阳府。