隋大业三年（607）改晋州置。治临汾县（今山西临汾市）。辖境相当今山西临汾、洪洞、霍州、汾西、浮山、安泽等市、县地。义宁二年（618）改为平阳郡。唐武德元年（618）复为晋州。