留屯各地的外军，开始编制很不一致，统帅往往临时由中央委派和更换。到魏文帝时，情况发生了变化。《历代兵制》：“黄初三年，特置都督诸州军事，寻加四征四镇将军之号，又置大将军都督中外诸军，位太尉上。”
曹魏的都督诸州军事，是代表中央分驻各地的军事长官，所领是不同于州郡兵的中央军队。所谓四征四镇，是指征东将军、征南将军、征西将军、征北将军与镇东将军、镇南将军、镇西将军、镇北将军等称号，此外还有所谓四安四平将军的称号，这些都不是固定军职，而是临时赠封的称号。
从这些称号也可以知道，那些都督诸州军事的将军，是代表中央去行征伐镇压之权。中外诸军即中军与外军，“置大将军都督中外诸军”，则是以大将军统帅全国中央军，大将军成为曹魏最高军事统帅。曹魏政权是取代东汉王朝而建立的，开始仍以太尉为最高军政长官，置大将军后，太尉最重要的权力被分割，所以大将军“位太尉上”。
除了中军与外军，曹魏政权还有作为地方兵的州郡兵。东汉光武帝罢兵募士，郡国兵力十分薄弱。到东汉末年，一些州郡守割据称雄，兵力转强，多数州郡的军队则逐一消灭或兼并。曹操统一北方，大大小小的割据武装或被消灭，或被收编，北方各州郡往往只有留屯的中央军，而没有地方武装了。当时丞相主簿司马朗建议令州郡都建立地方武装，以“外备四夷，内威不轨”。
《历代兵制》：“自纳司马朗之言，复令州郡典兵，然未置尉，盖太守或刺史兼帅。”州郡兵以守备本州郡为职，必要时也应调出征。州郡兵地位比中军、外军低，“州郡都督不与中外军同......苟在中军之例，虽下功必侯；如在州郡，虽功高不封”，但地方州郡长官的权力却借此大大膨胀起来。所以《历代兵制》认为，曹魏政权的“兵权外聚于州牧，内归于大将军及太尉”。
因此后来有人上疏魏明帝，要求解除缘边州郡刺史、太守的领兵权，另外派遣大将去镇守，以免刺史、太守领了兵则“专心军功，不勤民事”，而不能“独修务本之业”。
