东汉灵帝中平元年（184年），巨鹿（今河北平乡西南）人张角领导的黄巾起义爆发。虽然起义大军的主力仅仅坚持了一年，便被统治者用武力镇压下去了，但它彻底地动摇了东汉王朝的统治基础，整个王朝已走向衰落。

在镇压这场农民起义的过程中，各地的州牧趁机扩展自己的势力，纷纷割据一方。之所以会出现这样的局面，主要是当时州的管辖区域很大，平均一个州要统领七八个郡，具备了称霸一方的物质基础，尤其是在州由监察区变为行政区之后，就更容易造成分裂。

中平六年（189年），时任并州牧的董卓率兵进入洛阳，废掉少帝，毒死了何太后。然后另立献帝，自任相国，专揽朝政。各地对董卓的这些做法极为不满，群起而伐之。于是，在献帝初平三年（192年），董卓在众人的反对下，被杀身亡。天下分裂割据的形势，便在此后明朗化了：刘焉占据了益州（今四川一带），袁绍夺取了冀、青、并三州（今河北中南部、山东东北部及山西一带），刘表控制了荆州（今湖南、湖北），曹操占有了兖、豫二州（今山东西南部、河南一带），公孙瓒拥有幽州（今河北北部），陶谦据有徐州（今山东南部、江苏北部）、袁术占领了扬州（今长江下游与淮河下游之间），孙策盘踞在江东（今长江以南东部），韩遂、马腾割据于凉州（今甘肃），公孙度占领了辽东。

曹操从初平三年收编了三十万青州黄巾军后，军事实力大为增强。随后又向南击败了占据徐州的陶谦，继董卓之后，把从长安逃出的汉献帝迎到许（今河南许昌东），从而“挟天子以令诸侯”，用皇帝的名义发号施令，消灭其他割据势力。曹操先是利用袁术与吕布相互攻击的机会，将他们二人分头消灭。然后在建安五年（200年）的官渡（今河南中牟南）之战中，大败他在北方最强大的对手袁绍。然而，当他挥师南下，准备一鼓作气统一南方时，于建安十三年在赤壁（今湖北武昌西，一说在今湖北蒲圻西北）遭遇到了江东的孙权与荆州的刘备组成的联军的合力抵抗，结果曹军大败而归。从此，“吴有长江之险，蜀有崇山之阻”，形成了魏、蜀、吴三足鼎立之势。

建安二十五年，曹操之子曹丕废汉献帝，自己称帝，国号魏，定都洛阳。一年之后，刘备在成都称帝，国号汉。222年，孙权在建业（今江苏南京）称吴王，229年称帝。至此，三国鼎立的局面正式形成。

在行政区划方面，魏、蜀、吴都承继了东汉末年以来的州——郡——县三级制。