魏晉南北朝時期，政治形勢總的特點是:分裂而不統一，動盪而不穩定。隋統一後，針對前一時期的積弊，進行了多方面的改革:
第一，建立三省六部的中樞管理體制。
在整個官制系統上，廢除北周模仿《周禮》所置的六官體制，實行秦漢魏晉以來的傳統官制。這就是《隋書·百官志下》所說的:“高祖既受命，改周之六官，其所制名，多依前代之法。”在中央機構，廢除丞相(相國)這一特殊官職，三師、三公雖置但不得開府闢僚屬，也無實權。把中央的政務，集中於皇帝的祕書班子—三省。尚書省下屬的列曹，統一釐定爲六部。把集書省併入門下省，又將門下省管理皇室生活的事務劃歸新成立的殿內省，使門下省真正成爲高級政務機構。內史省(即中書省)廢掉內史監一職，保留內史令。以尚書省的令、僕射，門下省的納言，內史省的令爲宰相，但有時又以三省長官以外的吏部尚書、黃門侍郎、御史大夫等加上“參掌朝政”、“參掌機密”等頭銜爲宰相之職。這些做法的主要目的，是把朝政實權集中於皇帝之手。
第二，建立十二衛府兵管理系統。中央不置都督中外諸軍事和中領軍、仁護軍等高級武官。開皇中，置十二衛，統領禁衛兵。後改置爲十六衛，以其中的十二衛分領全國府兵。十二衛各置大將軍一人，將軍二人。這時的大將軍，不是最高統帥之職，僅有管理、訓練之權。戰時經皇帝任命方可統率臨時徵調來的府兵出征。
第三，裁併地方機構，實行州、縣兩級制。魏晉以夾。地方機構的設置既濫又多。開皇三年，採納河南道行臺兵部尚書楊尚希的建議，廢掉郡一級，存州、縣兩級。《隋書·楊尚希傳》說:“‘當今郡縣，倍多於古，或地無百里，數縣並置，或戶不滿千，二郡分領。具僚以衆，資費日多，吏卒人倍，租調歲減。清幹良才，百分無一，動須數萬，如何可覓?所謂民少官多，十軍九枚。……今存要去閒，並小爲大，國家則不虧粟帛，選舉則易得賢才，……’。帝覽而嘉之，於是遂罷天下諸郡。”煬帝時，又曾改州爲郡。從隋代起，州、郡變爲同級機構的不同名稱。
第四，廢除高級長官自闢僚屬的制度，官吏的任命權皆集於中央。《通典·選舉典》說:“當時之制，尚書舉其大者，侍郎栓其小者，則六品以下官吏，鹹吏部所掌。自是，海內一命以上之官，州郡無復辟署矣。”隋代自九品至一品官，稱爲流內，不入九品的稱爲流外。京師官署吏員，多以流外官充任。
第五，廢除九品中正制，實行科舉考試製度。《通典·選舉典》說:“隋氏罷中正，舉選不本鄉曲，故里閣無豪族，井邑無，衣冠，人不土著，萃處京哉。”《唐會要·制科舉》又說:“場帝嗣興，又變前法，置進士等科。”這裏的進士科，是考試科目，而非察舉科目。
第六，加強對官吏的管理、監督。隋文帝對貪官污吏懲辦很嚴。他常常派出親信偵察內外百官，甚至祕密使人給官吏送賄賂，若被接受，立即處死。開皇十七年，詔令長官對犯有過失的屬吏，可以杖罰。其詔日:“分職設官，共理時務，班位高下，各有等差。若所在官人不相敬憚，多自寬縱，事難克舉。……其諸司論屬官，若有愆犯，聽於律外斟酌決仗。“
