自奧托一世(奧托王朝第一任皇帝)由教宗加冕以來，每一位羅馬人民的國王都希望獲得皇帝名號。但由奧托一世所創建的帝國，其皇帝稱號來自於教皇賦予的“西羅馬的皇帝”稱號，皇帝通過征服意大利來取得“羅馬皇帝”的合法性。帝國的所謂選帝侯，其直接選舉的當爲“羅馬人的國王”，而非皇帝。因此，並非每一位德意志統治者都可以成爲皇帝，只有進軍意大利，接受教皇加冕的強者，纔可獲得這一殊榮。
神聖羅馬帝國的範圍，在奧圖一世和後代的不斷使其有地區納入、加盟下，從日耳曼平原北至波羅的海，東達今天的波蘭部分，並南抵今天的瑞士、波希米亞、奧地利和意大利的北部。打從一開始，神聖羅馬帝國的皇帝即面臨一個相同的難題，也就是如何保持對德意志和意大利這兩個不同地區的控制，因爲兩地中間隔着阿爾卑斯山脈，統合上並不容易。
神聖羅馬帝國的成功，基本上是受惠於日耳曼和意大利這兩個主要成員。日耳曼人並沒有消除多少野蠻的特性。他們很早就被查理曼征服。帝國也從意大利的文化、科技和貿易等方面獲利良多。意大利人欣然接受由帝國確保的和平與穩定，因爲他們曾在五百年前受到入侵。由帝國所提供的保護防衛了羅馬教廷，並且讓意大利的城邦國家得以開始發展。
帝國皇帝的軍隊由教會土地的佃戶所擔任，他們有義務爲皇帝服軍役，是皇帝在與教會決裂而失去權威前這些士兵是皇帝軍隊的多數。第二種重要的部隊是由莊園農奴組成的兵團，雖然他們一部分會在接受最好的訓練與裝備後成爲騎士，卻不是自由人。第三由帝國分予土地的自由民、軍戶、農民、騎士也有義務服從號召。之外帝國內所有的部隊皇帝理論上皆有權指揮，各公國在皇帝的請求下也會提供軍役的號召。這些軍隊會被用來鎮壓由帝國內貴族和農民所參與的暴動或政爭，也必須抵擋來自北方的維京人和東方的馬札兒人所發動的入侵。
在奧托王朝與薩利安兩朝，皇帝還有實際的權力，帝國軍的指導權讓皇帝在具掌控帝國內成員的實力。
然而，皇帝和教皇之間的對抗，間接的形成了日耳曼的未來命運。這項對抗是關於皇帝對主教職位的授予，和日耳曼境內其他教堂神職人員的任命。教皇葛列格里七世反對這項措施，因爲如此一來導致教堂神職人員的職位買賣，成爲主要的貪污腐化來源。神職人員的職位常常落到出價最高的競標者手裏。在長期數位教皇和皇帝之間的競爭，教皇贏得選擇主教的權利。在這場爭執中，帝國就在日耳曼爆發了內戰。
削弱了皇帝們在日耳曼和意大利的統治權。當皇帝被暫時逐出教會並且投注於對抗羅馬的戰爭時，帝國的政權就已失去效力。在未受到皇帝的干預或幫助之下，地方上的日耳曼親王團結自己的力量並與維京人作戰。在意大利，興起中的城邦國家聯合起來組成倫巴底聯盟，並拒絕承認神聖羅馬帝國皇帝的地位。
因此隨着德意志各諸侯離心傾向的加劇，皇帝的地位不斷下降。1356年盧森堡王朝的查理四世頒佈《金璽詔書》(《黃金詔書》)以後，皇帝實際由王國境內七大選帝侯選舉產生，他們是最古老同時也是最具權勢的三大教會諸侯：美因茨大主教、科隆大主教、特里爾大主教;四大世俗領主：波希米亞國王、萊茵—普法爾茨伯爵、薩克森—維滕堡公爵，勃蘭登堡藩侯，本身代表帝國的成員國不再認爲皇帝與帝國有實際價值。
在日耳曼和意大利的政權，自此從皇帝身上轉移到地方上的親王和城市。皇帝的軍隊叛亂，佔領由他們駐守的城市和城堡，並宣佈這些地方被解放。而當時的皇帝爲重新奪回意大利，對日耳曼地方上的親王作了很多的讓步。到了十三世紀中期，神聖羅馬帝國便已名存實亡，皇位更虛置達二十年。日耳曼的親王只關心自己所保有的東西。意大利的城邦國家並不接受日耳曼的統治者，而且他們也強大得足以防衛自己。
中古時代的皇帝是由日耳曼的親王推選出來的，但僅徒具空名，對地方的控制力遠遠不及他們對自己家族莊園的掌握。幾個世紀以來，日耳曼只能算是歐洲的一股小勢力。
16世紀時，哈布斯堡家族試圖重振皇權，但因歐洲各國和德意志諸侯的聯合反對而作罷。
