過去中國的官制，有“內朝”和“外朝“的分別。內朝是由皇帝領導的，外朝由宰相領導。宰相跟皇帝之間，有着非常特殊的關係。因爲權力的關係，所以他們既是搭檔，也容易產生矛盾。如果皇帝想要削弱宰相的權力，往往會提拔擴充內朝。漢武帝就曾從民間提拔過很多儒士擔任自己的侍從。他們可以給皇帝講學，也可以給皇帝一些建議，說一些民間的真實情況。
翰林學士的產生，也是來源於此。翰林學士的起源，可以追述到唐朝初年李世民時期。當年李世民還是秦王的時候，就曾設下文學館，招攬天下俊才爲自己所用。這些人對他幫助極大，從打天下到玄武門之變，都是很好的幫手。後來當上皇帝后，李世民繼續招攬那些有才學的人，留在自己身邊。
這種做法，一直被後來的皇帝延續下來。他們屬於皇帝身邊的御用文人，被稱爲翰林侍詔，負責給皇帝講學，供皇帝文娛消遣，提供一些建議，偶爾負責起草一些不重要的詔書。而翰林學士正式的產生，則是在唐玄宗時期。唐玄宗將過去的翰林侍詔與翰林學士區分開來，專門修建了翰林學士院。
翰林侍詔依然是以陪皇帝消遣爲主，而翰林學士，則是專門負責起草詔書，擔任顧問，可以參與決策當中。要知道，唐朝前期負責起草詔書的，主要是由中書舍人負責。他是皇帝的祕書，卻隸屬中書省管轄，也就是屬於宰相的下屬。
一個制度的產生，背後一定有現實因素的推動。唐朝中期時，隨着政務日益繁多，中書舍人所要承擔的工作也越來越多。時間一長，便無法維持。於是，皇帝便從其他部分抽調一些有才幹的人，協助中書舍人完成工作。後來，唐玄宗進行了一次較大的改動，便由此產生了翰林學士。
翰林學士的產生，意味着詔書不再由中書舍人專門完成。朝廷詔書被分爲兩部分。翰林學士發佈的詔書被稱爲“內製”，屬於重要詔書。而中樞舍人發佈的被稱爲“外製”，屬於一般詔書。而翰林學士的入選標準，也不是以資歷爲主，更看重的是個人的學問和才幹。
他們也不屬於任何部門管轄，只對皇帝負責，屬於皇帝的“私臣”，身份極高。不過，他們沒有品級，更沒有俸祿。所以，翰林學士常常需要兼職其他官職。皇帝也藉着翰林學士的成立，從宰相手中，將權力劃分過來。某種意義上來說，他們更像是皇帝的祕書和顧問。
在設立之初，翰林學士的權力並不大。但是，隨着安史之亂的爆發，事務逐漸繁多。翰林學士需要承擔的事情更多了。許多重要大事，如冊封皇后、立宰相、太子這樣的大事，皇帝都會跟他們商量，讓他們參與決策，起草詔書。而到安史之亂後，隨着藩鎮割據，宦官勢力猖獗，皇權衰落。皇帝爲了鞏固自己的權力，常會更加的倚重翰林學士，授予他們更大的權力。以至於到後來，翰林學士甚至有了“內相”的稱呼。
