A kiegyezés utáni Magyarországon a középiskolák száma egyre nőtt, ám igen kevés volt a jól képzett, magyar anyanyelvű tanár. Eötvös Loránd, a kitűnő fizikus 1875-ben javasolta Trefort Ágoston vallás- és közoktatásügyi miniszternek egy bentlakásos tanárképző intézmény megalapítását a neves párizsi École Normale Supérieure mintájára, de a megvalósulásig még két évtized telt el.

Amikor 1894-ben rövid időre Eötvös lett a kultuszminiszter, a költségvetésbe beiktatott egy 15 ezer forintos tételt "tanárjelöltek bennlakó intézetének létesítésére". Az elképzelést utódja, Wlassics Gyula is pártfogolta, aki 1895 májusában Beöthy Zsolt irodalomtörténészt, Heinrich Gusztáv filológust, Leövey Sándor miniszteri tanácsost és Kármán Mórt, a modern pedagógia magyarországi úttörőjét kérte fel a szervezeti szabályzat kidolgozására. 1895 júliusában ez a bizottság javasolta, hogy az intézet a "Báró Eötvös József Collegium" nevet viselje az 1848-as Batthyány- és az 1867-es Andrássy-kormány vallás- és közoktatásügyi miniszterének emlékére.

Az alapító okirat uralkodói szentesítését követően az intézménynek Eötvös Loránd (a névadó fia) lett az első kurátora. A fizikus tanítványai közül kinevezett első igazgató, Bartoniek Géza a porosz mintára szervezett magyar oktatási rendszerben egy liberális szellemiségű szigetet teremtett. Az oktatás 1895 szeptemberében 31 pályázat útján felvett növendékkel kezdődött meg a pesti Csillag utca (ma Gönczy Pál utca) 2-ben, az úgynevezett Kerkápoly-házban. A diákok 1910 karácsonyán költözhettek be az Alpár Ignác tervezte, háromemeletes Ménesi úti épületbe, amely akkoriban az egyetlen ház volt a Gellérthegy déli lejtőjén.

A szervezeti és fegyelmi szabályzat szigorú napirendet írt elő, a kollégistáknak a szaktudományos ismeretek mellett a középosztály társadalmi érintkezési normáit is el kellett sajátítaniuk. A főiskolai rangú tanárképző intézményben a tanulmányi munkát szakvezető tanárok irányították, a kollégisták a nap minden órájában szabadon kutathattak az óriási könyvtárban. A diákközösség legkisebb egysége a "család", az általában négy különböző évfolyamba tartozó, de azonos szaktárgyat felvett szobatársak kisközössége volt. A hallgatók egyharmada a természettudományi karról került ki, ami lehetővé tette, hogy az egyes karok diákjai ne zárkózzanak be saját stúdiumaikba. A külföldi, főként francia és német vendégprofesszorok, lektorok révén a diákok első kézből juthattak nyelv-, kultúra- és országismerethez. A hallgatóknak az egyetemre csak vizsgázni kellett bejárniuk, óráikat a Collegiumban hallgatták.

Eötvös Loránd 1919-ben bekövetkezett halála után Teleki Pál lett a kurátor, az igazgatói poszton Bartoniek Gézát 1928-ban követte a kiváló nyelvész Gombocz Zoltán, aki maga is a kollégiumba járt. Gombocz idejéből származik a "fejkopogtatásnak" nevezett felvételi, azaz a jelentkezőknek nem csak dokumentumokat kellett beküldeniük, a tanári kar személyesen is elbeszélgetett velük. 1935-től 1945-ig Szabó Miklós, a klasszika-filológia professzora volt az igazgató, ő vezette be a "fogadalmat", amelyben a kollégisták arról nyilatkoztak, hogy az igazgatóság beleegyezése nélkül semmilyen társadalmi szervezetnek nem lesznek tagjai. A második világháború után kultuszminisztersége mellett az író-irodalomtörténész Keresztury Dezső igazgatta az intézményt, az ő idejében még érvényesülhetett a "szabadon szolgál a szellem", vagyis az elfogulatlan vizsgálat, a kritikus megközelítés, a szabad és önálló véleményalkotás elve.

Kereszturyt 1948-ban, a "fordulat évében" lemondatták. A kommunista rendszer mindenfajta "elit" ellensége volt, megkezdődtek a kizárások, az intézet képzési rendszere kiüresedett. A kollégiumot 1950-ben megszüntették, az épületet a Tanfolyamellátó Nemzeti Vállalat vette át, a híres könyvtár csak úgy menekült meg, hogy az Akadémia vállalta megőrzését.

A volt kollégisták révén a Collegium szellemisége tovább élt. 1956-ban Tóth Gábor egyetemi docens a régi hagyományok alapján kezdte meg az Eötvös Loránd Tudományegyetem Eötvös József Kollégiumának újraszervezését. 1957-ben az országban először itt szerveztek szakkollégiumot, s mára már a régi Eötvös Collegium hagyományaihoz híven zajlik az oktató-kutató munka, kiegészítve az egyetemi képzést a személyes kapcsolatokon alapuló kiscsoportos szemináriumi és tutoriális képzéssel.

Az 1956 óta az ELTE egyik intézeteként funkcionáló tanintézményt a rendszerváltozás után visszaállították régi jogaiba, az újraalapító oklevél 1990-ben született meg. Az 1970-es évek közepe óta működik a kollégium Baráti Köre, melynek vezetősége tanácsadó testületként segíti az igazgató munkáját.