Német eredetű családban született 1814. április 6-án Székesfehérváron, apja jómódú kereskedő volt. A bécsi Polytechnikumban tanult, majd 1832-től Pesten, a Pollack Mihály tervezte Ludovika és a Nemzeti Múzeum építkezésén segédkezett. 1836-tól Bécsben Heinrich Koch alkalmazta irodájában, s közreműködött a prágai Kinsky-palota építésénél is. 1840-42-ben a müncheni akadémián folytatta építészeti stúdiumait, közben Itáliában tett tanulmányutat. Hazatérve - mivel nem vették fel a Pesti Építő Céhbe, s így nem vállalhatott munkát -, Pollack Mihály Ágost nevű fiával társult, közösen építették át Batthyány Lajos gróf ikervári kastélyát.

1847 és 1851 között Fóton élt a Károlyi család építészeként, ekkor tervezte a Károlyiak fóti és radványi kastélyát, valamint a kaplonyi és fóti templomot. 1851 nyarán, ifjú házasként visszaköltözött Pestre - felesége grazi születésű nevelőnő volt -, s hamarosan a főúri világ legkedveltebb építésze lett. Első nagy alkotásai a keleti elemekkel tűzdelt romantikus stílus jegyében születtek: a fóti templom mellett a világháborúnak áldozatul esett pesti Nemzeti Lovarda, a Múzeum körúti Unger-ház, a Széchenyiek nagycenki temploma.

Második itáliai tanulmányútja után, 1860-tól az olasz reneszánsz stílus újjáteremtése foglalkoztatta. Munkássága érettebb szakaszában többnyire neoreneszánsz stílusú alkotásokat tervezett, mint a Budai Takarékpénztár második világháborúban elpusztult palotája a Clark Ádám téren, a Ganz-mauzóleum, a Kálvin téri (később lebombázott) Geist-ház, a Nemzeti Múzeum mögötti Károlyi- és Festetics-paloták. 1865-ben alkotta a Sándor utcai Régi Képviselőházat (a mai Olasz Intézetet), s ezen a környéken a Pálffy- és a Degenfeld-palota is az ő műve.

Budapesti bérházak és paloták, vidéki kastélyok mellett a Rácz fürdő gőzfürdőjének és a Pesti Hazai Takarékpénztár Egyetem utcai intézetének tervei is az ő nevéhez fűződnek. A margitszigeti Margitfürdőt is ő tervezte a köréje emelt szállásokkal, pavilonokkal, ivócsarnokkal (az épületegyüttes a második világháborúban megrongálódott, nagy részét lebontották).

Legjelentősebb, neoreneszánsz alkotásai 1870-től készültek: a Fővámház (a mai Corvinus Egyetem) épülete, a Várkert Bazár és a Várkert Kioszk, a Károlyi család számára épült parádsasvári és parádfürdői kastély, valamint a parádfürdői Cifra Istálló. Hild József szakmai örököseként 1867-ben ő vette át és neoreneszánsz stílusban folytatta az addig klasszicista stílusban készülő Szent István-bazilika építését, és az ő tervei szerint építették át a Nemzeti Casino számára a Hatvani utcai Cziráky-palotát. Az ő munkája az egykor a Kálvin téren álló Danubius-kút Fessler Leó szobraival, dolgozott a budavári királyi palota újjáépítésén is, ő tervezte a krisztinavárosi szárnyat és a nagy udvart is (a munkát nem tudta befejezni, azt Hauszmann Alajos folytatta).

Fő műve, egyben legszebb épülete, a budapesti Operaház, amelynek tervezésére 1873-ban nemzetközi tervpályázatot írtak ki. A bíráló bizottság Ybl tervét fogadta el, amelyet az építész később többször átdolgozott, felhasználva több pályamű elemeit. A munkálatok 1875 októberében kezdődtek, és néhány hónap múlva az építkezés vezetését is a kevés szavú mesterre bízták. Európa egyik legszebb dalszínháza, amelyet nemcsak megjelenése, belső terei is a kor kiemelkedő alkotásává avatnak, 1884. szeptember 27-én a királyi család jelenlétében nyitotta meg kapuit.

Elnöke volt a Magyar Mérnök és Építész Egyletnek, tagja a fővárosi törvényhatósági bizottságnak és 1885-től a főrendiháznak. 1882-ben fényes külsőségek közepette ünnepelték 50 éves építészi jubileumát, bánatára azonban a Magyar Tudományos Akadémia - jóllehet székházának építésében részt vett - nem fogadta kebelébe. Ybl Miklós Budapesten halt meg 76 éves korában, 1891. január 22-én.

Az ő nevét viseli az 1953-ban alapított legrangosabb magyar építészeti kitüntetés, számtalan közterület, oktatási intézmény, többek között a Szent István Egyetem Építéstudományi Kara Budapesten. Több szobra áll, a 2002-ben magyar csillagászok által felfedezett 166886 jelű kisbolygót róla nevezték el.

Születésének 200. évfordulója alkalmából 2014-ben emlékévet tartottak, ennek keretében jelentették meg a munkásságát 52 település több mint 100 épületén keresztül bemutató kiadványt. 2014-ben adták át az általa tervezett neoreneszánsz stílusú budai Várkert Bazár megújult épületegyüttesét is. Az olasz, német és francia függőkertek mintájára tervezett neoreneszánsz építmény 1875 és 1883 között épült, 1987-ben a világörökség része lett, de 1996-tól felújításáig a világ száz legveszélyeztetettebb műemléke közé tartozott. A hitelesen rekonstruált Várbazár a hozzá kapcsolódó közlekedésfejlesztéssel a királyi vár kapuja lett.