A Kantonban született Pei 18 esztendős kora óta élt az Egyesült Államokban, kiemelkedő alkotásai szerte a világban dicsérik tehetségét. Alkotásai között van a párizsi Louvre előtti üvegpiramis, a bostoni Kennedy Könyvtár, a washingtoni Szépművészeti Múzeum keleti szárnyának modern épülete vagy a Katarban nemrégiben megnyílt Iszlám Művészeti Múzeum, de tervezett iskolákat, kórházakat, irodaépületeket, lakóházakat is.
Munkásságát számtalan amerikai és nemzetközi díjjal ismerték el.
Egy tehetős bankár fiaként érkezett az Egyesült Államokba, kevés angoltudással. Elvégezte a tekintélyes bostoni műegyetemet, majd ipari formatervezésből mesterfokú diplomát szerzett a Harvardon. Saját céget alapított 1955-ben. Tizenkét évvel később, 1967-ben a coloradói Boulderban épített, a Sziklás-hegységhez illeszkedő légkörkutató intézet megtervezésével robbant be az építészvilágba. Mint később emlékezett: "hálózsákkal és olcsó vörösborral" ment terepfelmérésre Walter Orr Robertsszel, az intézet alapító igazgatójával.
Pei nagy műgyűjtő volt, valamint a költészet és a természet szerelmesként is számon tartották. Feleségét, akivel hetvenkét évig élt házasságban, öt éve vesztette el.
