Drezdában született 1915. szeptember 15-én. Ötévesen már a grundon focizott, amit műkereskedő apja nem nézett jó szemmel. A tehetséges fiú tízévesen került a Dresdner SC ifjúsági csapatába, amelynek edzője az a Jimmy Hogan volt, aki 1916 és 1921 között az MTK-t öt magyar bajnoki aranyhoz segítette. Hogan szakmai elképzelései között szerepelt a kombinációs futball elsajátítása, a tehetséges fiatalok kiemelése, a jó csapatszellem és az egyéni képzés fontossága, ez a szemlélet határozta meg később Schön edzői munkáját is. A felnőttcsapat játékosaként 1932 őszén debütált, de súlyos térdsérülése miatt nem sokkal később hosszabb pihenőre kényszerült. Lábadozása közben leérettségizett, és banktisztviselőként kezdett dolgozni.
1936-ban tért vissza, és a frissen kinevezett szövetségi kapitány, Sepp Herberger rögtön beválogatta a nemzeti tizenegybe. Az 1938-as világbajnokságot sérülés miatt ki kellett hagynia, ezután 16 válogatott mérkőzésen 17 gólt szerzett, de Herberger 1941-ben, a svédektől hazai pályán elszenvedett súlyos vereség után kitette a keretből. Schön középcsatárként 1941-ben és 1942-ben kupagyőzelemhez, 1943-ban és 1944-ben bajnoki aranyhoz segítette a Dresdner SC-t. A Nemzetiszocialista Német Munkáspártba nem lépett be, akárhogyan győzködték is, a hadseregbe - népszerűségére való tekintettel - nem hívták be. Drezda 1945 februári bombázását sértetlenül élte túl.
A második világháborút követően a szovjet megszállás alatt lévő Szászországban, majd a berlini Herthában játékosedzőként játszott, alkalmanként a hamburgi St. Pauliban is szerepelt, 1949-50-ben tagja volt az NDK válogatottjának. Edzői diplomáját 1950-ben Kölnben szerezte meg, ezután Wiesbadenbe települt át.
A második világháború után a Német Labdarúgó Szövetséget (DFB) a Nemzetközi Labdarúgó Szövetség (FIFA) kizárta a nemzetközi mérkőzésekről. Az NSZK-ban újjáalakult DFB 1950-ben visszatérhetett a FIFA soraiba, de az abban az évben rendezett világbajnokságon nem vehetett részt, majd 1952-ben az NDK labdarúgó-szövetsége is a FIFA tagja lett. Schön az ötvenes évek elején a francia megszállás alatt lévő, önálló szövetséggel rendelkező Saarland válogatottjának edzője volt. Miután 1957. január 1-jén a Saar-vidék véglegesen Nyugat-Németország részévé vált, az akkor már edzőként is tapasztalt Schön a szövetségi kapitány, Sepp Herberger jobbkeze lett.
A csapat irányítását 1964-ben vette át, így ő lett az egyetlen edző, aki mindhárom német válogatottban megfordult. A jellegzetes fejfedője miatt csak "sapkás embernek" nevezett szövetségi kapitánnyal új korszak kezdődött a válogatott életében. 1966-ban világbajnoki ezüst-, 1970-ben bronzérmet szerzett a csapattal, 1972-ben a belgiumi Európa-bajnokság döntőjében a szovjet csapatot 3-0-ra győzték le. A csúcsra az NSZK-ban rendezett 1974-es világbajnokságon értek fel. A Schön által dirigált Nationalelf húsz év után másodszor is a világ legjobbja lett, a döntőben a Johan Cruyff vezette Hollandiát verték 2-1-re. Schön azzal is rekordot állított fel, hogy az NSZK lett az első olyan válogatott, amely Európa-bajnokként nyert világbajnokságot.
A győztes csapat a vb-után átalakult, de így is eljutott 1976-ban az Európa-bajnokság döntőjébe, ahol tizenegyesekkel kikapott Csehszlovákiától. (E párbaj során lőtte az utolsóként a labda mögé álló cseh Antonín Panenka az elhíresült büntetőt.) Az 1978-as argentínai világbajnokságra címvédőként érkező NSZK válogatott a második csoportkörből már tovább sem jutott, helyezés nélkül tért haza.
Schön a kudarcot követően távozott szövetségi kapitányi posztról, helyére a folyamatosság jegyében segédjét, Jupp Derwallt nevezték ki. Kapitánysága 14 évében a Nationalelf 139 mérkőzést játszott, ebből 87-et megnyert, 30 döntetlenre végződött és csak 22-t veszített el.
Nyugdíjazása után feleségével Wiesbadenbe vonult vissza, világbajnok csapata 1990-ben itt látogatta meg hetvenötödik születésnapján. A kilencvenes évek elején Alzheimer-kórt diagnosztizáltak nála, élete utolsó éveit öregek otthonában töltötte, itt halt meg 1996. február 23-án.
Franz Beckenbauer, aki játékosként Schön idején érte el sikereit a nemzeti tizenegyben, azt mondta róla: az egykori kapitány rendkívüli ember volt, akit mindenki tisztelt, s mindenki kedvelt, olyan légkört teremtett, hogy öröm volt a válogatotthoz csatlakozni, edzésein részt venni.
Minden idők egyik legnagyobb futballedzőjét 1974-ben az NSZK Érdemrendjével, 1984-ben FIFA Érdemrenddel tüntették ki. Nevét viseli a wiesbadeni sportpark és egy drezdai főút is, 2008-ban posztumusz helyet kapott a német sportolók panteonjában, tavaly, születésének centenáriumán a német posta bélyeget jelentetett meg arcképével.