Pilisen született 1932. október 21-én, hajdanán a Szentlőrinci AC-ból alakult (vagy inkább alakított) Postás játékosa volt. Tizenkilenc évesen, a Diósgyőr ellen mutatkozott be az élvonalban.

Két esztendőt játszott a Postásban, majd kettőt a Csepelben, igaz, a szigetváros csapatában a másodikat már nem fejezte be. Pedig abban az idényben már alapembernek számított az együttesben, sőt kétszer játszott az A-válogatottban is a skandináviai túrán.

1955. október 16-án Bécsben lépett pályára a B-válogatott tagjaként, majd onnan nem tért haza, átment az NSZK-ba, ahol az eltiltása lejárta után a Karlsruher SC szerződtette. 1958 nyarától egy évet Svájcban, a La Chaux-de-Fonds színeiben az ottani élvonalban futballozott, majd 1959 és 1965 között a Stuttgarter Kickers játékosa volt.

Visszavonulása után elvégezte a világhírű kölni főiskolát, majd a Wacker Berlin, a Reutlingen és a belga Antwerp pallérozása után szövetségi edző lett az észak-badeni tartományi szövetségnél. Karrierje 1978-ban fordult a csillagok felé, amikor Lóránt Gyula, az Aranycsapat egykori középhátvédje a Bayern Münchenhez hívta.

Pályafutása csúcspontja kétségtelenül a bajor rekorderbajnoknál eltöltött időszaka, amelyben - Lóránt menesztése után már vezetőedzőként - 1983. május 16-ig két bajnoki címet nyert, kétszer negyedik, egyszer harmadik lett. Megnyerte a DFB kupáját, s bejutott a csapattal a BEK döntőjébe 1982-ben. A pályán Paul Breitner volt a jobbkeze (miután Gerd Müller megsértődött a lecserélésén, s távozott), a két "Pálról" ezt a korszakot a bajoroknál Pal Systemnek nevezték.

A Bundesliga történetének legsikeresebb magyar edzője a Bayerntől való távozása után a PAOK Szalonikinél (1983-84), a lisszaboni Benficánál (1984-85), a Borussia Dortmundnál (1985-86), a Young Boysnál (1989), a Koreai NDK válogatottjánál (1989-90), a berlini Herthánál (1990-91) dolgozott. Az 1994-95-ös idényben a Sopron együttesét irányította az NB I-ben.

Az utóbbi években Budapesten élt. Hat évvel fiatalabb öccse, az olimpiai bajnok Csernai Tibor alig egy éve, 2012. szeptember 11-én hunyt el.