Merkel 1918. december 7-én született Bécsben. Játékos-pályafutása nagy részét a Rapidban töltötte, két válogatottsága közül az egyiken, 1939-ben német, a másodikon, 1952-ben, osztrák színekben játszott. A bécsi zöld-fehéreknél fénykorában remek hátvédpárost alkotott a nem kevésbé híres Ernst Happellel.
Edzőként még sikeresebbnek bizonyult, három országban, Ausztriában (Rapid, 1957), Németországban (1860 München 1965, Nürnberg 1968) és Spanyolországban (Atlético Madrid, 1973) is bajnoki címet nyert egyik csapatával. 1964-ben az 1860 Münchennel bejutott a KEK döntőjébe. Pályafutása egyetlen hiányossága, hogy sohasem dolgozott igazán nagy klubnál. Pedig szerződést írt alá a Barcelonával, majd a Bayern Münchennel is.
A bajoroknál az akkori klubelnök, Neudecker őt akarta megnyerni Lóránt Gyula utódjának. Ám a csapat sztárjai, Sepp Maierrel és Paul Breitnerrel az élen fellázadtak a túl szigorúnak ismert Merkel szerződtetése ellen, s egyhangú szavazással úgy döntöttek, Csernai Pál legyen inkább az edző. Hozzátartozik a teljes képhez: Csernaival egyáltalán nem jártak rosszul, a magyar edző a hazai sikerek mellett a BEK döntőjébe vitte a Bayernt.