A hatvankettedik évében járó Löw játékosként a Bundesliga 1-ig és az utánpótlás-válogatottságig jutott. Edzőként első sikerét a VfB Stuttgarttal érte el, Lisztes Krisztián is a játékosa volt. 1997-ben Német Kupa-győztes, egy évvel később KEK-döntős lett. A következő hat évet – majdnem végig – külföldön töltötte, Törökországban és Ausztriában dolgozott, közben a Karlsruhét dirigálta otthon.
A sikertelen 2004-es Európa-bajnokság után a DFB, a német labdarúgó-szövetség vezérkara úgy döntött, a két évvel korábban vb-ezüstérmes Rudi Völler szerződését felbontva új stábot nevez ki a Nationalelf élére. Oliver Bierhoff lett a csapatfőnök, Jürgen Klinsmann a szövetségi kapitány, egykori tanulótársa az edzőképzőben, Joachim Löw pedig a segítője. A trió azzal a megbízással és szándékkal látott munkához, hogy Németország nyerje meg – 1974-hez hasonlóan – a hazai rendezésű világbajnokságot.
Nem sikerült, a Nationalelf, miután elveszítette az olaszok elleni elődöntőt, „csak” harmadikként zárt. A torna után Klinsmann távozott, Löw pedig előrelépett szövetségi kapitánynak. A DFB történetében egyáltalán nem számított különlegességnek, hogy a kapitány távozása után korábbi segítője veszi át a válogatottat, így volt ez
- Otto Nerz esetében (Sepp Herberger dolgozott mellette a váltás előtti négy évben), aztán
- Herberger lemondása után is (Helmut Schön kilenc éven át segítette) és
- Schönnél (nyolc éven át Jupp Derwall volt a pályaedzője)
is.
Joachim Löw 2006. augusztus 16-án, Gelsenkirchenben, a svédek ellen vezette először szövetségi kapitányként a válogatottat, nem akart minden korábbit félrerúgni, a kezdő tizenegyében, Marcell Jansenen kívül mindenki legalább 25 válogatottságot tudhatott már a háta mögött. A csereként beküldöttek között két újoncot avatott, sem Manuel Friedrich, sem Malik Fathi nem lett aztán törzstag a csapatában.
A 2008-as, osztrák–svájci közös rendezésű Európa-bajnokság volt az első nagy tornája. Az előző két év jól sikerült, Löw az első német szövetségi kapitány lett, aki sorozatban öt győzelemmel kezdett a Nationalelf élén. Látványos támadófutballt játszatott a csapatával, amely aztán, ha nem is könnyen, de bejutott az Európa-bajnokság döntőjébe – igaz, ott kikapott a spanyoloktól.
Tulajdonképpen ez jellemezte az első három tornáját:
„majdnem” válogatott lett a Nationalelfből.
Nagyon erősnek bizonyult, de a spanyolokkal nem bírt. A 2010-es világbajnokságon az elődöntőben találkozott a két válogatott, s megint a La Roja nyert 1–0-ra. Ez a keret már valóban Löwé volt, az ő felfedezettjei, a nála debütáltak alkották a keret magját.
A német válogatotté volt a második legfiatalabb keret a tornán, olyan kulcsszereplővé előlépő, a nemzetközi porondon fiatal játékosokkal, mint Thomas Müller és Mesut Özil. A németek mérföldkőnek tartják (futball)politikai szempontból is azt a keretet: immár nem csak Lengyelországból bevándorló játékosok erősítették a keretet, mint a tunéziai szárrmazású Sami Kheidra, a török Mesut Özil és Serdar Tasci, a brazil Cacau, a félig nigériai Dennis Aogo, a boszniai szerb Marko Marin, a félig ghánai Jerome Boateng, s a félig spanyol Mario Gómez. Mellettük még három Lengyelországban született is szerepelt a keretben: Lukas Podolski, Miroslav Klose és Piotr Trochowski.
A 2012-es Európa-bajnokságon megint nagyon közel voltak a randevúzáshoz, ám az olaszok kiejtették a németeket a varsói elődöntőben. E torna előtt már a németeket emlegették a címvédő spanyolok mellett a legnagyobb esélyesként, a Nationalelf a dél-afrikai vb-bronzmérkőzés (Uruguay ellen 3–2) és a 2012-es Eb-negyeddöntő (Görögország ellen 4–2),
világrekordot állított fel azzal, hogy sorozatban 16 tétmérkőzését megnyerte.
A Löw-éra csúcspontját a 2014-es brazíliai világbajnokság jelentette, az elődöntőben a házigazdák elleni 7–1-es futballtörténelmi sikerrel, majd a Lionel Messi-vezette argentinok legyőzésével. Sokan tippelték akkor, hogy a mindössze 27 év átlagéletkorú német válogatott a következő esztendőkben uralni fogja a világfutballt.
A 2016-os Európa-bajnokságot ellenben nem nyerte meg, igaz, nem is élte meg kudarcként. Franciaországban a hat mérkőzésén mindössze három gólt kapott, abból is az első kettőt elkerülhető tizenegyesből. A Nationalelf az elődöntőben 2–0-ra kapott ki a franciáktól.
Ettől még nagy favoritként készült a címvédésre, a következő világbajnokságra. A 2017-es Konföderációs-kupára Joachim Löw tulajdonképpen a B válogatottat vitte el, részben a riói olimpia ezüstérmeseire építve. A Julian Draxler köré épített válogatott nagyon simán végigverte ellenfeleit, mire a futballvilág elkezdte sajnálni Löwöt: hogyan tudja majd kiválasztani a huszonhármat az oroszországi vb-re a legalább 30-32 alkalmas játékos közül.
Ám a 2018-as vb a német futball történetének egyik legnagyobb kudarcát hozta, a címvédő még a csoportból sem jutott tovább. A sajtó és a szurkolók egy része a bukott kapitány lemondását, illetve leváltását követelte, ám
a szövetség, Oliver Bierhoff csapatfőnök javaslatára, kitartott Löw mellett.
Ma már azt mondhatjuk: nem kellett volna. Kudarcot hozott a következő Nemzetek Ligája-sorozat, s most kudarcba fulladt az Európa-bajnoki szereplés is. Ebben az időszakban a válogatott 6–0-ra kikapott a spanyoloktól, 1931 óta nem érte ilyen súlyos vereség a Nationalelfet. Idén márciusban, hazai pályán, 2–1-re veszített világbajnoki selejtezőn Észak-Macedónia ellen. Löw
- 198 válogatott mérkőzés után, két kudarcos torna után búcsúzik,
- 124 győzelemmel,
- 40 döntetlennel és
- 34 vereséggel.
Játékosai közül Toni Kroos és Thomas Müller egyaránt 106, Manuel Neuer 104, Lukas Podolski 98, Philipp Lahm 88, Bastian Schweinsteiger 86 mérkőzésen játszott az irányításával. Az első háromról szólva: vajon hányan folytatják majd Hansi Flicknél is?