1891. november 15-én született Heidenheimben, négy testvér közül másodikként. Rommel repülőmérnök akart lenni, de gimnáziumi igazgató apja választás elé állította: vagy tanár, vagy katonatiszt lesz. Õ az utóbbit választotta, a reálgimnázium elvégzése után hadapródként belépett a hadseregbe. 1911-ben egy bálon ismerte meg feleségét, akit 1916-ban vett el, ugyanakkor egy másik hölgy iránt is gyengéd érzelmeket táplált. A házasságon kívüli kapcsolatból egy lánya született, akit az anya halálát követően a feleségével magához vett - a botrányt elkerülendő azonban a társasági élet eseményein lányát unokahúgaként mutatta be.

Az első világháború kitörésekor már hadnagyi rangban szolgált. Megjárta a francia és az olasz frontot is, kétszer sebesült meg, és megkapta a Vaskeresztet. Ott volt, amikor a németek először kísérleteztek a villámháborús taktikával az Alpok vidékén; a támadásról húsz évvel később könyvet is írt. 1928-ban született meg Manfred fia, aki évtizedekkel később, a hetvenes években Stuttgart polgármestere volt.

Rommel 1929-től tanított a drezdai katonai akadémián, 1933-ban már őrnagyi rangban vezette a 17. gyalogezred III. zászlóalját. Bár Németországban a vezérkarba kerülés jelentette az előmenetel megszokott útját, a kinevezést mindig visszautasította, megmaradt csapattisztnek a weimari köztársaság Reichswehrjében és a hitleri Wehrmachtban is. Karrierje így is felfelé ívelt, 1937-ben jelentette meg Infanterie greift an (A gyalogság támadása) című katonai szakkönyvét, amelyet a második világháború alatt angol fordításban az amerikai hadseregben is oktattak, sőt Rommel nagy ellenfele, Patton tábornok is tanulmányozta. A könyv Hitler figyelmét is felkeltette, aki 1938-ban ezredessé léptette elő Rommelt.

A második világháború kezdetén vezérőrnagyi rangban irányította a Führer parancsnokságát, vonaton berendezett főhadiszállása a front mentén haladva igyekezett nyomon követni a történéseket. Ezt követően a páncélos divízió vezetését látta el, sikerrel alkalmazva a villámháborús taktikát, egysége a gyors mozgás és a váratlan stratégia következtében kapta a "kísértetdivízió" nevet. A vérbeli katona tábornoktársaitól eltérően mindig a frontvonalban volt, személyesen vezette a támadásokat: "ahol Rommel van, ott zajlik a harc" - mondták róla. A francia fronton elért sikereiért Lovagkeresztet kapott, és altábornaggyá léptették elő.

1941 februárjában azt a feladatot kapta, hogy az Afrika Hadtest (Afrikakorps) vezetőjeként támogassa a szorult helyzetbe került szövetséges olasz csapatokat az észak-afrikai fronton. Rommel visszaszorította a brit csapatokat, fölénye csak akkor roppant meg, amikor az angolok feltörték kódjait és utánpótlása akadozni kezdett - Hitler ugyanis csak mellékes hadszíntérnek tartotta Afrikát.

Rommel 1942-ben hozzálátott az Afrikakorps páncélos hadosztállyá alakításához, mert ebben látta a siker egyedüli esélyét. Taktikája bevált, az Afrikakorps nyárra 50 kilométerre megközelítette Alexandriát. Rommelt a Lovagkereszt újabb fokozatával tüntették ki és vezérezredessé léptették elő - a "Sivatagi Róka" 51 évesen a Wehrmacht legfiatalabb vezértábornagya lett. Támadása azonban El Alameinnél elakadt, fordult a kocka és ettől kezdve a Montgomery tábornok vezette, elsöprő anyagi és létszámfölénybe került britek szorították egyre hátrább az utánpótláshiányban szenvedő németeket. Az Afrikakorps végül 1943. május 12-én Tuniszban letette a fegyvert a brit-amerikai csapatok előtt.

A hazarendelt Rommel 1943-ban azt a feladatot kapta, hogy állítsa meg a szövetségesek szicíliai partraszállását. Ez nem sikerült neki, ezért 1943 novemberében Franciaország atlanti partvidékére vezényelték, hogy felkészüljön a várható szövetséges invázióra. Rommel meg volt győződve arról, hogy az invázió a normandiai partokon várható, de a vezérkar másként vélekedett. A D-Day, a szövetségesek 1944. június 6-i partra szállása idején a marsall Németországban tartózkodott, születésnapját ünneplő feleségénél. Miután a szövetségeseknek sikerült állásaikat megszilárdítani a szárazföldön, Rommel Kluge tábornaggyal, a nyugati front új főparancsnokával együtt július 15-én táviratot küldött Hitlernek: "katonai szempontból a háború elveszett, politikai döntésre van szükség". A tábornok ekkoriban már hangoztatta kétségeit a német háborús részvételt illetően és aziránt, létrejöhet-e béke, amíg Hitler áll az ország élén. Tiszttársai közül többen sugalmazták neki, hogy Hitler bukása után átvehetné a vezetést, de ezt ő elutasította.

Rommel 1944. július 17-én, három nappal a Hitler elleni sikertelen merénylet előtt megsebesült és kórházba került, csak augusztusra épült fel. Az összeesküvésben nem vett részt, de a nyomozó hatóságok azt bizonyítottnak látták, hogy tudott róla és nem jelentette. A megtorlást nem kerülhette el, de rendkívüli népszerűségére való tekintettel Hitler felajánlotta neki: ha öngyilkos lesz, családjának nem esik bántódása. Rommel 1944. október 14-én bevette a méregkapszulát, s a legnagyobb hősöknek kijáró temetést kapott, a nemzetiszocialista eszme és Hitler hűséges katonájaként méltatták.

Katonai képességeit az angolok is értékelték, Churchill ezt mondta róla: "Erwin Rommel nagy hadvezér, valóban tehetséges katona volt, aki egy gonosz ügy szolgálatába állt". Rommel emlékirata Háború, gyűlölet nélkül címmel 1991-ben jelent meg magyarul.