Marvin Pentz Gay néven anyakönyvezték, az "e" betűt csak felnőttként illesztette a neve végére. Apja, egy konzervatív keresztény kisegyház tiszteletese rendkívül szigorúan nevelte, nem csak szóban, de tettleg is szinte minden nap megfenyítette.

A fiatalember számára az otthon poklából a zene jelentette a menedéket, később azt mondta, a muzsika nélkül valószínűleg öngyilkos lett volna. Már kisgyermekként szólót énekelt a templomi kórusban, idővel megtanult zongorázni és dobolni, középiskolásként a korban divatos doo-wap együttesekben (a műfaj nevét a dalokban leggyakrabban előforduló szavakról kapta) énekelt.

Tizenhét évesen megszökött otthonról és beállt a hadseregbe, de hamarosan leszerelték. Ekkor egy énekegyütteshez csatlakozott, amely hamarosan Detroitba tette át székhelyét, itt figyelt fel Gaye muzikalitására és háromoktávos hangterjedelmére Barry Gordon Jr., aki szerződtette a soulzenével egyet jelentő Motown kiadóhoz. Gaye jellegzetes stílusát csak negyedik kislemezével találta meg, közben háttérzenészként a soulzene olyan legendáit kísérte, mint Stevie Wonder, a Supremes, a Martha and the Vandellas.

A slágerlisták élvonalába a Hitch Hike című dalával tört be (ezt később a Rolling Stones is feldolgozta), a Top Tenbe először 1963-ban a Pride and Joy került be. Ezután sorra gyártotta a slágereket, mint a Can I Get a Witness (ezt szintén feldolgozta a Stones), az I'll Be Doggone, és a How Sweet It Is (To Be Loved by You), s 1968-ban következett karrierje legnagyobb sikere, az I Heard It Through The Grapevine. Igen kedveltek lettek a duettek is, amelyeket Tammi Terrell társaságában adott elő, így a Your Precious Love és az Ain't No Mountain High Enough.

A hatvanas évek közepén ők voltak a rhythm and blues koronázatlan királyi párja, tündöklésüknek Terrell betegsége vetett véget. Az énekesnő 1967-ben koncert közben esett össze, az ekkor diagnosztizált agydaganat 1970-ben vitte el. A tragédia megrázta Gaye-t, akinek házassága is megromlott: megfogadta, hogy soha többé nem énekel duettet, eltűnt a rivaldafényből, depressziója miatt kábítószerekhez nyúlt.

A zeneipartól távol töltött idő alatt érdeklődése a társadalmi kérdések felé fordult, stílusa pedig a klasszikus soul hangzás mellett a funk, a dzsessz, a pop és a klasszikus zene elemeivel egészült ki. A szerinte megszürkült Motown kiadóval összeveszett és saját maga jelentette meg 1971-ben a politikai állásfoglalást is jelentő What's Going On című lemezt, amely egy vietnámi veterán szemszögéből mesél az igazságtalanságról, gyűlöletről és szenvedésről. A címadó dal a második helyig jutott a Billboard százas listáján, az album pedig az év lemeze lett Amerikában. Gaye 1972-ben Los Angelesbe költözött, rátalált egy új szerelem, de Janis Huntert csak 1977-ben tudta feleségül venni, amikor első házasságát végre felbontották. Újdonsült művészi szabadságát a szexuális töltetű Let's Get It On című albummal ünnepelte, amelyből hárommillió példány kelt el, a címadó szám második listavezető kislemez lett.

A pályafutása csúcsára érkezett Gaye ekkoriban esténként tízezer dolláros gázsiért lépett fel. 1973-ban fogadalma ellenére újra duettet énekelt, a Diana Ross-szal közös lemez egymillió példányban kelt el, 1976-ban került a boltokba az I Want You.

Az 1978-ban megjelent Here, My Dear rosszul fogyott - ebben szerepet játszhatott, hogy a bevételeket tartásdíj fejében első felesége kapta, így Gaye csak félszívvel dolgozott a stúdióban. Ebben az időben már egyre mélyebbre süllyedt a kokainfüggőség mocsarába, hatalmas adótartozást halmozott fel és második házassága is tönkrement. Az adóhivatal elől Angliába költözött, 1981-ben megvált a Motown kiadótól, miután az újrakeverte és jóváhagyása nélkül jelentette meg Európában készített, vallásos témájú In Our Lifetime című lemezét.

Gaye 1981-ben egy elvonókúrán vett részt, s időlegesen megszabadult belső démonaitól. 1982 őszén jelent meg utolsó albuma, a Midnight Love, az erről kimásolt Sexual Healing vezette a Billboard listáját és meghozta az énekes első Grammy-díját is. A diadalmas visszatérést koncertkörút követte, s Gaye ismét kokainhoz nyúlt, hogy eleget tehessen kötelezettségeinek. Immár a paranoia is hatalmába kerítette: golyóálló mellényt viselt és fegyvert hordott, mert azt képzelte, meg akarják ölni.

A turné végén szülei házába költözött, de apjával állandóan veszekedtek, s 1984. április 1-jén (egy nappal az énekes 45. születésnapja előtt) egy heves vita után apja mellkason lőtte azzal a puskával,amelyet Marvin adott neki karácsonyra.

A fekete zenét mindörökre megváltoztató énekes három évvel halála után került be a Rock Dicsőségcsarnokába, a Rolling Stone magazin minden idők száz legjobb művészét összegző listáján a 18. helyre került. Pályája végén azt nyilatkozta: nem a zene öröméért készített lemezeket, hanem azért, mert azt remélte, tud olyan dalokat szerezni, amelyek segítenek az embereknek leküzdeni életük nehéz időszakait.