Szülei magyar zsidók voltak, akik a második világháború előtt vándoroltak ki Amerikába. Apja idehaza a rádiózenekar tagja volt, a tengeren túl zenét tanított és Lee Sims művésznéven nagybőgőzött dzsessz-zenekarokban. Paul Newarkban született, de New York Queens negyedében nőtt fel. Tízéves volt, amikor egy iskolai tehetségkutatón felfigyelt a szomszédjukban lakó, remek hanggal megáldott Art Garfunkelre. A két fiú összebarátkozott, hatodikos korukban léptek fel először együtt hivatalosan, az Alice Csodaországban iskolai előadásán.

Középiskolásként Tom and Jerry néven alakítottak duót, a kistermetű, alig 155 centis Simon volt az egér, a colos Art a macska. Tizenhat évesek sem voltak, amikor a Simon által írott Hey School Girl 1957-ben a negyvenkilencedik helyig tornázta fel magát a listán. Csodálatos vokáljuk kísértetiesen hasonlított az Everly Brothers zenéjére, bár Paul szenvedélyesen szerette a dzsesszt, a bluest és a folk zenét is. A következő hat évben Paul több mint harminc dalt írt, és néhányat el is énekelt, de inkább a tanulásra összpontosított, az egyetem angol szakára iratkozott be.

1963-ban kezdett ismét régi barátjával együtt énekelni, és immár saját nevüket vállalva kaptak szerződést a Columbia cégtől. Első albumuk, az 1964-ben megjelent Wednesday Morning 3 am alig fogyott a lemezboltokból, s a csalódott Simon egy időre Angliába költözött, szólókarrier építésével próbálkozott. Közben jó szimatú producerük elektromos gitárt, dobot és basszust kevert a lemez egyik dala, az akusztikus The Sound of Silence alá, és önálló kislemezként dobta piacra anélkül, hogy a két énekesnek említette volna. A húzás bejött, a dal listavezető lett, Paul szupersztárként tért haza.

A Simon and Garfunkel remek vokáljához további slágerek fűződnek, mint amilyen a The Boxer, a Scarborough Fair, a Bridge Over Troubled Water, a Cecilia vagy a Mrs. Robinson, amely az 1968-ban készült Diploma előtt című filmben csendült fel. A két énekes egyre inkább afféle se veled, se nélküled viszonyba került. Rivalizáltak is egymással, sérelmeket dédelgettek, szakmailag sem voltak egy hullámhosszon: a dalokat író Paul új zenei irányokat keresett, Art viszont filmszínészi pályafutását egyengette volna. A pályafutásuk csúcsának tartott, 1970-ben megjelent Bridge Over Troubled Water című lemez megjelenése után útjaik szétváltak. A barátság azért megmaradt, Simon Still Crazy című albumán 1975-ben újra együtt énekeltek, majd 1981-ben a New York-i Central Parkban félmilliós tömeg előtt adtak koncertet, amelyet filmen és lemezen is megörökítettek. Bár sokan szerették volna, új stúdiólemezt már nem készítettek, de többször turnéztak együtt.

Paul szólóban legalább annyira sikeres volt, mint duóban. 1972-ben kiadta a saját nevével fémjelzett albumát, majd egy évvel később a There Goes Rhymin' Simon című ambiciózusabb albuma a gospel és a New Orleans dzsessz, valamint a rhythm and blues felé kacsingatott. Szólólemezei milliós példányszámban keltek el, legnagyobb sikere az 1986-ban kiadott, dél-afrikai zenei motívumokra épülő Graceland volt, rajta a vicces videoklippel megtámogatott You Can Call Me Al című dallal. A lemez megjelenésének 25. évfordulóján mutatták be azt a dokumentumfilmet, amely az alkotás folyamatát örökítette meg. Simon 1990-ben a brazil muzsika világába kalandozott The Rhythm of the Saints című albumán, majd a sikert meglovagolva 1991-ben ismét a Central Parkban adott ingyenes koncertet, ezúttal 750 ezer ember volt rá kíváncsi.

Sokáig csiszolgatott The Capeman című musicalje 1998-ban emlékezetes bukásnak bizonyult, 11 millió dollárja bánta az esetet. A csorbát egy Bob Dylannal közös turné és egy újabb Grammy-díjra jelölt lemez köszörülte ki. Paul Simon hetvenedik születésnapján jelent meg 2011-ben a So Beautiful or So What című lemez, 2014-ben az egész évet világ körüli turnéval töltötte jó barátja, Sting társaságában. Néhány hónapja került a boltokba legújabb albuma, a Stranger to Stranger, amely Nagy-Britanniában rögtön az első helyre került az albumok listáján, így Paul Simon lett a legidősebb férfi szólóénekes, aki ezzel az eredménnyel büszkélkedhet. Rajongóinak rossz hír viszont, hogy a kedvező fogadtatás ellenére egyre-másra röppennek fel hírek visszavonulásáról.

Összesen 12 Grammy-díjat őriz vitrinjében, köztük az életműért járó szobrocskát is, a Rock Dicsőségcsarnokának kétszeresen, szólóban és duóban is tagja, 2006-ban a Time magazin beválasztotta a világunkat meghatározó száz leghíresebb ember közé. A számos jótékonysági célt támogató énekes háromszor nősült, második felesége Carrie Fisher, azaz Leia hercegnő volt a Csillagok háborújából. 1992-ben vette feleségül a nála 24 évvel fiatalabb énekesnőt-dalszerzőt, Edie Brickellt, akivel azóta is boldog házasságban él. Négy gyermeke született, akik mind a zenét választották hivatásul.