Az Illinois állambeli Princetonban látta meg a napvilágot, svéd származású apja a helyi szatócsboltot vezette. A középiskola után a chicagói Lake Forest College növendékeként szeretett bele a színjátszásba, és a diplomaosztót követően a főiskola beszéd- és drámatanára lett. 1938-ban a New York-i rádiónál helyezkedett el, közben a Broadwayn is kapott színpadi szerepet, mások mellett a színházi rendezőként szárnyait próbálgató Elia Kazan oldalán is dolgozott.

Kazan tíz év múlva is emlékezett rá, amikor 1947-ben beajánlotta a 20th Century Foxhoz, ahol A halál csókja című film Tommy Udojának megformálására kerestek szereplőt. Widmarké lett a szerep, bár először tartottak tőle, mert túl intellektuálisnak és "tisztának" találták a karakterhez. Widmarknak azonban sikerült a figurát olyan taszítóra és ijesztőre formálnia, hogy egyetlen éjszaka alatt keresett színész lett. A gengszterfilm vihogó pszichopata gyilkosa, aki képes volt egy kerekes székben ülő idős nőt (Mildred Dunnock alakította) a lámpa zsinórjával megkötözni és lelökni a lépcsőn, nemcsak a nézőket szögezte a székhez, de az amerikai filmakadémia tagjait is: rövid, ám annál hatásosabb szerepért - életében egyetlen egyszer - Oscar-díjra jelölték a legjobb mellékszereplő kategóriában.

A siker nyomán a 20th Century Fox hétéves szerződést íratott vele alá, és sorozatban kapta az antiszociális, szadista és maffiózó szerepeket, 1948-ban rögtön hármat. A Névtelen utcában egy tisztességtelen bokszterem tulajdonosát alakította, aki örökké retteg a betegségektől. A Road House című moziban pszichotikus katonaviselt útszéli mulatótulajdonos volt, akinek a féltékenység lett a veszte. A Yellow Sky című westernben Gregory Peckkel, a jó útra tért bandavezérrel alávaló bakrablóként harcolt. Az 1950-es Nincs kiút című filmben övé lett a rasszista gengszter figurája, akit a kórházban egy fekete bőrű orvos (Sidney Poitier) gondjaira bíznak. Widmark annyira meggyőző volt, hogy Poitier valóban haragra lobbant, s a vásznon látható düh valódi. A forgatás során jó barátok lettek, és még két további filmben, a The Long Ships címűben (1964) és a The Bedford Incidentben (1965) játszottak együtt. 1990-ben, amikor Widmark elnyerte a filmtörténészeket, diákokat és filmszakértőket tömörítő National Board of Review (NBR) életmű díját, Poitier köszöntötte.

Ellentétben szerepeivel, Widmark illedelmes, melegszívű ember volt. Diákkori szerelmét, a színésznő Jean Hazelwoodot vette feleségül. Negyvennyolc év házasság után nyilatkozta, hogy soha életében nem volt hűtlen a párjához, és a flörtölés sem fordult meg a fejében. "Az a helyzet, hogy nagyon szeretem a feleségemet" - mondta.

Amikor 1949-ben a Down to the Sea in Ships-ben nem egy minden hájjal megkent figura szerepét osztották rá, a Life magazin háromoldalas cikkben lelkendezett: Widmark, az örök gonosz megjavult címmel. Szimpatikusabb szerepei közé tartozik Jules Dassin Az éjszaka és a város című filmje 1950-ből, amelyben kisstílű csalóként arról álmodozik, hogy bokszmenedzser lesz. 1950-ben Elia Kazannal dolgozott újra együtt a Pánik az utcán című krimiben. 1952-ben a Ne is kopogtass! című thrillerben fordult a kocka, és Widmarkra osztották a pszichopatát alakító Marilyn Monroe áldozatának szerepét. Egészen szimpatikus figurát alakított Lauren Bacall oldalán a The Cobweb című filmdrámában, majd texasi hős lett a John Wayne rendezte Alamóban, melyben Jim Bowie-t, a bowie kés feltalálóját jelenítette meg a vásznon. Háborús filmjei közül kiemelkedik Az Ítélet Nürnbergben című fekete-fehér dráma, melyben egy amerikai ezredest alakított.

Miután lejárt a szerződése a Foxnál, saját produkciós céget alapított, és 1957-ben elkészítette a Time Limit című alkotását a koreai háborúról. Még két további film produceri feladatait vállalta: 1961-ben a The Secret Ways című kémfilmét, amelynek története részben Magyarországon játszódik az 1956-os forradalom leverése után, valamint a The Bedford Incident című hidegháborús drámáét.

1968-ban Widmark kitalálta a magányos, fémes hangú Madigan nyomozó figuráját, melyből Don Siegel forgatott krimit, a címszerepben Widmarkkal és a rendőrbiztost alakító Henry Fondával. Madigan annyira népszerű lett, hogy 1972-73-ban az NBC tévésorozatot készített belőle. 1974-ben Sidney Lumet Gyilkosság az Orient expresszen című sztárparádés mozijában Mr. Ratchettet, a milliomos áldozatot játszotta.

Pályafutásának öt évtizede alatt Widmark csaknem nyolcvan filmben, tévéfilmben, sorozatban szerepelt. A 90-es évek közepén visszavonult, többé már nem vállalt szerepeket. Első felesége halála után, 1999-ben feleségül vette Susan Blanchard producert, aki a társa maradt haláláig. Egyetlen lánya, Anne első házasságából született, és a baseball-legenda, Sandy Koufax felesége lett. Widmark 93 éves korában, 2008. március 24-én halt meg Roxburyben.