A második világháborúban szolgált Dillard az 1948-as londoni olimpián 100 méteren és a 4x100-as váltó tagjaként lett ötkarikás bajnok. Négy évvel később, Helsinkiben a váltó mellett 110 méter gáton is győzött. Pályafutása során több mint 400 viadalon nem talált legyőzőre, és volt 82 versenyen át tartó veretlenségi sorozata is.

Dillardot 1974-ben beválasztották az Atlétikai Hírességek Csarnokába, míg 1983-ban az Egyesült Államok Olimpiai Bizottsága Hall of Fame-tagja is lett.