Tóth II. József egész pályafutása alatt a Csepel labdarúgója volt, 1940 és 1961 között 296 bajnoki mérkőzésen lépett pályára és 78 gólt szerzett. Az 1958/59-es idényben bajnokcsapat tagja volt. 1961-ben fejezte be pályafutását.

A magyar válogatottban 12 alkalommal szerepelt 1953 és 1957 között, és 5 gólt szerzett. Az 1954. május 23-án megrendezett, angolok elleni, népstadionbeli 7-1-es mérkőzésen is pályára lépett, sőt gólt is lőtt. Tagja volt az 1954-es svájci világbajnokságon ezüstérmes Aranycsapatnak: az NSZK elleni 8-3-as és a brazilokkal szembeni 4-2-es győzelemből aktív részt vállalt, előbbi találkozón gólt is szerzett. A vb-ezüstérmes csapatnak ő volt az utolsó élő tagja.

Tóth II. József a Csepel örökös bajnoka, Budapest díszpolgára, szülőfalujában, Merseváton 2015 óta sportpálya viseli a nevét.