Miskolcon látta meg a napvilágot, szülei szűkös anyagi körülmények között éltek. Apját alig pár hónaposan elvesztette, anyja ezután egyedül nevelte öt gyermekét. János 12 éves volt, amikor Kassára költöztek, itt a család a már kenyérkereső gyerekek révén jobb anyagi körülmények közé került. Kmettynek gyakran meggyűlt a baja a tanulással, inkább a reprodukciók másolásában lelte örömét, olajfestésre anyja tanította meg. Rajzolni Halász-Hradil Elemér impresszionista festőnél tanult, ekkoriban festőfelszereléssel járta a vidéket tájképeket festett.

Érettségi után megkísérelte, hogy valóra váltsa a festői hivatásról szóló álmát. Anyja minden megtakarított pénzét fiának adta, aki elindult a fővárosba szerencsét próbálni. Először egy bútorkereskedőnél dolgozott havi 70 koronáért mint irodai alkalmazott, a munka után, délutánonként az Epreskertben a nagybányai iskola alapító tagja, Ferenczy Károly esti iskolájába járt. 1909-ben meghalt anyja, Kmetty pedig egyre jobban eltávolodott a családjától. A következő évben otthagyta állását, hogy minden idejét a festészetnek szentelhesse.

1910-ben kiállítást rendezett művésztársaival Miskolcon és sikerült néhány festményt eladnia, a vételárból Párizsba utazott, amely neki az ígéret földje volt, a Louvre pedig a csodák világa. Pénze szűkösen is csak hat hónapra volt elég, ezért megpályázta Miskolc városának 200 koronás párizsi ösztöndíját, de azt egy konzervatív festő kapta meg. Egy ideig egy miskolci barátjával utcai zenészként próbáltak megélni, de amikor végképp elfogyott a pénzük, visszautaztak Pestre. Kmetty dolgozni szeretett volna, nem akart hiába való életet élni és elkallódni, vászonra akarta álmodni mindazt, amit Párizsban tanult, méghozzá a kubizmus eszközeivel - mesterének élete végéig Cézanne-t tekintette.

Az atmoszféra megteremtését a síkban teret teremtő geometrikus formák felhasználásával és színkompozícióival érte el. Megfestette az ars poeticájaként is felfogható első kubista önarcképét, amely szögletes, élesen elhatárolódó elemekből állt. A tízes évekből való művei között találhatók ceruzarajzok, olajképek, táblaképek, ekkor születtek egy- és kétalakos női és férfi aktjai. Kapcsolatba került a Nyolcakkal, Kassák Lajos körével, az Aktivistákkal, akikhez szellemi rokonság és barátság fűzte.

Az 1919-es Tanácsköztársaság alatt Nemes Lampérth Józseffel toborzóplakátokat készített, tagja volt a képzőművészeti direktóriumnak. A két háború között a Nyolcak törekvéseit folytató Képzőművészek Új Társaságának (KÚT) alapító tagja és alelnöke volt, 1929-1931 között a Nagybányai Művésztelepen dolgozott. Az 1930-as évektől egyre gyakrabban járt Szentendrére és 1945-től a szentendrei művésztelep tagjaként dolgozott. 1945 után aktív közéleti szerepet vállalt, részt vett a Művészeti Tanács és a Szabad Szakszervezet alapításában. 1946-tól a Képzőművészeti Főiskolán tanított, tanítványa volt többek között Nagy László és Kondor Béla is. Kmetty, aki megbízásra soha nem festett, élete utolsó éveiben üvegablak-terveket készített. Többször is rendezett gyűjteményes kiállítást a miskolci Herman Ottó Múzeumban, a Kecskeméti Katona József Múzeumban és a Műcsarnokban.

Munkásságát számos díjjal ismerték el: 1949-ben Kossuth-díjat, 1959-ben érdemes művész, 1965-ben kiváló művész címet kapott. 1975. november 16-án halt meg Budapesten.

A miskolci Herman Ottó Múzeumban 2008-ban nyílt meg a festő valamennyi alkotói korszakát átfogó tárlat. Az időszakos kiállításon egy pénzintézet képzőművészeti gyűjteményének darabjai mellett múzeumok, magángyűjtők és aukciós házak tulajdonában lévő festményeket is kiállították. 2014-ben került elő egy családi gyűjteményből, több mint száz év után a Városliget címet viselő 1911-ben festett műve, városligeti sorozatának legjelentősebb alkotása. A kép aukción kikiáltási árának ötszöröséért, kilenc millió forintért kelt el.