Miután családja, Goldberger Erzsébet révén a Kiegyezés után 1867. november elsején nemesi rangot kapott, budai Goldberger Pál néven született 1881. január 14-én, Bécsben. Később, 1910-ben így emlékezett vissza futballpályafutása kezdetére: „A Bécs melletti badeni gimnázium volt első színhelye a 15 évvel ezelőtt megkezdett football-működésemnek. Ameddig a legtöbb iskolában küzdeni kell a vaskalaposság ellen, a mi igazgatónk ránk parancsolta a szabadtéri sportokat, főképpen a futballt. Bár a krikett-láz hatása alatt voltam, mégis alkalmazkodtam a közhangulathoz.”
Nagy sikerrel. 1898-tól 1900-ig a First Vienna FC tagja volt, amellyel 1899-ben és 1900-ban is megnyerte a Challenge Cupot, az Osztrák-Magyar Monarchia legjelentősebb futballtrófeáját. Mindkét győztes döntőben (1899 és 1900) a Cricketer volt az ellenfél, először 1:0-ra, másodszor 2:0-ra nyert a Vienna. A Gilly néven szereplő Goldberger az első meccsen középcsatárként, a másodikon balfedezetként segítette csapatát.
A gimnázium elvégzése után 1899-ben Budapestre költözött, beiratkozott a Műegyetemre. Ennél fogva a következő években a Műegyetemi Labdarúgóklubban játszott. Balhátvédként szerepelt a magyar válogatott, akkori nevén a reprezentatív csapat első, nem hivatalos mérkőzésén, 1901 áprilisában, a Richmond AFC ellen. Kiválóan teniszezett, több egyetemi versenyt is megnyert. Alkalmanként a MUE gárdájában is pályára lépett.
Miután 1901-ben megkezdte kémia tanulmányait a Berlini Királyi Műszaki Egyetemen, Charlottenburgban folytatta, onnantól kezdve kapusként – 1905-ig – a BTuFC Britannia 1892 csapatában játszott, 1903-ban és 1904-ben berlini bajnokságot nyert klubjával. Utóbbi évben csapatával eljutott az országos bajnokság döntőjébe, de azt egy botrány miatt nem játszották le. Miután közben egy ideig a bázeli egyetemen is hallgatott, a BSC Old Boys Basel tagja lett. Svájc már a negyedik ország lett, amelynek valamely klubcsapatában futballozott. Hamarosan azonban visszatért Németországba, részben azért is, mert az országos bajnoki döntőre készülő Freiburger FC őt szemelte ki kapusproblémájának megoldására. (A freiburgi kapuvédő, Engelberger Berlinbe szerződött és a veterán Schilling nem tűnt túl megnyugtató megoldásnak a finálé előtt.)
Dr. Josef Glaser (1909 és 1912 között 5-szörös német válogatott) visszaemlékezései szerint a mentőakció teljes sikerrel járt: Paul von Goldberger, azaz budai Goldberger Pál, a Gilly az elődöntőben, a VfB Leip¬zig ellen ugyan kapott két gólt – az egyiket az ellenfél balfedezete szinte lehe¬tetlen szögből küldte a kapuba –, de a csapat mégis megnyerte a meccset. A fináléban aztán Gilly egész fantasztikusan védett a berlini Viktoria 98 ellen, a fővárosiak csak 11-esből tudtak a kapujába találni! „Tudásának alapja nagyszerű helyezkedése volt. Mint született kapustehetség, szinte előre látta, mi fog következni, s ennek megfelelően cselekedett. Kimondottan nyugodt kapus volt, akit senki sem tudott kihozni a sodrából” - jellemezte egykori csapattársát dr. Glaser. Gilly egyébként – talán babonából – az FFC meccsein is korábbi csapata, a Britannia Berlin B-betűs trikójában védett. Ő volt az első magyar válogatott futballista, aki bajnoki címet nyert egy külföldi bajnokságban.
Jellemző a sokoldalúságára, hogy bár korábban mezőnyjátékosként szerepelt, végül kapusként emelte sportpályafutása csillagát még nagyobb magasságokba. 1908 januárjában a Budapesti hírlap arról számolt be „A német bajnok kapuvédő Budapesten” című írásában, hogy „Még sokan fognak emlékezni arra a kitűnő labdarugóra, a ki néhány év előtt a teknikusok, majd az úszók csapatában szerepelt. Goldberger Pál dr., aki Gilly néven előbb Becsben a First Viennában szerzett hírnevet, majd Budapesten járult hozzá tetszetős játékával a futball sport fejlesztéséhez és megkedveltetéséhez. Gilly nálunk mint hátvédő és csatázó vett részt minden nagyobb mérkőzésben. Tőlünk Németországba ment, a hol több elsőrangú csapatban mint kapuvédő tűnt föl. Rövid idő alatt a legjobb német kapuvédő lett. A legutóbb Freiburgban az ottani csapatban szerepelt, minden vonalon győzelmet szerezve csapatának. A freiburgi csapat megnyerte Délnémetország bajnokságát.
Gilly most ismét hozzánk került és mint ve¬gyész egy nagyobb gyárban kapott állandó alkalmazást. Jövő szereplése helyéül a 33-as Futball Klubbot választotta, a melynek kapuját fogja védelmezni. Gilly kiváló képességei folytán nemcsak a 33-asoknak, de az egész magyar futball sportnak nagy nyeresége.”
Goldberger miután Pestre költözött, valóban a „33” FC kapuját őrizte. Innen válogatta be 1908. szeptember 5-én, a csehek elleni mérkőzésre Stobbe Ferenc szövetségi kapitány. A magyar válogatott 5:2-re megverte a cseheket.
A kapus 1911 februárjában visszaköltözött Németor¬szágba. Höchstben telepedett le, ahol egy nagy festékgyár alkalmazta, ve¬gyészként. Előbb a Frankfurter Kickers, majd a Frankfurter FV kapuját őrizte, 1912-es visszavonulásáig. A bécsi Illustriertes Österreichisches Sportblatt november 25-i száma arról számolt be, hogy Gilly jubileumot ünnepelt, a 350. első osztályú futballmérkőzésén sze-repelt. Úgy számolta, ebből Németországban 158-on, Magyarországon 108-on, Ausztriában 63-on, Svájcban 21-en szerepelt. (A magyarországi szám legfeljebb minden mérkőzést beszámítva lehet helytálló.)
Egy idő után áttette székhelyét Bécsbe, ahol vegyészi munkája mellett sportújságíróként is tevékenykedett. 1935-ben jelent meg a Budapesti Hírlapban Kiss Gyula az egykori játékos, majd szövetségi kapitány visszaemlékezése sportpályafutására. Ebben emlegette Gilly-Goldbergert is: „Friedrich mellett nagy nyereséget jelentett Budai-Goldberger Pálnak a belépése is. Gilly álnéven futballozott a maga idejének ez az elméletileg és gyakorlatilag egyaránt kiválóan képzett labdarúgója. Gilly hátvédet és kapust játszott, mindkét poszton elsőrangúan, de a két szerep között jobban szerette a nehezebbet: a kapuvédőét. Saját magán tanulmányozta a legmegfelelőbb védői rendszert és váltig erősítgette más felfogásokkal szemben, hogy a kapusnak kritikus helyzetekben arra kell törekedni, hogy a labdát mennél biztosabban és mennél kiadósabban kiboxolja a támadó ellenfél mögé. Gilly nem sokáig szerepelt a Műegyetem csapatában, mert Németországban folytatta tanulmányait és a freiburgi egyetemen szerezte meg vegyészidiplomáját. Amikor eltávozott, az MFC egy Nap-utcai vendéglőben búcsúztatta vacsora keretében. Gilly a tanulmányainak befejeztével visszatért Budapestre, a 33 FC-be lépett s hosszú időn át szolgálta csapatunk érdekeit kapuvédői tehetségével. Zárkózott természete közöttünk teljesen megválto-zott, éppen olyan nyílt lelkű fiúvá változott át, mint a többi s egyike volt azoknak a Harminchármasoknak, akik méltó helyet érdemeltek ki a klub történetében.”
Az Anschluss után élete tragikus fordulatot vett. 1941. április 21-én Bécsben a nemzetiszocialisták a litzmannstadti gettóba deportálták, a mai Lódz közelében hunyt el, a dokumentumok szerint 1942. március 26-án, hatvanegy évesen.
