A politikus 30 éven át volt a Bundestag tagja. 1963-tól hosszú ideig a CDU parlamenti frakciójának élén állt, és nevéhez fűződik az a konstruktív bizalmatlansági indítvány, amely 1972 áprilisában csaknem megbuktatta Willy Brandt akkori szociáldemokrata kancellárt.

1983-ban a Bundestag elnökévé választották, de másfél évvel később lemondott, mert korrupciós pénzek elfogadásával vádolták meg.

Horst Köhler államfő a második világháború utáni német történelem egyik legtekintélyesebb politikusaként méltatta Rainer Barzelt.