Kard. Rauber pochodził z Norymbergii. Od 1966 r. pracował w watykańskiej służbie dyplomatycznej. Był papieskim przedstawicielem w Ugandzie, Szwajcarii i Liechtensteinie, na Węgrzech i w Mołdawii, a także w Belgii i Luksemburgu. W latach 1990-1993 stał na czele Akademii Kościelnej, która kształci watykańskich dyplomatów.