Già dal 1935 collaborava pure con la Segreteria di Stato, della quale fu nominato nel 1952 Pro-Segretario per gli affari straordinari. Nel 1946 ideò l'istituzione culturale "Villa Nazareth", costituita in Fondazione da papa Giovanni XXIII nel 1963. Nel 1958, appena eletto papa, Giovanni XXIII nominò Tardini Segretario di Stato. Il 14 dicembre 1958 venne nominato arcivescovo titolare di Laodicea di Siria in vista della sua nomina a cardinale, avvenuta nel concistoro del 15 dicembre 1958[1], il primo di papa Giovanni. Sembra che Tardini avesse rinunciato precedentemente alla porpora offertagli da Pio XII nel 1953[senza fonte].
La consacrazione episcopale avvenne il 27 dicembre dello stesso anno, la celebrazione venne officiata dal papa stesso. Nel 1959 Giovanni XXIII lo nominò arciprete della Basilica di San Pietro. Continuò a ricoprire la carica di Segretario di Stato fino alla sua morte, avvenuta a causa di un attacco cardiaco il 30 luglio 1961. Nonostante l'importante ruolo ricoperto, egli aveva continuato a definirsi semplicemente un prete romano. Domenico Tardini è sepolto nel monastero carmelitano di Vetralla.