Sa carrière politique débute le 8 mai 1898 lorsqu’il est élu député de la Sarthe, mandat qu’il conservera jusqu’en 1919. En juin 1899, il devient ministre des Finances dans le gouvernement de Waldeck-Rousseau. Du 25 octobre 1906 au 20 juillet 1909, il est ministre des Finances dans le gouvernement Georges Clemenceau, chargé de la réforme de l’impôt sur le revenu. La démission du gouvernement clôt provisoirement le débat, mais ses idées serviront de base à la réforme des contributions directes, réalisée entre 1914 et 1917. Le 27 juin 1911, le président de la République demande à Caillaux de constituer le nouveau gouvernement. En octobre 1913, il est élu à la présidence du Parti Radical. Au début de 1914, Gaston Calmette, directeur du Figaro, engage une violente campagne de presse contre sa politique. Son épouse, Henriette Caillaux, se rend armée dans son bureau et l’assassine. Réélu lors des élections législatives de 1914, il intervient peu dans les débats politiques. Hostile à la guerre, il devient le chef de file des partisans d’une paix sans annexions ni indemnités. Il participe ensuite aux gouvernements Painlevé et Briand. En 1927, il est réélu sénateur de la Sarthe et en préside le Conseil général. Actif au sein du Parti radical, il favorise l’élection de Daladier. Sous le Front populaire il vote notamment les congés payés, les conventions collectives, les 40 heures, les hausses de salaires. Mais, en 1937 comme en 1938, il contribue, en tant que président de la Commission des finances du Sénat, à la chute des gouvernements Blum, en lui faisant refuser les pleins pouvoirs. En 1940, il est partisan d’une lutte acharnée contre l’ennemi.