En 1799 le Pavillon de Breteuil fut occupé par l'armée et laissé dans un état lamentable. Cette même année, le citoyen Maréchaux, architecte du château, envoyait le rapport suivant au ministre de l'Intérieur : ? ... ils en ont incendié une partie et brisé entièrement les boiseries, le parquet des planchers pour se chauffer et ils ont enlevé les serrures de sorte qu'il y a de fortes réparations à faire... ? Néanmoins, Maréchaux proposa de louer le pavillon à condition, ajouta-t-il, que le locataire fasse les réparations nécessaires. Peu après, le Premier Consul s'installa dans le château de Saint-Cloud nouvellement restauré en 1802, et donna l'ordre que le Pavillon de Breteuil - rebaptisé Pavillon d'Italie (Napoléon voulait le donner à Marescalchi, ministre des relations extérieures d'Italie) - soit aussi restauré. Le bâtiment prit alors l'aspect extérieur que nous lui connaissons encore aujourd'hui : les avancées octogonales aux deux extrémités du bâtiment s'arrondirent (à l'emplacement de la ? Grande Salle ? et du salon des appartements du directeur), et le Pavillon fut surélevé dans son milieu.

Vers 1806, alors que les travaux de restauration du bâtiment principal n'étaient pas achevés, les dépendances étaient utilisées pour loger vingt-quatre chevaux de l'empereur, de nombreux membres de sa suite et deux gardiens du parc. La même année, à la demande de l'impératrice Joséphine, on fit des travaux pour installer une salle de bains d'eaux de Barèges (une eau sulfureuse dont les vapeurs risquaient d'abîmer les dorures du château) dans le Pavillon.

En 1807 les appartements du Pavillon de Breteuil étaient prêts à accueillir, en août de cette année, le roi Jérôme de Westphalie, le plus jeune frère de Napoléon, qui venait d'épouser Catherine de Würtenberg.

En mars 1810, le Pavillon d'Italie s'apprêtait à accueillir l'empereur lui-même, le jour de l'arrivée de l'archiduchesse Marie-Louise à Saint-Cloud, à la veille de son mariage civil. Au dernier moment Napoléon modifia ses projets. La même année le Pavillon d'Italie servit de résidence à Caroline Murat, reine de Naples et en 1811 les princes de Hollande [Napoléon-Louis et Charles-Louis Napoléon Bonaparte, le futur Napoléon III], fils de Louis Bonaparte, y séjournèrent. D'après les rapports de l'époque, l'empereur l'avait meublé avec goût et magnificence.

L'occupation autrichienne de 1814 ne semble pas avoir laissé de traces au Pavillon de Breteuil. Lors de l'emménagement du comte d'Artois au château de Saint-Cloud en juillet 1814, l'architecte Le Père fut chargé d'aménager le Pavillon de Breteuil pour que le prince puisse y prendre des bains-douches. L'année suivante, les troupes alliées firent le siège du Pavillon ; certains, comme le général Blücher, l'endommagèrent sérieusement, ce qui n'avait pas été le cas lors de l'occupation par les autrichiens. Le 23 novembre, Le Père mit en sûreté au château de Saint-Cloud les miroirs qui avaient échappé au pillage, profitant du départ des troupes pour les enlever.