En 1870, quelques mois avant la chute de l'Empire, Napoléon III avait donné son accord pour l'installation d'un observatoire d'astrophysique au Pavillon de Breteuil. M. Jules Janssen (qui sera directeur de l'Observatoire de Meudon) était déjà désigné pour en prendre la direction.

Durant le siège de Paris, le Pavillon de Breteuil fut sérieusement endommagé par des projectiles que les français destinaient à une batterie prussienne postée sur la colline qui dominait le Pavillon. Les écuries et remises dans la cour furent complètement démolies, seuls les logements de fonction du personnel de service dans le Petit Pavillon au sud du bâtiment principal restèrent debout. C'est dans cet état que le gouvernement offrit le site en 1875 au Comité international des poids et mesures pour y établir le Bureau international des poids et mesures (BIPM).

L'installation du BIPM était prévue par la Convention du Mètre, signée à Paris le 20 mai 1875 par dix-sept nations. Le Comité accepta cette offre et des travaux furent entrepris pour remettre en état le Pavillon de Breteuil et construire un nouveau bâtiment pour y abriter les laboratoires avec les appareils et équipements nécessaires au BIPM.