Il a son origine dans la Résolution 2 de la 20^e CGPM en 1995 qui réclamait une coopération accrue entre les laboratoires nationaux de métrologie, les organisations régionales de métrologie et le BIPM, afin d'améliorer la traçabilité internationale des étalons de mesure. Les discussions menées avec l'International Accreditation Cooperation (ILAC) ont renforcé la conviction selon laquelle il était nécessaire d'officialiser la reconnaissance des étalons nationaux de mesure.

En 1996, des discussions ont eu lieu au sein des organisations régionales de métrologie au sujet de la possibilité d'établir des accords de reconnaissance mutuelle régionaux. Elles ont motivé le BIPM à préparer un projet d'accord international, lequel a été présenté à la réunion des directeurs des laboratoires nationaux de métrologie qui s'est tenue à Sèvres en février 1997. Cette initiative a été favorablement accueillie et un deuxième projet a été rédigé au cours de l'année suivante. Il a été présenté à la réunion des directeurs de février 1998 et a été paraphé par les directeurs de trente-neuf laboratoires nationaux de métrologie. D'autres discussions ont suivi et en août 1999 un accord a été conclu sur le texte final, qui a été signé le 14 octobre 1999. La réunion des directeurs du 14 octobre s'est tenue au Collège de France pendant la semaine où s'est réunie la 21e CGPM ; la signature du MRA a été officiellement entérinée par les délégués des Gouvernements des trente-six États membres présents à la 21^e Conférence générale, par l'adoption de la Résolution 2 le 15 octobre 1999.

Lors de sa 92^e session, en octobre 2003, le Comité international a approuvé des modifications mineures au Supplément technique de l'Arrangement de reconnaissance mutuelle du CIPM concernant la mise en œuvre des comparaisons supplémentaires, et leur impact sur les CMCs publiés dans l'annexe C.