Το Μουσείο Συγχρόνων Ολυμπιακών Αγώνων ιδρύθηκε στην Ολυμπία το 1961. Εμπνευστής του ήταν ο φίλαθλος, φιλότεχνος και φιλοτελιστής Γεώργιος Παπαστεφάνου – Προβατάκις. Στην αρχή στεγάστηκε στο παλιό οίκημα του πρώην Δημοτικού Σχολείου της Ολυμπίας, που αγόρασε μαζί με το οικόπεδό, ο ιδρυτής του Γεώργιος Παπαστεφάνου και με κατάλληλες διαρρυθμίσεις, το διαμόρφωσε σε εκθεσιακό χώρο και εξέθεσε την προσωπική συλλογή του και τα επί σειρά ετών κάθε είδους αναμνηστικά και ενθυμήματα γύρω από τους σύγχρονους Ολυμπιακούς Αγώνες .
Η πρώτη μέρα της λειτουργίας ήταν η 3η Σεπτεμβρίου 1961, όταν το μόλις 82 τ.μ. Μουσείο, άρχισε να δέχεται επισκέπτες.
Από το έτος 1961 και μέχρι το 1972 το Μουσείο έφερε την ονομασία « Αθλοφιλοτελικό Ολυμπιακό Μουσείο». Στις 27 Δεκεμβρίου 1963 ο Γεώργιος Παπαστεφάνου απέστειλε στον τότε Διάδοχο Κωνσταντίνο επιστολή, με την οποία του γνωστοποιούσε την επιθυμία του να δωρίσει το Μουσείο με τις συλλογές του στην Επιτροπή Ολυμπιακών Αγώνων ( Ε.Ο.Α. ), καθόσον, όπως ανέφερε στην επιστολή του, πίστευε ότι ήταν το μόνο κατάλληλο Νομικό Πρόσωπο για να περιβάλλει το Μουσείο με την απαιτούμενη στοργή για την εξυπηρέτηση του Ολυμπιακού ιδεώδους.