Le musée a été conçu du vivant de Marc Chagall pour accueillir une importante collection de ses œuvres. Inauguré le 7 juillet 1973 en présence de l’artiste, il est le premier musée national français consacré à un créateur de son vivant.
L’architecte André Hermant a imaginé un bâtiment sobre et lumineux, pensé pour mettre les peintures en valeur. Chagall a également participé à la décoration du lieu, notamment avec des vitraux et une mosaïque.