Το μουσείο βρίσκεται στην κοινότητα Κάστρο (περιοχή όπου κατά το παρελθόν έβρισκαν καταφύγιο οι ομοφυλόφιλοι) και παρουσιάζει προσωπικά αντικείμενα του πρωτοπόρου των δικαιωμάτων των ομοφυλόφιλων...
, του Χάρβεϊ Μίλκ.
Ο Χάρβεϊ Μιλκ ήταν ο πρώτος εκλεγμένος πολιτικός που δημοσιοποίησε τις σεξουαλικές του προτιμήσεις, πριν πέσει θύμα εγκληματικής ενέργειας.
Το 1977 κατάφερε να εκλεγεί δημοτικός σύμβουλος στο Σαν Φρανσίσκο, αλλά ένα χρόνο μετά δολοφονήθηκε -μαζί με τον δήμαρχο της πόλης- από έναν υπερσυντηρητικό επίσης δημοτικό σύμβουλο, τον Νταν Γουάιτ.
Το 2009 η ιστορία του Χάρβεϊ Μιλκ ήλθε και πάλι στο προσκήνιο μέσα από την ταινία Milk του Γκας Βαν Σαντ. Τον ακτιβιστή πολιτικό υποδύθηκε ο Σον Πεν -ρόλος που του χάρισε το Όσκαρ α' ανδρικού ρόλου.
Η ιδέα της δημιουργίας του μουσείου γεννήθηκε, όπως εξομολογούνται οι υπεύθυνοι, όταν περισσότεροι από 25.000 άνθρωποι επισκέφθηκαν την έκθεση που είχε στηθεί στην περιοχή μετά την προβολή της ταινίας.