Het museum werd geopend in 1946 en is gebouwd rond het zomerhuis "Elsesro" dat scheepsbouwer Rasmus Rolfsen bouwde voor zijn vrouw Elsebe. Het landgoed was van 1784 tot 1903 eigendom van de familie Rolfsen. Hier bouwde de familie een scheepswerf en een tuinhuis en later een park in de stijl van een Engelse tuin.
Old Bergen is een grote plek, je kunt hier ook heerlijk wandelen en van de rust en stilte om je heen genieten.