Museum Kampa vzniklo ve výjimečných prostorách historické budovy Sovových mlýnů. Rekonstrukce s moderními skleněnými prvky proměnila chátrající mlýny v muzeum 21. století.
Nejstarší zmínka o mlýnech na Kampě pochází z roku 1393. Není však pochyb, že vznikly daleko dříve – stopy bádání vedou do 10. století. Mlýny založil klášter benediktinek u Sv. Jiří.
Za husitské revoluce byl mlýn vypálen a dostal se do majetku Starého Města pražského. V roce 1478 měšťané věnovali pozemek konšelu Václavu Sovovi z Liboslavi, aby si zde zřídil dům a hamr, přičemž pro měšťany měl obnovený mlýn mlít mouku. Tento mistr dal nově postavenému mlýnu jméno, které přetrvalo dodnes. Postupně zde vyrostla brusírna, pila, vápenice, krupník, soukenická a jirchářská valcha, byl zde hospodářský dvůr, ovocná a zelinářská zahrada.
Staroměstská obec znovu vykoupila místo roku 1574. K nové výstavbě došlo v roce 1589, neboť předešlý mlýn, z větší části dřevěný, shořel. Nově postavený byl již kamenný, upravený v renesančním stylu. Za třicetileté války v roce 1648 posloužil Švédům za dělostřeleckou baštu.