Het huis werd in 1884-1885 gebouwd door projectontwikkelaar Marinus Leembruggen. De architect was Eduard Cuypers, neef van de bekende architect Pierre Cuypers. Het benedenhuis moest dienen als atelier voor een beeldhouwer, wat de uitzonderlijk hoge ramen aan de voorzijde verklaart. Het bovenhuis, met eigen opgang, was bedoeld als woning, met zolder.
De beeldhouwer zag uiteindelijk van de bewoning af, en de eigenaar liet in 1886 het hoge atelier verbouwen tot twee etages, die in gebruik kwamen als schildersateliers.
De eerste huurders waren George Breitner en Isaac Israels en ook andere kunstenaars vonden er onderdak. Het waren sober ingerichte kunstenaarsateliers, met kale planken vloeren waar met verf op gemorst kon worden. Na het vertrek van Breitner in 1891 nam Willem Witsen intrek in diens atelier op de eerste verdieping.
Toen Witsen in 1893 met zijn eerste vrouw Betsy van Vloten trouwde, vestigde het paar zich in Ede op de Veluwe. Na zijn scheiding keerde Witsen in 1904 naar Amsterdam terug en huurde hij het atelier op de begane grond, en vanaf 1906 ook het overige deel van het benedenhuis.
Marie Schorr, een rijke bierbrouwersdochter, bewoonde toen het bovenhuis. In 1907 trouwden zij en bewoonden ze samen het gehele pand. Witsen verplaatste zijn atelier naar de begane grond. Het oude atelier op de eerste verdieping werd salon voor de ontvangst van klanten en vrienden. Deze ruimte bleef vanaf die tijd vrijwel onveranderd.
Na Witsens dood in 1923 kocht zijn weduwe het hele pand van de projectontwikkelaar. Zij overleed er op 13 april 1943, op de dag af twintig jaar na haar man. In haar testament liet Marie Witsen-Schorr het hele huis na aan de Staat der Nederlanden, met de bepaling dat de inrichting van de eerste verdieping in stand gehouden moest worden als eerbetoon aan Willem Witsen, en dat de rest van het huis woonruimte moest bieden aan twee of drie letterkundigen die daar vrij van huur mochten wonen. Zij liet een grote som geld achter om dit alles mogelijk te maken.
