Met de aankomst van de Spanjaarden in Peru, in het jaar 1532, en na de verovering op het Inka Rijk, verdeelden de Spanjaarden, die bleven wonen in Cusco, volgens overlevering, de grond en huizen in de vorm van "aandelen", allemaal prachtige grote huizen, en dit huis ging naar Markies de Ballumbroso,gebouwd op de oude inkamuren, heel het huis met haar 2 verdiepingen, en werd gebruikt voor wonen.

Na deze periode, werd in de 18de eeuw dit huis verpand aan de nonnen van het Carmelite Descalzas klooster, die tijdens hun verblijf het grote huis nog meer verfraaiden met bogen en 2 fonteinen, alles in steen. Zij bleven hier meer dan een eeuw. Het grote huis bleef in tact tijdens de aardbeving van 1950, en Mr. Leandro Perez Calcin en zijn vrouw, werkend met veel doorzetting en toewijding, wisten met renovatie en behoud van haar schone structuur (ze werkten hier ongeveer 6 jaar aan) het grote huis aan te passen tot wat het nu is, het Colonial Palace Hotel, tot Uw dienst.