Au XXème siècle, le harem de ce palais devient la propriété d’un excentrique anglais David Edge qui en fait un endroit hors du temps idéal pour le repos, la rêverie et la création. Plus tard, son ami Adolfo De Velasco, antiquaire espagnol et couturier en vogue, poursuit son œuvre. Célèbre par son goût du faste, son excentricité et sa flamboyance, il fait du palais un lieu des mille et une nuits... un écrin somptueux pour ses dîners et ses nombreuses fêtes.
Aujourd’hui, le harem du sultan est la propriété du Baron et de la Baronne Gillion Crowet, grands collectionneurs et esthètes. Enthousiasmés par le côté magique de l’endroit, ils ont écrit un nouveau chapitre dans l’histoire du palais en y ajoutant la superbe propriété voisine qui appartenait à un général. Le palais devenait ainsi un ensemble beaucoup plus important qui, avec ses deux mille m² , peut accueillir de nombreux amis et personnalités.