Au début du siècle, les promeneurs qui osaient s'attarder sur la colline de Handia, à Ilbarritz, entendaient, abasourdis, les accords pleins des Trois Chorals de César Franck ou les déliés nostalgiques de la Symphonie de Camille Saint-Saëns. Toutes fenêtres ouvertes, le baron Albert de l'Espée, jouait avec passion sur des orgues, fabriqués spécialement pour lui, et installés dans un étonnant château, pur produit de sa démesure. Placée à tous vents en haut d'une butte, agressive, esseulée, cette folie du baron Albert de l'Espée a bien des causes et bien des raisons.
Peut-on affirmer qu'elle ait été motivée par une bronchite mal soignée, qui l'obséda toute sa vie, faisant de lui un grand solitaire, gangrené par des phobies diverses ? Sa passion pour l'orgue aurait-elle pris racine dans son enfance, au cours de vacances passés à Froville où il entend pour la première fois le curé du village jouer de l'harmonium ? Pourtant, tous les bienfaits du monde semblaient avoir garni le berceau du jeune Albert de l'Espée : sa grand-mère est née Marguerite de Wendel et son grand-père est le baron Théodore de Gargan. Ils sont tous deux héritiers d'une immense fortune : celles des Maîtres de Forges d'Hayange en Lorraine.
Sa bronchite chronique lui interdisant de pratiquer un sport quelconque, Albert de l'Espée se réfugie dans l'étude du piano, le seul moyen qu'il a d'occulter les graves séquelles qu'il subit encore de sa maladie. Maintenant, la mort lui fait peur. Il appréhende l'humidité, la poussière, le pollen, il est maniaque dans le choix de ses habits et de son alimentation. La crainte d'une rechute déclenche en lui une véritable névrose : les microbes, la propreté corporelle, l'asepsie et la qualité des aliments deviennent sa hantise. C'est une obsession, fuir tout ce qui pourrait porter atteinte à sa santé, si fragile. La musique sera donc son seul dérivatif.
Dès sa majorité, Albert va faire de brefs mais nombreux séjours à Paris. Il descend d'abord au Grand Hôtel, puis, mécontent de la qualité des repas qu'on lui sert, choisit l'Hôtel des Deux-Mondes, avenue de l'Opéra. Il restera fidèle à cet hôtel pendant trente années. Il court d'église en église, de concert d'orgue en concert d'orgue. Il n'y a, dans sa démarche, rien de religieux : seule la puissance de l'instrument le fascine. Il réussit, par un travail acharné, à le maîtriser parfaitement, et demande à sa mère d'installer un Aristide Cavaillé-Coll dans le salon de leur château d'Antibes ce qui sera fait par Pierre Veerkamp, en 1880. Cette petite folie coûtera la bagatelle de vingt mille francs !
Au cours d'une soirée en Bretagne où sa sœur l'a invité, un an après l'installation du fameux orgue, il fait la connaissance de Delphine, la fille du marquis de Bongars. C'est elle celle qui deviendra bientôt, la baronne Albert de l'Espée. Le mariage d'un des héritiers de François de Wendel avec une jeune fille de l'aristocratie bretonne n'a rien d'étonnant. La seule chose qui frappe, c'est la disproportion du couple : Albert est grand, de stature imposante et d'allure distinguée, le manque d'exercice physique l'a fait devenir gros, et surtout, il est affligé de pieds immenses, qui attirent le regard et les railleries. Une barbe touffue aux reflets blonds encadre son visage et un haut-de-forme accentue encore sa stature. Delphine paraît très fragile à ses côtés. La vie du couple s'organise rue d'Isly à Paris.
En cette fin de siècle, tout le gotha européen vante les mérites de Biarritz, la station mondaine où ont séjourné l'Empereur Napoléon III et l'Impératrice Eugénie, la reine Victoria, la reine de Serbie. Ce n'est pourtant pas ce qui pousse Albert à visiter la station. En fait, il a lu que les meilleurs médecins anglais conseillent le climat de Biarritz à leurs patients atteints de bronchites, laryngites ou pharyngites. Pour se rendre-compte par lui-même des bienfaits de ce climat, il loue avec son épouse à M. Bellairs, ancien vice-consul de Grande-Bretagne à Biarritz, la villa Mouriscot, qui avait accueilli, quelques mois plus tôt, la reine Victoria.
Le baron et la baronne sont charmés par l'endroit et le climat. Albert remarque même plusieurs endroits où il aimerait s'installer, notamment une colline située entre la villa de la reine Nathalie de Serbie et le domaine de Françon du couple Pennington-Mellor. Biarritz a aussi fait un miracle : Delphine est enfin enceinte.
Au début de cette année 1890, il se rend à Paris, chez Aristide Cavallié-Coll pour soumettre au vieil homme un projet d'instrument qui dépasserait tout ce qui a déjà été réalisé pour un particulier : un orgue à usage profane ! Aristide Cavaillé-Coll reçoit l'ordre de concevoir un instrument autour duquel le baron fera construire une maison ! Le facteur d'orgues devra reprendre le meilleur des orgues de Sheffield, de Sainte-Clotilde, de Saint-Sulpice, de Notre-Dame-de-Paris et du Trocadéro et regrouper le tout en un seul instrument.
Dans le même temps, il charge maître Blaise, notaire à Biarritz, de lui trouver des terres dans sa région. Celui-ci lui proposera bientôt la colline déserte de Handia, au sud de la ville de Biarritz, au lieu-dit Ilbarritz. Or, c'est précisément sur ce lieu qu'Albert avait jeté son dévolu ! Au mois de septembre, Albert repart pour Biarritz, souhaitant rencontrer un architecte "hardi". Il rencontre alors l'architecte Gustave Huguenin et les consignes d'une collaboration sont établies : discrétion absolue, collaboration étroite entre Huguenin et Cavaillé-Collet, et interdiction de discuter les directives du facteur d'orgues. Il est seul car le 10 juillet 1890, Delphine a mis au monde René de l'Espée de Bongars et se repose. En même temps, Albert bouscule Aristide Cavaillé-Coll pour que l'orgue destiné maintenant à Ilbarritz soit terminé dans les ateliers de Paris, et Gustave Huguenin commence à travailler les plans de construction. Les rêves fous du baron peuvent enfin commencer.