Les records de "précautions" seront battus pour la nourriture : il envoie chercher ses melons près de Bilbao, ne mange de poissons qu'après les avoir vu vivants, n'a sur sa table que du beurre provenant d'un fromager de Paris, fait venir ses légumes de la Côte d'Azur. Pour sa consommation de lait, il se fait livrer, en gare de Biarritz, des vaches laitières provenant d'Antibes ; leur étable devra être tenue dans un état de propreté irréprochable.
Le comble de la maniaquerie est réservée à ses déplacements : aucune de ses habitudes ne doit être bouleversée. Il fait suivre son lit complet, avec couvertures et descentes de lit, sa porcelaine (un service complet), ses couverts, ses verres ,ses casseroles, sa table, son chevet, ses lampes ... et une garde-robe complète, ce qui n'est pas sans poser quelques soucis à la direction des hôtels qu'il fréquente !
En cette fin 1890, Albert commence à interpréter avec succès des œuvres de Richard Wagner. Dans un tout autre répertoire, le Tout-Paris se presse pour applaudir "Miss Helyett" la nouvelle opérette d'Edmond Audran, et, intrigué par la réclame que l'on fait à ce spectacle, le baron Albert se presse au théâtre des Bouffes Parisiens. Il tombe éperdument amoureux de l'héroïne, Biana Duhamel ! Elle a 20 ans, il en a 40 ! Il réservera pendant des semaines la même place au premier rang des fauteuils d'orchestre, et fera livrer chaque soir des gerbes de fleurs dans la loge de Biana, avec sa carte, sans aucun autre commentaire. Un soir pourtant, Albert s'approche, à l'issue de la représentation, d'une dame peu discrète, parlant fort, mais ressemblant, kilos en plus, à la jeune actrice. Il comprend qu'il s'agit de sa mère, Augustine Bibiane Duhamel. Il entreprend, pour séduire la fille, de séduire d'abord la mère.
Albert n'est pas un Don Juan, mais la fortune qu'il possède peut faire oublier quelques imperfections physiques. Mme Duhamel, après une discussion avec le futur amant de sa fille, estime qu'il serait stupide de ne pas saisir une telle opportunité. L'idylle devait, en plus, rester secrète : Biana sera donc la maîtresse d'Albert ! De son côté, la baronne Delphine commence à reprocher au baron Albert des absences de plus en plus longues.
Biana Duhamel, entend son amant sans cesse parler de la surprise qu'il lui réserve à Biarritz. Les travaux du château sont presque achevés et l'architecte vient de réaliser les plans d'une maison qu'Albert destine à sa double vie avec elle, en lisière des clôtures d'Handia. On la nomme la villa des Sables et on y accède par un chemin dissimulé dans la verdure, à l'abri des regard indiscrets. Sur les vastes terres l'architecte prévoit en un endroit le pavillon des chiens, sorte de pagode chinoise. Il a également prévu un pont romain, une réduction de château-fort, des tours, des terrasses et surtout, sept pavillons-cuisines indépendants car le baron a horreur des odeurs de cuisine.
Au total, quinze constructions sont réalisées, le tout dans une parfaite démesure. Albert achète des lièvres en Allemagne et les lâche dans la propriété. Il met des carpes dans l'étang aménagé, plante des cèdres et s'occupe des finitions du château. La villa de Biana terminée, l'actrice vient y habiter avec sa mère : le baron met comme condition à la présence d'Augustine : qu'il ne la rencontre jamais. Biana est espiègle et s'amuse à faire des tours à son amant. Un jour, sachant qu'il la surveille avec un télescope, elle se déguise en voleur. Le baron lance alors à la poursuite de l'intrus ses molosses, qui se laissent caresser puisqu'ils la reconnaissent. Une autre fois, elle exige de son seigneur d'aller se baigner nue, conduite jusqu'à la mer entre une double haie de maçons lui tournant le dos. On peut imaginer l'émoi des ouvriers... Albert avait l'habitude de surveiller sa propriété avec un puissant projecteur électrique et, un soir, alors qu'il suivait une des fugues de Biana vers Biarritz, il aveugla l'attelage de la reine Nathalie de Serbie, qui passait près d'Handia. Les chevaux s'emballèrent, mais la souveraine, malgré une chute, n'eut aucun mal...
En cette fin 1897, le baron Albert de l'Espée est un homme comblé : son majestueux orgue est enfin posé dans le château qui lui sert d'écrin, Biana a accepté de ne plus remonter sur les planches et Delphine ne lui pose même plus de questions sur ses absences ! Il faut dire que la baronne a fait la connaissance, à Paris, de François Caze de Caumont, jeune officier de cavalerie habitant près de chez elle, qui ne manque pas de venir témoigner de plus en plus fréquemment à sa jolie voisine des marques profondes d'affection.
Pourtant, l'ennui du baron grandit et les espiègleries de sa maîtresse ne l'amusent plus. Biana, qui n'a pas trente ans, s'ennuie aussi. Elle prend alors la décision de rendre la villa des Sables à Albert, qui la lui rachète ! Le ressort est cassé, le baron informe Maître Blaise qu'il veut vendre Ilbarritz...pour cinq millions de francs-or (environ 90 millions de francs !) et il part dans les Alpes s'adonner à une nouvelle passion : le ballon captif.
Il ne prend pas la peine d'en informer Delphine, qui s'est adaptée sans peine à sa nouvelle condition de maîtresse. Maître Blaise répond à Albert que l'orgue du château est beaucoup plus une gêne qu'un atout vendeur. Qu'à cela ne tienne ! Albert fait démonter l'instrument en 1903, le fait mettre en caisses, et le revend au successeur de Cavaillé-Coll. Le château ne trouve toujours pas d'acquéreur, pour la simple raison qu'Albert a interdit qu'on fasse la moindre publicité sur cette vente. En 1904, le baron baisse les prix : de 5 millions on passe à 500.000 francs ! On ne connaîtra jamais les raisons de cette baisse ! En 1905, il annonce que le château n'est plus à vendre ! À la stupéfaction générale, il envisage même des améliorations, et commande à Charles Mutin, successeur d'Aristide Cavaillé-Coll, un autre orgue pour Ilbarritz, que Mutin devra accoupler, sans manipulation, avec un clavecin, un piano, un célesta, une grosse caisse... au total 26 instruments qui s'ajouteront aux sons de l'orgue. L'échéance pour l'achèvement de l'instrument est fixée au début 1907 !
Gustave Huguenin reçoit l'ordre d'aménager une salle "...pourvue de tous les agréments qui plaisent aux femmes..." On apprend qu'une jolie blonde, originaire d'Autriche, est entrée dans le vie du baron, qui en est tombé amoureux ! On agrandit les sous-sols, on aménage un ball-trap, et, comme les lièvres ont proliféré, on constitue une meute de chiens de chasse ! M. Devals, professeur d'allemand, est convoqué au château pour apprendre à Albert l'idiome de sa dulcinée, et ...il continue à acheter des terrains ! Il a vendu la villa des Sables, qu'il ne veut plus voir, à M. Gheusi ! Il invite la reine Nathalie de Serbie à venir l'écouter jouer, et laisse la souveraine abasourdie par l'extraordinaire sonorité de l'instrument.
Au bout de quelques mois, autre revirement : Albert de l'Espée doit régler un autre problème, le départ de la belle autrichienne. Il lui a signifié son congé, sans raison connue. Son fils René vient d'avoir 19 ans et s'inquiète peu de son père, Delphine parle de divorce, Biana est tombée malade et a perdu sa voix. Albert part pour Monte-Carlo, puis pour Genève ! M.Gheusi, qui a déjà acheté la villa des Sables, fait une offre d'achat de 500.000 francs pour Handia, elle est acceptée, l'acte est signé le 24 décembre 1911, Albert ne s'est même pas déplacé ! Il s'est séparé de Delphine, qui a demandé le divorce et vit heureuse avec François Caze de Caumont Le divorce est prononcé le 31 juillet 1916, aux torts exclusifs du baron ! René est héritier d'une fortune qui commence à s'amenuiser. Albert de l'Espée loue, en octobre 1917, un appartement dans une pension de Juan-les-Pins, l'hôtel Grazziella, et y apprend, par une lettre de son fils, que Delphine va se remarier avec François de Caumont. Ses quintes de toux l'épuisent de plus en plus et il meurt le 4 janvier 1918. Son décès passe inaperçu ! Il est inhumé à Hayange, dans la crypte de la chapelle de la famille de Wendel.