Après les apparitions de 1876, la vie d’Estelle est évidement totalement transformée. Comme la Vierge le lui avait annoncé dans la 5° apparition : « Tu auras des embûches, on te traitera de visionnaire, d’exaltée, de folle ; ne fais pas attention à tout ceci, sois-moi fidèle, je t’aiderai », tout cela va se réaliser

Déjà le 24 janvier 1877, Mgr Sautereau, vicaire général écrit au P. Salmon une lettre faisant écho de bruits d’inconduite et répercutés par Mr Lèbre, curé de Buzançais. En octobre 1879, Estelle tombe malade. La comtesse va alors la libérer de son emploi et lui permettre de rester dans la petite maison des apparitions, avec sa mère et sa nièce, et une petite rente de 600 francs. Puis Estelle perd son père le 31 décembre, et ne peut même pas assister aux obsèques. En 1886, la chapelle est fermée par le comte Arthur de la Rochefoucauld, sur ordre du préfet Lépine. Estelle fait alors comme si de rien n’était et continue de faire entrer les pèlerins. En 1893, la mère d’Estelle meurt. La comtesse peut alors récupérer le lieu des apparitions, au moment où elle envisage d’installer le couvent, contre l’avis d’Estelle. Elle fait faire alors à Estelle un petit logement à l’extrémité du bâtiment de l’hôtellerie. Celle-ci écrit à la Duchesse d’Estissac: « Ma vie est – et ne sera plus – que sacrifice.» En mai 1895, Estelle doit quitter définitivement la « maison des apparitions » et s’installer dans la cour. C’est alors que la famille d’Estelle, achète un petit terrain et fait construire une maison, qui deviendra, en 1899, la villa Saint Jean – ce qui permettra à Estelle d’échapper quelque peu à l’influence envahissante de la comtesse. Comme en témoigne Sœur Marie du Saint Sacrement, de la Congrégation des Soeurs de Sainte-Anne, « Mademoiselle Estelle était une personne très humble, assez équilibrée. Surtout bonne, très charitable, charitable en action. Par exemple elle ne pouvait pas supporter la misère des gens, que ce soit des petits enfants, des pauvres. Elle aurait facilement partagé son repas pour nourrir les pèlerins qui passaient sans rien. Elle aimait mieux se priver du nécessaire et accorder ce dont on avait besoin, et pour n’importe qui. C’était une qualité. Dans sa piété, elle n’avait rien d’extraordinaire. Son maintien à la chapelle n’avait rien d’exagéré. Elle était toute simple. On n’aurait pas cru qu’elle était privilégiée. Quand on lui parlait des apparitions, elle parlait tout simplement. Du haut de la chaire à l’église, Mr Boulanger, curé de Pellevoisin nommé par Monseigneur Servonnet pour remplacer le P. Salmon en 1902, la reprenait alors qu’elle était présente. Elle supportait cela sans se plaindre, sans rien dire ».

En 1897, Monseigneur Servonnet est nommé au siège épiscopal de Bourges. Commence alors ce que l’on pourrait appeler le  « Calvaire de Pellevoisin » et le « calvaire d’Estelle ». Celui-ci durera 12 ans jusqu’à la mort de l’évêque en 1909. Pourtant, tout commence bien : le 9 septembre, Mgr Servonnet est le premier archevêque de Bourges à présider le pèlerinage et à porter le scapulaire. Mais les interventions intempestives et les imprudences de Monseigneur Bauron, curé de Saint Eucher et directeur de la Revue Mariale ainsi que du P. Salmon, tous deux ultra-monarchistes, vont achever de prévenir l’Archevêque républicain contre les « têtes brûlées » de son diocèse. La première imprudence du P. Salmon et de Monseigneur Bauron est d’avoir laissé entendre à l’évêque, dans une lettre du 4 décembre, que le secret confié à Estelle lors de 7° apparition était de nature politique – ce qu’Estelle démentira par la suite en rappelant que ce secret était avant tout personnel et qu’elle pouvait le dire seulement en confession. En 1899, au cours de la troisième enquête canonique ordonnée par Mgr Servonnet, la calomnie de la gouvernante de l’Abbé Lenoir, est reprise au sujet de la « grossesse » d’Estelle, dans le rapport Lenoir à la commission.

L’année 1900 marque le paroxysme de la crise. Le 30 janvier, Estelle, emmenée par Mgr Touchet et la duchesse d’Estissac rencontre le Pape Léon XIII à Rome. Vers le 11 février, Estelle rencontre le P. Joseph Lémius, procureur général des Oblats de Marie Immaculée qui propose qu’Estelle et le P. Salmon donnent à sa congrégation (les Oblats de Marie Immaculée) le soin de propager le scapulaire. Estelle accepte à condition que Pellevoisin demeure le berceau du scapulaire. Quelques jours plus tard le même P. Lemius revient pour soumettre à Estelle une lettre concernant l’approbation du scapulaire, adressée au pape. Il n’est pas question, dit-il, de parler de Pellevoisin car « cela ferait tout manquer ». Estelle demande au père d’ajouter au moins la mention de la Mère toute Miséricordieuse et – finalement – refuse de signer. La manœuvre des Lemius finira cependant par réussir. Le 19 mai : lettre de la Congrégation des Rites aux Oblats qui modifie le scapulaire : « Mère toute miséricordieuse » devient « Mater Miséricordiae » et la remise du scapulaire est confiée aux Oblats de Montmartre. Ce document donne le droit de bénédiction, d’imposition et de diffusion à trois églises : Paray-le-Monial, Montmartre et Rome, et pouvoir de déléguer aux autres. Le 14 Juin 1900, le Cardinal Mazella écrit à la duchesse d’Estissac que le Pape demande que l’on ne parle plus officiellement de Pellevoisin. En décembre, après son voyage à Rome, Mgr Servonnet écrit au P. Salmon pour transmettre les dispositions de Rome à l’égard de Pellevoisin : a) Ne pas prononcer de jugement – ni pour, ni contre. b) Conserver le culte de la Sainte Vierge et rendre florissante l’archiconfrérie. c) Diminuer et faire oublier peu à peu et la voyante et ses apparitions, comme biens accessoires, face à l’honneur, l’amour et la confiance dus à la Très Sainte Vierge, que l’Eglise appelle Mère de Miséricorde. En 1902, Mgr Servonnet finit par croire les terribles calomnies à l’égard d’Estelle. Dès lors, le 24 février, Estelle va subir un examen de virginité auprès du Docteur Bucquoy et du Docteur Guéniot, de la faculté de Médecine de Paris, qui concluent à sa virginité. En octobre, le P. Salmon est déplacé à Massay par Mgr Servonnet et remplacé par l’abbé Boulanger, qui devient confesseur d’Estelle. Fermeture de la chapelle des apparitions sur ordre de Monseigneur Servonnet, sous la pression du préfet arguant de troubles. Camille Cartier, petite nièce d’Estelle, témoignera plus tard en 1958 à propos de sa tante : « Une grande épreuve se fit dans son âme, lorsque son confesseur et directeur dut quitter la cure de Pellevoisin, lui qui avait été témoin du grand miracle de sa guérison, lui qui la dirigeait dans toutes les décisions à prendre, et en même temps élevait son âme de plus en plus vers Dieu ; mais il fallait bien obéir à la décision de l’archevêché ; ce fut aussi pour ce bon chanoine Salmon une cruelle et grande épreuve. Monsieur l’abbé Boulanger, envoyé pour le remplacer, avait pour mission d’anéantir les faits surnaturels des apparitions ; il s’en chargea bien, même avec violence, ce qui fit souffrir doublement la voyante ; mais la Sainte Vierge était là, et les paroles qu’elle lui avait dites la réconfortaient ».