LE ROCHER d’Espaly supportait autrefois un castel que Bertrand d’Espaly, devenu moine à la Grande Char­treuse, remit généreusement aux Evêques du Puy, en 1197. Durant 4 siècles, ce fut alors, peut-on dire, la "résidence secondaire" des Evêques du Puy, leur manoir féodal, où ils accueillirent plusieurs rois de France : Saint Louis, Charles VI, Charles VII, Louis XI,… Charles VI, qui ne dédaignait pas la bonne chère, déclarait avoir été "régalé magnifiquement au Château d’Espaly".

Ce fut à plusieurs reprises le lieu de rassemblement des Etats Généraux du Languedoc et du Velay, ce qui lui valut le surnom de "petite Genève". C’est là que le Dauphin, fils de Charles VI et d’Isabeau de Bavière, apprit la mort de son père, en 1422, et fut acclamé roi. Les principaux vassaux, en 1424-1428, jurèrent fidélité à Charles VII sous les voûtes mêmes du donjon. Avant que son ardeur guerrière ne fût réveillée par la voix de Jeanne d’Arc, il fit divers séjours à Espaly, d’où il visita souvent Notre-Dame du Puy. Il est beau d’imaginer que Charles VII dut croiser dans la Cathédrale du Puy Isabelle Romée, mère de Jeanne d’Arc, lors du Jubilé de 1429.

Jean de Bourbon termina princièrement la construction du château féodal en 1485. Mais contre ses remparts s’acharnèrent les Huguenots et les Ligueurs. Un voisin turbulent, le baron de St Vidal, en fit sauter toutes les tours en 1590. Et le château fut entière­ment ruiné en 1601, sous les dernières estocades des Ligueurs. Désolation ? Non. Car il faut reconnaître que les petites gens, voisins du château, ne souhaitaient guère sa restaura­tion, qui entraînerait à nouveau leur insécurité et le saccage de leurs récoltes.

A la fin du règne de Henri IV ne subsistait plus sur cette roche qu’un pilier de la chapelle, renversé, mais intact, parmi les ruines…