Lors de la construction de l'église actuelle, en 1740, le bâtiment de l'ancien hospice dédié, selon la tradition, à Saint-Jacques et à Sainte Apolline, fut surélevé et fortement remanié pour devenir le presbytère. Attesté depuis le Moyen Age, cet hospice accueillait non seulement les pèlerins sur les chemins de Jérusalem, de Rome ou de Saint-Jacques de Compostelle, mais aussi les malades lors des épidémies ; il pouvait aussi servir de léproserie en cas de nécessité. Un hospitalier avait la charge de cette institution et il devait offrir le repas et le coucher aux pèlerins avant de les conduire en char jusqu'à Conthey ou Martigny. Cet office ne cessa qu'à la fin du XIX^e siècle lors de l'apparition du chemin de fer.

Percée de deux fenêtres romanes, la façade principale du bâtiment témoigne de son ancienneté. Au Moyen Age, l'édifice était crénelé et certainement couvert d'un toit pyramidal. Une restauration récente lui a redonné son austère caractère médiéval et un crépissage particulier souligne les différentes époques de ce bâtiment.