Son père était inspecteur d'académie, puis recteur d'académie à Metz et à Pau. Il fut proche parent de son parfait homonyme, le poète Charles Loyson.

Hyacinthe Loyson, en même temps que son frère Jules, fit ses études au collège de Pau en qualité de boursier. Il entra, en 1845, au séminaire de Saint-Sulpice et fut ordonné prêtre en 1851. Successivement professeur au séminaire d'Avignon et de Nantes et vicaire à Saint-Sulpice jusqu'en 1857, il finit par prendre la robe de dominicain du tiers-ordre, enseignant à Flavigny.

Il partit pour Rome, s'enferma environ deux ans à la Trappe et revint en France et, après un noviciat à Lyon, entra dans l'ordre des Carmes en 1860 et prononça ses v?ux. C'est alors qu'il adopta le nom de Père Hyacinthe alors que chez les dominicains, il avait pu garder son nom.

Il eut des difficultés dès le début de son ministère pour avoir invité les francs-maçons à travailler avec les catholiques.