La primera mención al monasterio se remonta al año 942 y puede que su origen sea anterior. La tradición cuenta que la primera sede del monasterio fue fundada por Fructuoso de Braga, bajo la orden benedictina, en el siglo VII. Tres siglos después, Bermudo III de León lo trasladaría a su actual emplazamiento, su actual ubicación no puede ser mejor, en un pequeño promontorio con vistas a la ría de Pontevedra. Su riqueza se debe, como siempre en estos casos, a privilegios reales y nobiliarios. Llegó incluso a tener un colegio mayor en teología en el siglo XVI.La iglesia y el convento actuales son del siglo XVIII. Con la desamortización, en 1835, los monjes benedictinos fueron expulsados. Desde 1890 es la orden mercedaria la que lo habita. En la parte trasera de las edificaciones benedictinas se levanta el convento mercedario, con dos claustros, construido en el siglo XX. Hoy funciona como hospedería.

Como anécdota, el monasterio cuenta con el hórreo más grande de Galicia, construido en el siglo XVIII.