Säben war fast ein halbes Jahrtausend lang Bischofssitz. In der Zeit zwischen 550 und 1000 scheinen 27 Bischöfe auf.
Über dem Bischofsbrunnen befindet sich eine Reliefdarstellung des Südtiroler Künstlers Werner Kofler aus Neumarkt. Sie zeigt drei der insgesamt 27 Bischöfe. Der mittlere stellt Cassianus dar, der linke Ingenuin und der rechte Albuin. Diese drei Persönlichkeiten gelten als Heilige und Diözesanpatrone des Bistums Säben und in der Folge des Bistums Brixen.
Ingenuin (auf der linken Seite) ist historisch belegt: Er war Bischof von vermutlich 577 bis 605 und ein bedeutender Theologe seiner Zeit. Darauf weisen die Hostie und der Kelch hin.
In der Mitte ist Kassian, auch Cassianus, dargestellt. Er wird als Gründer des Bistums Säben verehrt. Der Legende nach soll er aus Imola bei Bologna stammen und um 365 verstorben sein. Das Wort „Evangelium“ symbolisiert seine Tätigkeit als Glaubensbringer in unserem Land.
Die rechte Abbildung stellt Albuin dar. Er war Bischof von 977 bis 1007 und ist historisch belegt. Im Relief hält er ein Modell des Brixner Domes in seiner Hand. Unter Bischof Albuin wurde der Bischofssitz um 990 von Säben nach Brixen verlegt.
Archäologische Grabungen haben ergeben, dass sich der Bischofsitz ursprünglich im Bereich des Säbener Marienheiligtums befunden hatte. Hier sind neben dem frühchristlichen Taufbecken auch die Kirche im Weinberg, Siedlungsreste und das Zentrum des ausgedehnten Gräberfeldes zu Tage getreten. Diese Zeugnisse gehen auf die Zeit um etwa 400 nach Christus zurück.
Nachdem sich die bischöfliche Burg später auf der Spitze des Säbener Berges befunden hat, muss in der Vergangenheit irgendeinmal eine Verlegung von unten nach oben stattgefunden haben. Diesen Zeitpunkt festzulegen, ist schwierig. Vielfach geht man davon aus, dass es sich um die Zeit des Bischofs Ingenuin um 600 gehandelt haben könnte.
Die Burg erfüllte ihre Aufgabe als bischöfliche Residenz bis kurz vor dem Jahre 1000, als Bischof Albuin den Bischofsitz von Säben nach Brixen verlegte. Später wurde die Burg Sitz eines Burghauptmannes. Baumaßnahmen haben im Laufe der Jahrhunderte die Baulichkeiten stark verändert.
2 Ereignisse haben in der Folgezeit die Geschichte der bischöflichen Burg geprägt: 1533 wurde zum Schicksalsjahr. Ein Blitzeinschlag führte zu einem verheerenden Brand, der aus der Burg eine Ruine machte. 150 Jahre später erfolgte der Bau des Klosters. Die neuen Baulichkeiten hat man in die Ruinenreste hineingesetzt. Daher ist von der ehemaligen Burg heute kaum mehr etwas zu erkennen. Im Dachgeschoss blieben einige zugemauerte Biforen-Fenster erhalten. Gut zu erkennen ist über der unteren Klosterpforte eine unvollständige Jahreszahl sowie das Wappen von Brixen und jenes des Bischofs Melchior von Meckau.