An der Ostseite des Schlössli beim Haupteingang ist der Stein der Freiheit eingefügt.
Dieser ist historisch interessant: Im Mittelalter kämpfte die Kirche – und damit auch das Kloster St.Gallen – gegen die immer noch landesübliche Selbsthilfe bei Verbrechen. Vier Freiheitssteine bezeichneten einen Bezirk, in den sich asylfähige Personen flüchten konnten und von dem sie nicht gewaltsam weggenommen und mit Todes- oder Leibesstrafen belegt werden durften.
Beim Bau der Trennmauer zwischen Stadt und Kloster wurde diese Freistätte verlegt. Für einen der vier Freiheitssteine wurde das sich eben im Bau befindliche Schlössli ausgewählt. Es ist der einzige Stein der Freiheit in St.Gallen, der sich heute noch an seinem Originalstandort befindet.
