Jetzt habe ich die Lösung:

Der Stift hat tatsächlich in der Mitte eine Vertiefung in Form einer Rille. In dieser Rille sitzt zwischen den Gehäusestegen ein Sicherungsring/Federring.

Man schiebt den Stift tatsächlich einfach zu einer Seite komplett heraus. Dabei muss man im ersten Moment freundliche Gewalt anwenden, denn dann kommt der Sicherungsring aus der Rille und rutscht auf den dickeren Teil des Stegs. Man schiebt einfach weiter, bis der Stift komplett heraus ist.
Die Konstruktion ist so gut, dass der Sicherungsring dabei im Normalfall zwischen den Stegen bleibt. Er fällt (eigentlich) nicht heraus.

Da der goldige Sicherungsring in seltenen Fällen aber doch herausfallen kann, empfiehlt sich das Arbeiten auf einer sauberen Unterlage mit Rand, sodass da nichts wegkullern kann und man notfalls den kleinen Sicherungsring wiederfindet.

Der Stift ist übrigens aus Edelstahl und nicht aus Gold. Das macht Sinn, denn sonst wäre das Material zu weich für den stärkeren Druck, den man beim Bandwechsel anwenden muss.

Man benötigt zum Bandwechsel am Gehäuse also nur einen vernünftigen Dorn, sonst nichts.