Den Bau der Residenz begann in der Mitte des 13. Jahrhunderts der großpolnische Herzog Przemysł I. Damals entstanden wahrscheinlich der gemauerte Wohnturm und die mit einem hölzernen Pfahlwerk umgebenen Wirtschaftsgebäude. Später befand sich der Herzogsitz innerhalb der mittelalterlichen Stadtmauer; die Mauer trennte den Herzogsitz auch von der Stadt. Um 1290 begann Herzog Przemysł II. den Bau einer Residenz, die - nach seinem Vorhaben - in nächster Zukunft zum Königsschloss werden sollte. Der tragische Tod des Königs im Jahre 1296 unterbrach die Bauarbeiten nicht.
Das Schloss wurde in der 1. Hälfte des 14. Jahrhunderts vollendet, wahrscheinlich unter der Regierung Kazimierz des Großen. Damals galt das Schloss als das größte Profanbauwerk in Polen. Neben dem Wohnturm wurde ein riesiges Gebäude mit den Abmessungen 63 x 17,5 m und der Höhe von mindestens 9 m erbaut. Vom Süden grenzte ein hoher, befestigter Turm an das Gebäude. Seit der Zeiten des Władysław Łokietek war das Schloss Residenz der Generalstarosten Großpolens. Das gotische Bauwerk verbrannte während des Stadtbrandes im Jahre 1536. Es wurde in Renaissanceform vom Starosten Andrzej Górka wiederaufgebaut. Weitere Zerstörungen brachten die schwedische "Flut" und der Nordische Krieg mit sich. 1716 wurde das Schloss zum ersten Mal in seiner Geschichte im Sturm erobert. Die verwüsteten Bauten wurden 1721 teilweise wiederaufgebaut, jedoch seit dieser Zeit war das Schloss immer deutlicher einer Ruine nahe.
Im Jahre 1783 erbaute der letzte Generalstarost Großpolens, gleichzeitig der Vorsitzende der Posener Kommission für Gute Ordnung, Kazimierz Raczyński, auf Fundamenten des südlichen Teils des ehemaligen Schlosses - unter teilweiser Verwendung seiner Mauer - das Archivgebäude. Den Entwurf des Gebäudes erarbeitete Antoni Höhle. Später wurde dazu eine Buchdruckerei hinzugebaut.
Nach der 2. Teilung Polens hatte in dem Gebäude der preußische Regierungsbezirk, danach das Appellationsgericht und nach 1885 - das Staatsarchiv, seinen Sitz. 1945 erlitten die baulichen Anlagen des Przemysł-Berges erhebliche Schäden. Während des 1959-64 durchgeführten Wiederaufbaus wurde aus den Ruinen nur das von K. Raczyński erbaute Gebäude wiederhergestellt. Heutzutage hat dort das Museum für Gebrauchskünste seinen Sitz.
Am Schloss waren oft gekrönte Häupter zu Gast.
Das Gebäude aus dem 18. Jahrhundert, mit bescheidenen klassizistischen Zügen, wird von einem hohen Mansardenwalmdach bedeckt. Im Keller- und Erdgeschoss haben sich Räumlichkeiten mit Tonnengewölben und Lünetten aus dem mittelalterlichem Bauwerk erhalten. An der nord-westlichen Außenwand befinden sich Reste der Stadtmauer aus dem Ende des 13. Jahrhunderts (gut sichtbar vom Wielkopolski-Platz aus). Neben dem Eingang wurde 1783 eine Tafel eingemauert, die an den Wiederaufbau des Gebäudes durch K. Raczyński erinnert; zwei neue Tafeln gedenken dem 700. Jahrestag der Krönung des Przemysł II. (1996) und dem 500. Jahrestag der Huldigung des Kreuzritterhochmeisters (1993).