Das Vorderhaus der Lindenstraße 54 wurde 1734 bis 1737 im Auftrag von König Friedrich Wilhelm I als barockes Stadtpalais im holländischen Stil errichtet. Vom Stadtschloss abgesehen war das »Große Holländische Haus« das prächtigste Gebäude in Potsdam. Im November 1738 verfügte der König die Schenkung des Palais an die Potsdamer Kämmerei. Als »Kommandantenhaus« war die Lindenstraße 54 in der Folgezeit Wohnhaus des jeweiligen Kommandanten der königlichen Leibgarde.
Am 24. Oktober 1806, nach der Niederlage der preußischen Armee in der Schlacht bei Jena und Auerstedt, besetzten napoleonische Truppen die Stadt Potsdam. Bis zu ihrem Abzug im Herbst 1808 diente das »Kommandantenhaus« mit Hof und Stallanlagen der französischen Armee als Kleiderkammer und Pferdelazarett.
Nach dem Ende der napoleonischen Besatzung trat im Rahmen der preußischen Reformen am 19. November 1808 die preußische Städteordnung in Kraft. In Potsdam konstituierte sich erstmalig eine Stadtverordnetenversammlung. Am 20. März 1809 fand die erste Sitzung im Saal der Lindenstraße 54 statt. Die Potsdamer Stadtverordnetensammlung tagte hier, bis sie 1817 ins Rathaus am Alten Markt zog. Im Gegenzug wurde dem Stadtgericht, das bis dahin im Rathaus tagte, die Lindenstraße als Dienstgebäude zugewiesen.
Es folgte eine dreijährige Umbauphase: Das Vorderhaus wurde zum Gerichtsgebäude und die Stallungen auf dem Hof zum Gefängnis umgebaut. 1820 erfolgte der Einzug von Stadtgericht und Stadtgefängnis. Der Gebäudekomplex wurde stetig erweitert: 1843 überließ die Stadt dem Justizwesen auch das Nachbarhaus Lindenstraße 55, das bis dahin als Schule diente.
Mit der preußischen Justizreform 1849 ging das Stadtgericht in das Kreisgericht über. Der Potsdamer Gerichtsbezirk umfasste neben der Stadt Potsdam nun auch 54 Dörfer, 15 Kolonien und Vorwerke. Das Gerichtsgebäude und Gefängnis wurden zwischen 1852 und 1854 abermals umgebaut und vergrößert.
Nach der Gründung des Deutschen Reichs 1872 wurde 1879 die Reichsjustizverfassung und infolgedessen neue Justizinstanzen eingeführt. Das Kreisgericht wandelte sich damit in das Amtsgericht Potsdam und beherbergte vorübergehend auch das Landgericht.
Die letzte große Sanierung der Lindenstraße 54/55 im Kaiserreich erfolgte zwischen 1907 und 1910. Im Hof wurde ein größeres Gefängnis errichtet. Das Landgerichtsgefängnis entsprach nun den Standards gründerzeitlicher Gefängnisbauten und umfasste 64 Einzelzellen, sechs Viermannzellen, Sanitärzellen, Keller- und Wirtschaftsräume sowie eine Kapelle im Obergeschoss und ein Beamtenhaus.
In der Weimarer Republik beherbergte die Lindenstraße 54/55 die Strafkammer des Amtsgerichts und das Landgerichtsgefängnis. 1930 nahm hier auch ein Arbeitsgericht seinen Sitz.