Ende des 18. Jahrhunderts erwarb der Arzt und Biologe Albrecht W. Roth ein etwa 2 ha großes Areal direkt an der Weser und bepflanzte es mit verschiedensten Bäumen, Sträuchern und Rosen. Nach dem Tode Roths erwarben wohlhabende Bürger den Rothschen Landbesitz und errichteten sich oberhalb des Weserhanges Villen und Gärten, letztere erstreckten sich bis ans Flussufer.

Das unterste Gartengelände wurde bis 1898 mit Weserschlamm aufgespült und bepflanzt. 1923 wurde, bewirkt durch öffentlichen Druck, die Uferpromenade für die breite Bevölkerung erschlossen. Die Stadt erwarb weitere Grundstücke; der an der Weser gelegene letzte Garten des Kaufmanns und Senators C.W.A Fritze wurde die Keimzelle des heutigen Stadtgartens und ein öffentlicher Park.

Der dann 1930 gegründete „Stadtgartenverein“ gestaltete den „Stadtgarten“ neu und pflegte ihn gärtnerisch. Nach der Auflösung des Vereins 1940 wurde dieser 1948 als „Stadtgartenverein für Vegesack und Umgebung e.V.“ neu gegründet.

Innerhalb weniger Jahre wurde der während des Krieges verwüstete Stadtgarten wiederhergerichtet.
Im Jahre 2000 erhielt die Stadt durch eine Schenkung auch das letzte Grundstück. Eine 1988 erstellte Planung (Wehberg + Partner, Hamburg) wurde bis 2000 umgesetzt. Hier lässt es sich, begleitet vom bewegten Fluss und von der jahrszeitlich immer wechselnden Atmosphäre des historischen Stadtgartens, entspannt promenieren.