Bereits ab Ende des 2. Jahrhunderts schwächten Germaneneinfälle, Bürgerkriege und Seuchen das römische Reich. Die wirtschaftliche Lage verschlechterte sich, die Bevölkerung verarmte. Nach dem Fall des Limes um 260 n. Chr. musste die Reichsgrenze an den Rhein zurückgenommen werden. Die Stadt lag erneut im Grenzgebiet. Es folgten unsichere Zeiten mit kriegerischen Auseinandersetzungen. Um etwa 280 wurde der Geländesporn auf Kastelen, das Gebiet oberhalb des heutigen Museums, mit einer Mauer und einem Wall-Grabensystem gesichert. Die Festung bot der bereits stark dezimierten Einwohnerschaft von Augusta Raurica Schutz. Die übrigen Stadtquartiere waren weitgehend verlassen.