Vers 300 ap. J.-C., une imposante fortification, le Castrum Rauracense, fut édifiée au bord du Rhin. Elle remplaçait le Kastelen. Les familles des légionnaires et la population vécurent dorénavant à l’abri de ces murs. Le castrum fut détruit vers 351 ou 352 lors d’invasions germaniques. Quelque temps plus tard, le castrum fut réparé et remis en état. Vers 401 ap. J.-C., de nombreuses troupes romaines se retirèrent. Officiellement, la région restait cependant sous domination romaine, et c’est seulement à la moitié du Ve siècle que Rome perdit tout pouvoir sur les territoires au nord des Alpes.