L'enceinte de la ville a probablement été construite dans la première moitié du XIIIe siècle, en même temps que le château. La plus ancienne fortification sécurisait le «quartier urbain» de l'église à la tour de la porte de Mayence. Le front du Rhin avait été construit à l'intérieur avec des maisons depuis le XIIIe siècle, l'église fait saillie comme un rempart et semble donc plus jeune.

Une première extension, probablement à la fin du XIIIe siècle, comprenait les caves du bureau électoral et le bureau des douanes, dont l'angle sud est la puissante tour dite du bureau des douanes, qui a été renouvelée en 1485. Probablement avec la charte de la ville en 1324, une deuxième extension des murs a été faite pour protéger le marché et la Bächerstrasse qui avaient progressivement émergé, y compris la place du marché, Alleestrasse, Blücherstrasse. La soi-disant tour Weseler avec trois tours d'angle polygonales et une tour dans le Blüchertal, appelée "Philippinenburg", a été préservée. La troisième extension datant de 1485-87 environ protégeait la Zöllerviertel (Zollstrasse) allongée au sud et se terminait par le puissant «Dicken Turm», une tour ronde caractéristique avec un créneau en bois à douze côtés.

Autour de la marché et de la Metzgergasse, de nombreuses maisons sont encore aujourd'hui accessibles via les anciens remparts (surtout en période de crues).