C'était une simple porte murale, qui a même été murée pour des raisons de sécurité pendant la guerre de Trente Ans, car ce passage n'était pas nécessaire. La zone derrière la porte de Joseph n'était en effet guère bâtie à cette époque.
Ce n'est qu'au 18ème siècle que la porte a reçu son pavillon, qui est aujourd'hui orné d'une statue de saint Joseph - également un ajout du 18ème siècle, car auparavant, la porte était simplement appelée "Porte inférieure du Rhin". Une autre appellation, désormais oubliée, pour cette porte est le nom "Pützgassertor", qui était encore courant au début du 20ème siècle.