Le Petit Séminaire de Zillisheim est né en 1869 de la transplantation de celui de Lachapelle. Ce dernier avait été fondé après la tempête de la Grande Révolution, pour réorganiser la vie religieuse du pays et donner au département du Haut-Rhin, qui avait changé d’obédience spirituelle en passant de la houlette de l’Evêque de Bâle sous celle de l’Evêque de Strasbourg, les possibilités de contribuer d’une manière normale au recrutement d’un clergé autochtone.
Le projet d’une transplantation du Petit Séminaire de La chapelle à un endroit mieux accessible et offrant de meilleures possibilités d’extension était discuté depuis plusieurs années. Le curé Meyer, qui avait en lui l’âme d’un architecte et d’un grand entrepreneur, fit passer le projet du stade de la discussion à celui de la réalisation sur le site de Zillisheim.
Le nouveau collège, érigé en pleine campagne à quelques kilomètres seulement de Mulhouse, offrait donc à la population rurale un centre de formation supérieure idéal. Les familles modestes pouvaient y envoyer leurs enfants les plus doués, capables d’accéder à la prêtrise ou à une situation laïque relevée, dans les carrières libérales ou le fonctionnariat. Dès ses débuts, le Collège de Zillisheim connut donc une affluence qui ne fit que croître au fil des années. Zillisheim est devenu rapidement le bastion des intellectuels catholiques haut-rhinois auquel toutes les familles chrétiennes de la campagne et peu à peu de la ville confiaient leurs enfants susceptibles de poursuivre des études secondaires.
Dès 1866, sur les instances de l’évêque de Strasbourg, les sœurs de la congrégation du Très-Saint-Sauveur prirent en charge la direction de la ferme et veillèrent matériellement au bien-être des 349 élèves en 1869. De 1874 à 1880 le collège fut fermé par les autorités allemandes.
En 1914, 12 sœurs travaillaient au collège. Mais dès l’automne 1914, le collège se replia à Saint-André de Colmar. Zillisheim accueillit à nouveau 120 élèves à l’automne 1919. Les années 1940-1944 marquèrent à nouveau la fermeture du collège. Le collège fut réquisitionné par l’administration allemande pour y installer une Oberschule avec internat.
Au lendemain de la Seconde Guerre mondiale, un enseignement avec une plus grande ouverture d’esprit, initié par les différents supérieurs successifs attira progressivement un afflux d’élèves. De plus, le développement de l’automobile transforma progressivement la composition du milieu scolaire : davantage d’externes et de demi-pensionnaires, moins d’internes, et aussi admission des filles dans les années 70.
De 568 élèves à la rentrée 1968, le nombre d’élèves dépasse la barre des 1 000 dès 1992.
Cette rentrée 1992 marqua également un tournant dans l’histoire de l’établissement avec l’incendie ravageant une aile entière du bâtiment. Cet incendie permit de repenser la géographie des lieux avec des locaux bien mieux adaptés aux contraintes de l’enseignement et de la population scolaire actuelle.
Aujourd’hui Le Petit Séminaire de Zillisheim est devenu un établissement mixte avec plus de 1270 élèves et à direction laïque.
Il est toujours l’un des cinq « collèges épiscopaux » d’Alsace-Moselle, bénéficiant du statut d’Etablissement public du culte, placé sous la bienveillante autorité de l’Archevêque de Strasbourg.
Ainsi, le terme usuel de collège, associé au caractère épiscopal, désigne ici à la fois école, collège et lycée, selon la terminologie administrative en vigueur.