Dit roemruchte college luidt een nieuw hoofdstuk in van het Hof van Katwijk. De Baron van Wijkerslooth kocht het complex om er een katholiek gymnasium te stichten. Het Heerenhuis werd niet langer bewoond door de Van Wassenaers, maar door jongens van ‘beschaafde katholieke stand’ die op dit gymnasium werden klaargestoomd voor hoge functies in de maatschappij.

Een echte eliteschool dus, die een prominente rol heeft gespeeld in de emancipatie van het katholicisme in Nederland. Het Sint Willibrorduscollege was het eerste Katholieke gymnasium van Nederland voor studenten die geen priester werden maar elders in de maatschappij hun maatschappelijke rol moesten vinden.

Dat lukte, want het college leverde heel wat studenten af die later belangrijke maatschappelijke functies vervulden. Daaronder verschillende belangrijke politici, zoals prof. De Quay (minister-president van 1955 tot 1963) en F.J.F. van Tiel (voormalig voorzitter van de Tweede Kamer), maar ook beeldbepalende architecten, kunstenaars en hoogleraren. Het was een gesloten instituut en werd vanaf 1836 gerund door de paters Jezuïten met hun karakteristieke hoofddeksels.

In deze periode zijn er veel uitbreidingen gedaan aan het gebouwencomplex. Een van de uitbreidingen was de kapel van Tepe, die is ontworpen door oud-gymnasiumleerling Alfred Tepe. Door de bouw hiervan ging de zuidelijke vijver verloren, waardoor de symmetrie van de tuin aanzienlijke schade leed. De Jezuïeten plaatsten verschillende beelden in de tuin met een christelijke betekenis. Zo stond er tegenover de balustrade in de Mariavijver een Christusbeeld. De tuin fungeerde als plek om te studeren, te wandelen en te debatteren. Op de plek van de huidige dierenweide hadden de leerlingen hun moestuintjes.

In 1928 verplaatsten de Jezuieten de school naar Den Haag, daarna naar Noordwijkerhout (in 1941) en Gulpen (in 1943). In 1946 streek het internaat neer op De Breul, een landgoed tussen Zeist en Driebergen. In 1953 kwam er een nieuw gebouw, dat heden als zijgebouw dient. Op dit gebouw staan nog steeds de Latijnse woorden Mutua Fides (wederzijds vertrouwen), woorden die we ook nog steeds zien vanaf het centrale middenpad op de gevel aan de achterzijde van het Heerenhuis..