Achter het Tolhuis ligt een gebied – inclusief parkeerplaats – dat ook wel het Spijker wordt genoemd. Hoe dat komt? Kasteel ‘t Sant werd vermoedelijk in 1320 gebouwd ongeveer op de plaats waar nu het Tolhuis staat, aan de Sandtlaan. Het was eigendom van de burggraaf, die op kasteel ’t Sant woonde. De landerijen die behoorden tot ’t Sant werden begrensd door de (oude) Rijn, de Vliet en de percelen die behoorden tot de abdij van Rijnsburg en besloegen ook een gedeelte van het huidige Ambacht. Een hoger gelegen gedeelte daarvan, direct achter het kasteel, droeg de naam Spieker. De burggraaf liet zich uitbetalen in graan.
Vanaf de prehistorie tot in de vroege middeleeuwen was een spieker een graansilo, gebouwd van hout en staand op palen. De geoogste korenaren die van het land kwamen werden er droog en veilig voor ongedierte in opgeslagen. In de latere middeleeuwen werden de spiekers met het oog op veiligheid meestal in baksteen uitgevoerd en vaak voorzien van een gracht. Het waren toen vooral torenachtige bouwsels met meerdere verdiepingen.
In 1393, tijdens de Hoekse en Kabeljauwse twisten, gaf Hertog Albrecht van Beieren het bevel om de huizen ’t Sant en Paddenpoel van Filips III van Wassenaer te verwoesten. Dit was een strafmaatregel voor de moord op zijn minnares Aleid van Poelgeest. Kasteel ’t Sant werd ongeveer 7 jaar later herbouwd. Helaas werd het 20 jaar later, in 1420, tijdens een belegering van Leiden weer verwoest. Vanaf die tijd bleef het kasteel tot eind 18e eeuw voortbestaan als ruïne met wat losstaande opstallen.Het grondgebied waar kasteel ’t Sant heeft gestaan is heden ten dage voor een deel niet verstoord door andere bebouwing. Het tolhuis is deels gebouwd met stenen die overbleven na de sloop van de ruïne en staat op de plek waar eens in de middeleeuwen de spieker heeft gestaan. De fundamenten van het kasteel bevinden zich voor een groot deel onder de huidige Sandtlaan.
Na de verwoestingen van ’t Sant was het Spijker in gebruik als akkerland en later als weiland. Het weiland was nog weer later tevens in gebruik als voetbalveld van KRV, de vereniging die vijf jaar na het vertrek van het gymnasium uit katwijk aan den Rijn werd opgericht. Dat gebeurde door een aantal jongens uit Katwijk aan den Rijn onder leiding van de pastoor en enkele andere notabelen. De club bespeelde twee velden op het weiland dat nu het Spijker is. Er was een houten keet die als kleedkamer dienst deed. Voordat er gespeeld kon worden moesten de velden schoongemaakt worden, want doordeweeks liepen er koeien of schapen op te grazen. Nadat de voetbalclub in de jaren zestig was vertrokken naar de Mient Kooltuin, is het terrein volgeplant met bomen. Er staat nog een metalen paal die herinnert aan de tijd dat er op wedstrijddagen een net gespannen werd om te voorkomen dat de bal in het Additioneel Kanaal zou belanden. KRV (Katwijk Rijn Vogels) fuseerde in 2004 met MVKV (Met Vereende Krachten Voorwaarts) tot FC Rijnvogels.