Ramsteijn begon met voetballen in zijn geboorteplaats bij DWO Zoetermeer, waarna hij werd opgenomen in de jeugdopleiding van Feyenoord. Na een succesvolle verhuurperiode bij Excelsior Rotterdam startte Ramsteijn in 2011 de eerste zeven competitieduels in de basiself van Feyenoord, waarna een gescheurde kruisband hem de rest van het seizoen aan de kant hield.

Na nieuwe tijdelijke verblijven bij VVV Venlo en Sparta Rotterdam maakte Ramsteijn in 2014 de overstap naar CS Maritímo. Na de club uit de Portugese Primeira Liga koos de verdediger een seizoen later voor Almere City. Hierna ging Ramsteijn toch weer voor een avontuur in het buitenland, door een contract te tekenen bij de Noorse club Aalesunds FK.

In 2020 begon Ramsteijn aan zijn avontuur in Werkendam, waar hij uitgroeide tot aanvoerder. Tot dusver speelde de verdediger 53 wedstrijden voor Kozakken Boys, waarin hij tweemaal scoorde en drie assists gaf.

Kozakken Boys wil Kaj Ramsteijn bedanken voor zijn verdiensten voor de club en wenst hem veel succes toe in de toekomst!