A la muntanya de Sant Julià de Ramis, construïda a sobre de l’antic poble ibèric de Kerunta, es troba una fortalesa d’època tardoromana coneguda com a Castellum Fractum.
Després de l’ocupació de gran part de la península Ibèrica per part de l’exèrcit romà al segle II aC, ‘Kerunta’ va quedar sota el domini de la República. Els romans utilitzaven l’estratègia coneguda com a ‘divide et impera’. Aquesta consistia a oprimir alguns dels pobles conquerits, mentre que a d’altres se’ls afavoria i se’ls hi concedien privilegis. Aquest últim és el cas de ‘Kerunta’ i això es pot explicar gràcies a la posició estratègica que ocupava el poblat. Just per sota passava la que és coneguda com a Via Augusta, que voreja el Mediterrani i va des dels Pirineus fins a Cadis. Així doncs, la posició estratègica de Kerunta servia per controlar el tram que a través del Congost del Ter comunicava el pla de Girona i l’Empordà. De fet, des del cim del poblat s’arriba a veure el massís del Montgrí.
A poc a poc, l’Imperi Romà va perdent poder i es va desmembrant. Les incursions bàrbares del nord d’Europa porten al fet que l’any 350 dC es construís una fortificació a sobre del poblat de Kerunta, que feia quatre segles que era abandonat. D’aquesta manera, buscaven poder controlar una de les principals vies de comunicació ibèriques.
Amb la caiguda de l’Imperi Romà, els visigots reformen l’antiga fortalesa l’any 500. Les invasions àrabs del segle VIII arriben a Girona entre els anys 715 i 717 i provoquen l’abandonament del castell. Tot i la invasió per part dels francs l’any 785, no es recupera l’edifici i queda definitivament abandonat. És llavors quan rep el nom pel qual se’l coneix avui dia: Castellum Fractum (castell trencat o en ruïnes).