A Flagogna un tempo vi erano due castelli. Il più vecchio detto Castello Raimondo (o Castelvecchio) era situato su un altura poco distante dal torrente Arzino (in località Plan de la Fontana). Si trattava essenzialmente di una torre di avvistamento posta a controllo dei traffici commerciali. Nel 1348 fu però interamente distrutto da un terremoto. Le pietre andarono così a rinforzare il castello detto di San Giovanni costruito nel corso del XIII secolo.

Del castello più vecchio non rimane traccia, al contrario del castello di San Giovanni è ancora visibile il perimetro delle mura, il portale d'ingresso e i resti della chiesa dedicata al santo. Si accede per mezzo di una pista forestale che parte dall'abitato di Flagogna e sale in cima al colle, dal quale si domina la valle del Tagliamento.