Un solo accesso naturale portava al centro abitato. Era il punto più debole del sistema difensivo e per questo, vi fu eretta a protezione la mole della rocca. Originariamente fu di proprietà dei Prefetti di Vico. Successivamente fu dei Conti degli Anguillara (feudatari di R.) e dei Della Rovere, il cui stemma marmoreo (chiavi decussate e pianta della rovere) campeggia sull'alto delle pareti esterne. Dal 1526 al 1649 fu appannaggio di Casa Farnese che fece della città la capitale di un suo stato incluso poi nel Ducato di Castro e Ronciglione. Il castello risalente all'Alto Medioevo subì alcune sostanziali ristrutturazioni, l'ultima delle quali per mano dell'architetto fiorentino Giovanni Dolci.Su commissione di papa Sisto IV Della Rovere, l'architetto aggiunse tra il 1475 e il 1480 il mastio di forma circolare e le quattro torri d'angolo da cui è derivato certamente l'appellativo popolare " i Torrioni " . I mutamenti più importanti a livello strutturale avvennero dopo la cacciata degli Anguillara. Vi soggiornarono eminenti personalità tra le quali è doveroso ricordare papa Paolo III Farnese (i frontoni dei camini infatti, portano incisi il suo nome), i Duchi Pierluigi e Ottavio Farnese, i cardinali Alessandro e Odoardo Farnese. Ritornato proprietà della Santa Sede dopo l'infelice guerra di Castro del 1649, il castello fu ceduto nel 1756 in enfiteusi al genovese Girolamo Marè per uno scudo l'anno. Il nuovo proprietario si impegnò ad assicurare ed a migliorare lo stato di conservazione del maniero. Ebbe inizio invece il degrado dell'insigne monumento. Il Marè lo smantellò delle strutture di marmo di cui era riccamente dotato ( sembra che una balconata vi corresse all'interno) e lo ridusse ad una " fabbrica di pastume".
