Le origini del castello, situato nel borgo medievale di Sermoneta, risalgono al XIII secolo, quando ne erano proprietari i baroni Annibaldi. La rocca già allora era caratterizzata dal Maschio, una torre alta 42 metri, e da una contro torre, detta Maschietto.
