ll Castello Caldoresco è sito su di un promontorio che domina la costa.

Consta di bastioni agli angoli. La parte originaria risale al XIV-XV secolo con trasformazioni attuate nel 1439 da Giacomo Caldora forse nella parte esterna. Nel XV secolo il precedente palazzo venne trasformato in castello dai d'Avalos. Altre trasformazioni sono state fatte da Cesare Michelangelo d'Avalos nel XVIII secolo.

Al primo impatto, può sembrare un incrociatore; infatti, se si osserva lo spigolo di uno dei bastioni del Castello, si nota che non è meno affilato della prua di una nave.

Il castello, per la sua particolare struttura, è quanto di più interessante si possa annoverare nelle costruzioni militari e, per concorde parere di esperti, segna delle innovazioni nelle opere di difesa.

Struttura massiccia fatta erigere dal capitano di ventura Giacomo Caldora, l'allora signore del Vasto, su progetto dell'architetto senese Mariano Di Jacopo, detto il Tàccola.
La signoria di Giacomo Caldora e quella del figlio Antonio precedettero il marchesato dei D'Avalos.
Il Castello presentava in origine tre bastioni pentagonali e uno circolare in corrispondenza della scomparsa Porta Castello, più tre torrioni interni, di cui due, ben visibili, ancora intatti.

Il Castello ebbe varie vicende, poichè ad esso sono legati i fatti d'arme più importanti avvenuti nel Vasto. Basta ricordare il memorabile assedio di tre mesi sostenuto nel 1464 contro le forze regie di Ferdinando D'Aragona. Da allora il manufatto ha subìto parecchie manomissioni, alcune dettate da necessità militari, altre per adattarlo a tribunale e a carcere dal 1605 al 1697, infine per mutarlo, purtroppo, in civile abitazione.

Soltanto ora, attraverso una paziente opera di restauro, sta tornando alla primitiva imponenza. Infatti il lato nord è interamente discoverto, malgrado che alla sommità della cortina e dei bastioni non appaiano più né l'antica merlatura, nè i pezzi di artiglieria (il Castello era munito di 66 pezzi con cui poteva fulminare chiunque osasse avvicinarsi a questa terra), di cui gli ultimi sette si trovano nel cortile del palazzo marchesale. Sono invece visibili le feritorie per le colubrine e, in basso, le cannoniere.

Notevoli nella compattezza del mastio, il portale e il lanternino ottagonale della cupoletta.

Non è possibile visitare il Castello internamente essendo di proprietà privata.