Il centro urbano, raccolto attorno al castello ducale e alla chiesa parrocchiale, è arroccato su un colle alla destra del fiume Aventino, ai piedi del massiccio della Majella. Sorse in epoca altomedievale, probabilmente fondata dagli abitanti dell'insediamento di età romana  i cui resti sono ancora visibili in località Piano Laroma.

Alcuni toponimi  e rinvenimenti archeologici  testimoniano che nel suo territorio si insediarono i Longobardi. Fu feudo di varie famiglie: degli Orsini, conti di Manoppello, dei Colonna, dei Carafa, dei Crispano, dei Filomarino, ed infine, dei d'Aquino, principi di Caramanico.

Dal luglio 1940 al settembre 1943, Casoli fu sede di un campo di internamento, che aveva una capienza di 80-90 persone.

Quello di Casoli fu uno dei tanti campi di internamento istituiti dal regime fascista in seguito all'entrata in guerra dell'Italia, il 10 giugno 1940, al fianco dei tedeschi, per tenervi stranieri e antifascisti. Gravemente danneggiata durante la II Guerra Mondiale, dopo l'armistizio dell'8 settembre 1943 (Casoli era sul fronte della linea Gustav che tagliava trasversalmente l'Abruzzo ed il Lazio, ed in zona, correva lungo il vicino fiume Sangro), vi fu attivo il gruppo partigiano della Brigata Majella, che fu fondato proprio a Casoli.