La storia del Castello Dentice di Frasso coincide con la storia della Città di San Vito dei Normanni.
La costruzione della Torre, nucleo principale del Castello, viene attribuita a Boemondo il Normanno (morto nel 1111 e sepolto a Bitonto), quando era in guerra con il fratello Ruggero per il dominio della Puglia e della Calabria.
La torre presenta sulla sommità merlature, feritoie e caditoie, mentre internamente si sviluppa su tre piani, di cui il pian terreno è costituito dalla cappella di famiglia (prima chiesa parrocchiale di San Vito), il primo piano da un salone dove anticamente i signori tenevano le vettovaglie ed un ultimo piano che talvolta veniva utilizzato come carcere. Sul portale d’ingresso della cappella si può ammirare scolpito lo stemma araldico (un dentice) con il motto della famiglia Dentice “NOLI ME TANGERE”.
Intorno alla Torre nacque contemporaneamente il "borgo antico" di San Vito, precedentemente detto degli Schiavoni a causa di insediamenti di popolazioni slave. La zona era ricca di selve e di fauna ed è verosimile che al principio la torre sia stata una residenza di caccia.
I primi feudatari furono i Sambiasi fino al 1400 circa. A loro succedettero i Del Balzo-Orsini. Quindi, per vendite successive la Torre pervenne a Federico I° D'Aragona, Principe di Altamura e di San Vito, al quale nel 1500 subentrarono prima i Palagano e nel 1600 il Principe di Avetrana Giovanni Antonio Albrizio. A metà del Seicento il feudo divenne di proprietà del Barone Ottavio Serra, al quale subentrò Giuseppe Belprato Marchese e, successivamente a seguito di matrimonio con Maria Francesca Carracciolo, agli attuali proprietari Principi Dentice di Frasso.
Il complesso, anticamente circondato da un fossato, ha subito continui restauri sino alla fine del secolo scorso eseguiti dall’architetto Gaetano Marchietzek di Lecce su mandato dell’allora proprietario Principe Luigi Dentice di Frasso. L’ingresso principale del castello è costituito da un arco a sesto acuto risalente all’ultimo restauro (1900).