Die Geschichte des Schlosses Dentice di Frasso und die des Dorfes San Vito dei Normanni sind eng miteinander verbunden. Der älteste Teil ist der Turm. Er wurde unter „Boemondo der Normanne“ gebaut. Er starb im Jahre 1111 und ist in der Stadt Bitonto begraben. Er herrschte in der Gegend und kämpfte gegen seinen Bruder Ruggero um die Herrschaft in Apulien und Kalabrien zu behalten.
Aus dem Turm wurde nicht nur mit riesigen steinernen Kugeln geschossen aber auch siedendes Oliven Öl wurde auf den Feind gegossen. Deswegen hat der Turm viele Schiesscharten.
Am Erdgeschosse befindet sich die Famielienkapelle. Sie war die erste Pfarrkirche des Dorfes. Der Erste Stock diente als Vorratskammer und der zweite als Gefängnis
Über dem Eingang der Kapelle befindet sich der Wappen der Familie mit dem Motto „NOLI ME TANGERE“.
In späteren Zeiten bildete sich das Dorf um das Schloss herum um Schutz zu bekommen.
Die ersten Lehnsherren waren die Sambiase. Im Jahre 1400 folgten die Del Balzo Orsini, ihnen folgte Federico I° von Aragona, Fűrst von Altamura und San Vito, und nach ihm die Familie Palagano und im 1600 der Fűrst von Avetrana, Giovanni Antonio Albrizio. Ihm folgte der Baron Ottavio Serra und nach ihm Giuseppe Belprato Marchese. Demnhaechst Maria Francesca Caracciolo die den Fürsten Dentice di Frasso heiratete.