El Castell de Sant Antoni va ser construït en el segle xvii al port de Fornells, i gràcies a aquesta construcció va néixer el nucli de població. Avui dia només hi queden unes quantes runes, ja que fou desmantellat pels espanyols després de l'última dominació anglesa, igual que el Castell de Sant Felip. No gaire lluny s'hi troba la Torre de Fornells, torre defensiva que tenia per missió protegir el castell dels atacs enemics.
