El castell està situat a esquena de la població de Millars, dominant la mateixa des d'una posició elevada. Devia ser d'una posició de guaita per millorar la capacitat de control de l'anomenat Castell de Baix o Castellet, que està a molta menor altura.[2] A inicis del segle xxi, queden poques restes del castell, d'entre els quals destaca part del que va haver de ser l'única torre d'envergadura d'aquest, així com un tram de llenç de muralla en la seva zona més abrupta, que recau a la població.[2]
