El castell Inuyama és probablement un dels castells més antics del Japó que compten amb la construcció original, data del 1440. D'acord amb l'Engishiki (un llibre del període Heian), el temple Harigane va ser mogut del seu lloc per poder col·locar el castell. La fortalesa va patir diverses addicions durant el temps i les torres actuals van ser construïdes el 1537 per Oda Nobuyasu, oncle d'Oda Nobunaga.
El castell va exercir com el centre de poder de la família Naruse, servents del clan Matsudaira. El castell Inuyama és l'únic al Japó que va ser de propietat privada i té l'estatus de Tresor Nacional. El govern va expropiar el castell d'acord amb les reformes de la restauració Meiji. El 1891 el castell va ser malmès a causa d'un terratrèmol i va ser tornat a propietat de la família Naruse el 1895 amb la condició que el reparessin i li donessin manteniment.
