Ludza, la ciutat més antiga de Letònia, va ser esmentada per primera vegada a Rússia en cròniques que daten de 1173 o 1177. La primera menció del castell de Ludza data de 1433 quan l'Orde Livonià va construir una fortalesa més gran i de pedra per reemplaçar una anterior de fusta construïda pels antics latgalians.[1] Després de la dissolució de l'Orde Livonià el 1561, Ludza es va incorporar a la Confederació de Polònia i Lituània. Després del repartiment de Polònia el 1772 va ser adquirida per l'Imperi Rus. Va rebre el dret de ciutat el 1777 per part de Caterina II de Rússia.