Il semblerait que la ville de Matara ait été construite par les Portugais en 1595 tandis que le Fort proprement dit aurait été édifié les Hollandais en 1645. Le Fort de Matara est en granit et en calcaire. L’église Hollandaise « old Dutch Church » le palais de justice, la maison d’arrêt et le bâtiment de la Police datent de l’occupation britannique.