Kalaja e Gjirokastrës si histori e lidhur me qytetin e Gjirokastrës, përmendet për herë të parë si qytet dhe kështjellë në vitin 1336. Në këto vite, ajo ishte qendra e feudalëve shqiptarë Zenevisë. Më vonë, gjatë sundimit të Gjin Bue Shpatës, ajo u përfshi në Despotatin e Epirit.