La actual plaza del Castillo se encuentra sobre la antigua ubicación de la primera fortaleza amurallada medieval de Cheste en el punto más alto, a la que se accedía a través de una puerta fortificada en la actual c/ Pelayo.
Como bien indica su nombre, en este lugar estuvo ubicado el Castillo del señor cristiano de Cheste a partir de la segunda mitad del s.XIV. Este castillo, residencia de los señores mantendría sus rasgos góticos hasta su destrucción.
Los actuales edificios de los números X y XX están construidos sobre los cimientos de las residencias señoriales medievales de los que quedan algunos vestigios en sus sótanos, así como la actual Casa Abadía del nº X, que se situó sobre los restos de la antigua Mezquita.