No se conoce la fecha de Construcción de esta ermita, aunque sí se puede asegurar que es posterior al año 1576. Su advocación es al Cristo del Coloquio, y su Hermandad data del año 1749.
En esta ermita siempre ha estado y venerado la imagen de la Virgen de los Dolores desde que en 1770 se fundara la “Escuela de María Santísima de los Dolores y Congregación de sus Siervos, erigida en esta Villa de Villacañas en la ermita del Santísimo Cristo del Coloquio, extramuros de ella", según el libro de Reglas y Constituciones.
Su portada, de piedra almohadillada, y el atrio se hicieron en el año 1887, y encima de su tejadillo, en el paramento de la muralla, existen curiosas piedras labradas con signos o escudos que por su rareza debieran estudiarse en su heráldica. La de arriba es una mano que sostiene un globo terráqueo y sobre él una cruz entre llamas. Esta piedra puede hacer referencia a la heráldica de los Álvarez de Toledo, cuyo lema fue “TU IN ET EGO PRO EA” (Tú en la cruz, para salvar al mundo y yo luchando por ella)
Otras dos de estas piedras labradas parecen figuras vegetales o un indalo almeriense. En el centro hay una capilla barroca con el bajorrelieve de una vieira y en ella una Mater Dolorosa esculpida y a sus pies reza: “Malo de Medina". Esta Dolorosa fue encontrada en las ruinas de un molino de viento propiedad de don Francisco Malo de Medina, presbítero villacañero promotor de la Hermandad del Coloquio.
La sacristía también es posterior (1819), y la reja de su ventana es una curiosa obra de forja: sus barrotes encajan machiembrados cada uno de ellos por su mitad.
Antiguamente, alrededor de esta ermita, el día de San Antón (17 de Enero), "daban vuelta" las caballerías de labor y renta, enjaezadas, después de la ofrenda de la cebada y otros productos de campo. Tradición que se mantiene en la actualidad y donde son bendecidos los animales traídos por sus propietarios.
La Iglesia, en su interior, es una sola nave con planta de cruz latina, con pilastras en tres tramos y recorrida por una imposta. Cubierta de bóveda de cañón recorrida por arcos fajones de medio punto y lunetos con ventanas termales. El crucero está cubierto por cúpula de media naranja con pequeña linterna con pechinas sobre arcos torales de medio punto, estando dividida en ocho tramos.
Tanto los brazos del crucero como el ábside son muy poco profundos y están cubiertos por bóvedas de lunetos. Exteriormente destaca el cimborrio con los brazos del crucero y el ábside. La fábrica general es de mampostería en piedra, con esquinas de paramentos y recercados de huecos en sillares.
