Se han descubierto yacimientos pertenecientes a los periodos Neolítico (5.000 a.C), calcolítico, edad del Bronce, épocas ibérica y romana. Estos asentamientos sirvieron de base para el establecimiento de alquerías musulmanas en diferentes partidas del término municipal.
El origen de Callosa (cuyo significado probable es “tierra dura, seca” en latín) es una antigua alquería musulmana que, tras la reconquista cristiana hecha por el rey Jaime I de Aragón en el s. XIII, fue adquirida en propiedad por el Almirante Bernat de Sarrià en 1290, durante el reinado de Alfonso I de Valencia y III de Aragón, convirtiéndose así en su primer señor feudal. De ahí que a partir de entonces la ciudad pasara a denominarse Callosa d’en Sarrià (“Callosa del Señor Sarrià”, en valenciano) y se convirtiera en el centro del señorío, que llegó a abarcar gran parte de la actual comarca de la Marina Baja.
Desde entonces fue adquirida por diferentes familias nobles, entre las cuales podríamos destacar las de Sarrià (1290-1335), Corona de Aragón (1335-1445), Bou (1445-1560), Moncada (1560-1767) y el Conde de Orgaz (1767). En la actualidad, el título nobiliario del pueblo pertenece a la familia Crespí de Valldaura.
La ciudad conserva en su casco antiguo parte de su estructura urbana medieval, delimitada por la línea de murallas de la Callosa intramuros, que se puede cruzar todavía hoy por una de sus puertas originales: el Portal. A lo largo de esta línea se tiene la imagen más tradicional de Callosa con los restos de las murallas (s. XIV) y del Castillo (± 1395 – s. XVIII), declarados Bien de Interés Cultural desde el año 2005.
