Los restos de la fortificación se encuentran situados a unos dos kilómetros del núcleo urbano de Bullas, en una de las elevaciones que presenta la llamada Peña Rubia. Allí, en lo alto de un promontorio delimitado por cortados de considerable altura en sus lados norte, sur y este, se sitúa este yacimiento, que tiene unas dimensiones aproximadas de unos 150 m. de longitud por 115 m. de anchura. A los pies del cerro discurre el río Mula.
La construcción se encuentra por tanto enclavada en un lugar estratégicamente situado, pues enlaza visualmente con Bullas, Cehegín y Caravaca, y controla perfectamente valiosos acuíferos --como el río Mula-- así como la vega que se extiende a sus pies.
El acceso se efectúa por carretera desde Bullas hasta los pies del monte del Castellar, donde comienza un sendero que conduce a las ruinas del castillo.
Al parecer, los orígenes de esta construcción se remontan a los siglos XI o XII, y es posible que su actividad como custodia y vigía del territorio se extendiese durante toda la Edad Media. Con la incorporación del Reino de Murcia a la corona de Castilla, el distrito territorial de Bullas, del que el Castellar formaba parte, pasó a depender de la Orden del Temple, y posteriormente de la de Santiago.
Desgraciadamente, la extrema escasez de fuentes documentales sobre el edificio y el elevado grado de ruina que presenta hoy la fortificación, nos impiden conocer más datos sobre el castillo, y que los que tenemos sean más precisos. No obstante, el Castellar de Bullas está declarado Bien de Interés Cultural por la Disposición Adicional Segunda de la Ley 16/1985, de 25 de junio del Patrimonio Histórico Español.