Fins a mitjans del segle XIX, el consistori municipal no va tenir cap espai concret on reunir-se. Això es dedueix de la decisió presa pel consitori el 9 de desembre de 1854 sobre la possibilitat de llogar una habitació de la casa propietat d'Isidre Torres, situada en el centre del poble. EN aquest mateix document s'especificava que l'Ajuntament no tenia ni casa pròpia ni llogada per celebrar sessions i judicis, amb taula i arxiu per a la secretaria del pública, i per això acceptaven l'oferta de lloguer exigit per Isidre Torres: 160 rals a l'any.
Encara van haver de passar quasibé cinquanta anys (fins al 1900) perquè el municipi disposés d'un edifici propi, la primera Casa Consistorial de Castellar. Estava situat en el carrer Major i la primera referència de la seva existència és del 1878, quan era el Casino-Café del Porvenir. Testimoni de l'existència d'aquesta entitat són les lletres del rètol Cafè del Porvenir trobades durant les tasques de restauració de la façana el 1901.
Cap a finals del segle XIX, el local era conegut com el Café de Cal Viñas, propietat o regentat per un germà del forner Isidre Viñas Cusidor. En aquest cafè, possiblement l'únic que existia en el poble a part del cafè de Cal Sardanet, situat en el mateix carrer Major amb el carrer de Colom (actual edifici de l'Ateneu), s'hi reunia una colla de caçadors afeccionats al cant, els mateixos que pocs anys després van constituir la Soceitat Coral La Llebre. A principis de segle Emília Carles Tolrà va adquirir l'edifici per cedir-lo al consistori per a ús públic (acte procol·laritzat davant del notari Juan Seman Roig el 28 de juliol de 1900), tal com ho recorda la inscripció de la placa de marbre col·locada sobre les escales d'accés al primer pis, i va costejar les despeses de restauració. El paleta Emili Puig i el fuster Josep Girbau es van encarregar de les obres d'adequació de l'edifici, i l'arquitecte Emili Sala Cortès, de la restauració de la façana. L'edifici va ser beneït el 15 de juny de 1902 pel cardenal bisbe de la Diòcesi de Barcelona, el Rnd. Salvador Casañas Pagès, però les obres van continuar fins al 1917-1918, a causa de diversos impediments.
Des de la seva inauguració fins al setembre de 1994, les oficines administratives municipals van estar situades en aquest edifici, excepte el període corresponent a la Guerra Civil, ja que a principis de desembre de 1936 el Comitè Antifeixista va traslladar el Consell Municipal i el Jutjat de Pau a la casa-torre de can Tolrà (Palau Tolrà), després d'haver estat incautada, i en el carrer Major només van quedar dues conselleries.
Des de després de la guerra es van fer diverses remodelacions interiors per tal d'aprofitar el màxim d'espai disponible. Amb l'arribada de la democràcia, es van descentralitzar algunes regidories a causa de la necessitat d'ampliar algunes de les dependències i millorar el servei i l'atenció al públic. Aquestes regidories estaven distribuïdes dins el poble en diferents edificis de propietat municipal.
Durant la Festa Major de 1966 es van inaugurar tres pintures murals (pintades sobre tela) que decoren l'interior de la Sala de Plens, corresponent a l'antiga sala de ball del Café. Els autors són tres pintors castellarencs (Raimon Roca, Alfons Gubern i Lluís Valls Areny) i tracten temes propis de la realitat del poble.
Fins a l'octubre de 1988 en la planta baixa de l'edifici hi va haver el Jutjat de Pau, tot i ser un servei no depenent del municipi.
En el Ple del 28 de juny de 1994, l'Ajuntament va aprovar per majoria absoluta el trasllat de la seu de la Casa de la Vila al Palau Tolrà, residència de la família Tolrà, situada al carrer del General Boadella, 1. El trasllat de les dependències municipals es va fer el setembre de 1994 i es van inaugurar el dia 9 de setembre, en el marc de la Festa Major. L'antiga Casa de la Vila del carrer Major va ser remodelada com a Casal d'Entitats.