A documentação existente é pouco clara quanto à origem de Casa Branca. Um documento de Manuel Severim de Faria (1582-1655) refere que os terrenos onde assenta hoje a freguesia de Casa Branca pertenciam ao Conde de Sabugal, D. Duarte de Castelo Branco. Este possuía, entre outras propriedades, uma herdade junto ao Concelho de Avis, ao norte do Lameirão.
Em virtude da pobreza desses terrenos, D. Duarte de Castelo Branco auferia poucos rendimentos da herdade, o que resultou na decadência da mesma. Por conseguinte, resolveu D. Duarte de Castelo Branco dividir esse vasto morgado em glebas para aforamento a particulares. Os foreiros tinham como obrigação «o pagamento de um certo foro anual e os quartos». Conseguiu, assim, o Conde de Sabugal «uma povoação de alguns cem visinhos que lhe rende hoje o dôbro que a herdade lhe rendia (…)», justificando assim a divisão territorial por ele efetuada [M. S. Faria citado por Lavaredas. Brados do Alentejo, 1936]. Ao longo do tempo, foram os descendentes alienando todos os terrenos em volta, onde se construíram propriedades urbanas.
Em relação à formação e origem do topónimo «Casa Branca», fala-se que este deriva de uma casa isolada, construída para guardar os utensílios de lavoura de uma quinta aí existente, designada Quinta do Zagalo: «a primeira [casa] que ainda existia edificada, datava de 1581 construída, sem dúvida, do calcário muito branco que ali existia e que exposto à acção da luz, se petrificava e assim facilmente se faziam blocos, quando ainda brando, para após o seu endurecimento, se construírem os muros, ficando os prédios, mesmo sem cal muito brancos e quem sabe, talvez daí a origem do nome «Casa Branca», que se estendeu a todo o aglomerado de casas». Por outro lado, a dita casa era uma referência para os caminhantes da época, especialmente para os padres vindos de Évora que, ao avistarem-na, sabiam estar perto do seu destino: Avis. A freguesia sediava-se primitivamente em S. Brás. Após o grande terramoto de 1755, que também sacrificou esta freguesia, foi extinta a sede (S. Brás) que tinha na altura «noventa e seis vinhas dentro da Aldeia e setenta e duas dispersas pelos montes» (Lavaredas. Brados do Alentejo, 1932). Permaneceu, desses tempos, o nome de uma importante feira, a «Feira de S. Brás» ou «Feira das Cenouras», que acontecia todos os anos no início do mês de Fevereiro e onde se realizavam «importantes transações em porcos gordos, gados de todas as espécies, azeites, etc.» [Brados do Alentejo, 1934].
Na década de 30 do século XX, a vida económica da freguesia de Casa Branca estava marcada pela grande produção de trigo e pela exploração dos vastos montados de azinho e sobro, como também dos olivais.