混凝土可以追溯到古老的年代，其所用的胶凝材料为粘土、石灰、石膏、火山灰等。自19世纪20年代出现了波特兰水泥后，由于用它配制成的混凝土具有工程所需要的强度和耐久性，而且原料易得，造价较低，特别是能耗较低，因而用途极为广泛（见无机胶凝材料）。
20世纪初，有人发表了水灰比等学说，初步奠定了混凝土强度的理论基础。以后，相继出现了轻集料混凝土、加气混凝土及其他混凝土，各种混凝土外加剂也开始使用。60年代以来，广泛应用减水剂，并出现了高效减水剂和相应的流态混凝土；高分子材料进入混凝土材料领域，出现了聚合物混凝土；多种纤维被用于分散配筋的纤维混凝土。现代测试技术也越来越多地应用于混凝土材料科学的研究。