服务器机柜由框架和盖板（门）组成，一般具有长方体的外形，落地放置。它为电子设备正常工作提供相适应的环境和防护。这是仅次于系统级的一级组装。不具备封闭结构的机柜称为机架。

早期所用的服务器机柜大都是用铸件或角钢经螺钉、铆钉连接或焊接成机柜框架，再加由薄钢板制成的盖板（门）而成。这种机柜的体积大、笨重、外形简陋，已被淘汰。随着晶体管、集成电路的使用和各种元件、器件的超小型化，机柜的结构也向小型化、积木化方向发展。