古时候司马是专门负责管马匹的官，是非常重要的军职，马在中国古代的战争中占据重要地位，春秋以前的职业化军队主要由贵族出身的子弟组成，而古代的战车是由马拉的，所以马的地位极其重要。

殷商时代始置，司马位次三公，与六卿相当，与司徒、司空、司士、司寇并称五官，掌军政和军赋，春秋、战国沿置。