军衔产生于15—16世纪资本主义萌芽和职业军队建立的时期，军衔一词最早出现于1578年的法文当中，意为“等级的台阶，不同头衔的阶梯或职衔的等级”。
我国古代从春秋时期就陆续出现了元帅、将军、校尉的称号，这比西欧国家早了十几个世纪。中国古代军队的武官阶品体制，与西欧军衔体制职能一致，但形式不同，各自独立，两者没有承袭关系。1894年，清朝政府决定依照西欧国家军队编练新军。到1904年建立了新军的阶位、品级体制，从此进入了采用军官衔级新制时期。
中国人民解放军从1955实行军衔制，1966年被取消。六届全国人大二次会议通过的新兵役法规定，恢复实行军衔制。1988年7月1日，七届人大常委会第二次会议批准通过了《中国人民解放军军官军衔条例》，中断了23年之后，我军又开始实行新的军衔制度。
现在，世界上绝大多数国家的军队都实行军衔制。各国对军衔等级的设置，大都采用西欧式军衔体制。