美國建國之初，軍事機構只設有陸軍部，後來陸續成立了海軍部和空軍部。 1947年，美國國會通過《國家安全法》，對美國軍事領導機構進行了大的改組，成立“國家軍事機構”，設置國防部長一職。1949年，美國國會通過《國家安全法》修正案，“國家軍事機構”更名為國防部，增設參謀長聯席會議主席職位，陸、海、空三軍種部降為隸屬國防部的一級機構。1953年，國防部規定參謀長聯席會議秉承國防部長命令，發出戰略和作戰行動命令。從1959年1月起，美軍在太平洋和大西洋各地區司令部所屬各軍種，也統一改由國防部長通過參謀長聯席會議進行領導。
參謀長聯席會議主席由總統從陸、海、空三軍高級將領中任命，任期兩年，除戰時外，只能連任一次。參謀長聯席會議的正式成員還有參謀長聯席會議副主席、陸軍參謀長、海軍作戰部長、海軍陸戰隊司令和空軍參謀長。
參謀長聯席會議下設聯合參謀部，主要職責是處理參謀長聯席會議的日常工作，特別是擬制戰略計劃和統一全軍的戰略行動。聯合參謀部設有正、副主任，其參謀人員由陸、海、空軍和海軍陸戰隊的軍官組成。
參謀長聯席會議主席雖然是美國武裝力量的最高軍事長官，但他只充當總統和國防部長的首席軍事顧問，而不指揮三軍，真正統帥全軍的仍是兼任三軍總司令的美國總統。