박정희 대통령은 1.21사건의 충격으로 대대적인 군조직 개편에도 손을 댔다. 박대통령은 이듬해 5월 군조직 수술을 위해 '군특명검열단'(특검단)의 설치를 지시했다. 각군에 대해 대통령의 특명사항을 점검하고 수시로 보고하는 대통령의 임시 직속기구였다. 그러나 이는 대외적인 명분에 불과했다. 특검단의 본래 목적은 군조직을 개편하기 위한 것이었다. 특검단은 과거 일본이 방대한 군조직을 검열하기 위해 천황의 이름으로 원로급 장성들이 중심이 돼 각군에 출동검열하는 이른바 '특명검열사'를 두었 던 사례에서 착안된 것이었다. 원래 박대통령은 1.21사건이 일어나자 임충식 국방부장관한테 특검단 신설을 지시했으나 사정이 여의치 않아 미루어왔다. 그러나 69년 5월 박대통령이 재차 지시하는 바람에 가속화됐다. 이번에는 김계원 육군참모총장이 총대를 멨다. 김총장은 곧 특검단 구성초안 을 만들고 결재받기 위해 청와대에 들어갔다. 박대통령이 보고서를 쭉 훑어봤다. 육.해.공군과 해병대 등 각군에서 장성 한명씩 차출하고 그밑에 유능한 장교 몇명을 두는 식이었다. 또 국방관리의 제도개선을 위해 서울대 연세대 서강대 고려대 등에서 저명한 학자들을 차출 토록 하는 것이 골자였다. 구성안을 천천히 들여다보던 박대통령은 '특검단장 후보'부분에 이르자 시선이 멈췄다. 김총장은 특검단장에 노재현장군(당시 군단장)을 올려놨던 것이다. 박대통령은 특유의 결재습관인 밑줄을 '쫙' 그으며 "이봐요 ,김총장 노재현 장군은 안돼"라고 말했다. 당황한 김총장은 "그럼 누가 했으면 좋을까요"하고 건의했다. 박대통령은 노재현장군의 이름을 사인펜으로 'X'표를 하면서 그 옆에 '김희덕'이라고 적었다. 박대통령은 또 "김총장,내가 보기엔 김희덕장군이 가장 적임자인 것 같소"라고 말했다. 그러면서 박대통령은 "김장군한테 즉시 연락해서 특검단을 맡아 고생 좀 해달라고 하시오"라고 덧붙였다. 결국 김장군은 박대통령의 결심으로 육사교장 재임 1년9개월만에 심흥선장군한테 후임자리를 넘겨주고 69년 5월3일 특 검단장에 발탁됐다. 김장군은 특검단장 보임신고때 박대통령한테 몇가지 특명을 받았다. "특검단의 취지와 목적은 군조직을 개편하는 것이오. 그러나 이것은 극비요. 또 해병대가 많이 비대해진 것 같소. 축소시키는 문제도 비밀리에 검토해 보시오" 이 대화내용중 매우 중요한 대목이 있다. 바로 해병대 조직과 관련된 언급이었다. 그후 해병대사령부는 해체되었다. 이와 관련된 정확한 내용은 아직 알려진바 없다. 다만 특검단에서 해체작업을 주도했다는 정도만 알려졌으나 언제 누가 왜 그렇게 했는지에 대해서는 정확히 공개되지 않았다. 김장군과 박대통령의 대화에서 볼 수 있듯이 해병대사령부 해체는 박대통령의 이같은 의지에서 비롯됐다. 이와관련, 김장군은 "당시 대화중에 박대통령은 '해병 1개 사단에 장성이 9명이나 있는 것은 문제가 있지 않느냐'는 말을 했었다"고 밝혔다. 김장군은 "박대통령의 해병대사령부 해체지침을 받고는 최종보고서를 작성 할 때 해병대와 공수부대를 통합, '전략군사령부'의 신설계획을 세웠다"면서 "자신이 전역후인 73년 10월 전략군사령부 계획은 무산되고 해병대사령부만 해체되고 말았다"고 당시의 상황을 회고했다. 김장군은 또 자신이 아직까지 일부 해병용사들한테 원성을 받는 것도 바로 이때문이라고 솔직하게 털어놨다. 어쨌든 김장군은 특검단장 명령을 받고 우선 인재 차출에 들어갔다.그러나 순조롭지가 않았다. 각군 본부에서 우수한 인재를 요청했으나 선뜻 내주려고 하지 않았다. 할 수 없이 김장군은 국방대학원에 가서 졸업을 앞둔 육군 중령 9명을 성적순으로 무조건 가려냈다. 김장군은 인원이 구성되자 특검단 조직을 이원화했다. 대학교수들에게는 국방관리제도의 개선안을, 그리고 현역장교들에게는 국방기구 개편작업을 연구 토록 했다. 김장군의 회고. "특검단 발족목적은 국방조직을 효율적인 통합군체제로 만드는 것이었다. 지휘통솔이 용이한 통합전력구축과 경제적 관리체제, 그리고 북한의 대남전략전술에 새롭게 대응한다는 원칙에서 출발했다. 당시 특검단 활동은 박대통령의 최대 관심사였다." 결국 1973년 10월, 해병대 사령부는 해체되고 해병대사령관이라는 직책은 사라지고 해군 제2참모차장이 되었으며, 해병대는 해군의 한 병과가 되었다 (이 때부터 재창설시까지 '해병대'가 아닌 '해군해병'이라고 불리게 되었다).