בשנת 1949 מונה לאלוף פיקוד הדרום וביוני 1952 מונה לאלוף פיקוד הצפון.
מדצמבר 1952 כיהן בראש אג"ם.
בשנת 1953 מונה לרמטכ"ל, בתפקיד זה כיהן עד שנת 1958.
במהלך שרותו כרמטכ"ל לחם צה"ל בכוחות ערבים שניסו לבצע פיגועי טרור ברחבי הארץ (פידאיונים).
בסופו של דבר פרץ מאבק צבאי בין מצרים לבין ישראל, שהיה קשור גם במאבק בפדאיונים שהסתתרו ברצועת עזה שנמצאה בשליטה מצרית, וגם ישירות במאבק סביב השליטה בתעלת סואץ, אשר בו היו מעורבות שתי המעצמות - צרפת ובריטניה.
בסתיו 1956 כבש צה"ל בהנהגת דיין תוך מספר ימים, את חצי האי סיני, ובמקביל פלשו צבאות צרפתים ובריטים לתעלת סואץ.
מלחמת סיני, כפי שכונתה אותה מערכה צבאית, הסתיימה בנצחון צה"ל על הצבא המצרי, אך ארצות הברית וברית המועצות התערבו במהלך המדיני סביב המלחמה, אילצו את צהל לסגת.
מבצע זה היקנה לו שם של גיבור לאומי. בתקופה זו מילא דיין תפקיד מכריע בפיתחו שיטות לחימה חדשות בצה"ל.
פרש מצה"ל בשנת 1958 ופנה ללימודים אקדמיים.