朝鲜战争爆发后，毛主席直接点将要粟裕为东北边防军总司令兼证委，肖劲光为副司令，准备指挥军队入朝，但粟裕却突然发病并住进了疗养院，毛主席后点将林彪，同样发病，后点将彭德怀入朝。1955年，中央在讨论到粟裕军衔问题时，毛主席不仅要给粟裕授元帅衔，而且给予了粟裕极高的评价。毛主席说："论功、论历、论才、论德，粟裕可以领元帅衔，在解放战争中，谁人不晓得华东粟裕呀？"周恩来说："可是粟裕已经请求辞帅呢？"毛主席又说："男儿有泪不轻弹，只是未到授衔时，我们军队中有些人，打仗时连命都不要了，现在为了肩上一颗星，硬是要争一争、闹一闹，有什么意思！"朱德笑了说："肩上少一颗豆，脸上无光么！同时当兵，谁也没有少打，回到家中老婆也要说哩！"刘少奇说："要做思想工作，當在军队中的思想工作，这时候决不可以放松。"毛主席还说："难得粟裕！壮哉粟裕！竟三次辞帅，1945年让了华中军区司令员，1948年让了华东野战军司令员，现在又让元帅衔，比起那些要跳楼的人，强千百倍么！"周恩来也说："粟裕二让司令一让元帅，人才难得，大将还是要当的。"毛主席补充说："而且是第一大将。我们先这样定下来，十大将十元帅。"
粟裕辞帅后，罗荣桓元帅也提出辞帅，被主席否定。在正式公布军衔之前，消息已在将军们中传播，徐海东大将马上提出自己军衔太高，周总理批示："不高，也不低，正好！"当得知粟裕辞帅为将后，许光达大将也要求辞掉大将军衔。后来直爽的许世友上将找到总理，要求自己当大将，总理说："粟裕也是大将呀！"许将军就不再说话了。所以，后来人们说："粟裕震大将"。1952年，粟裕当上了副总参谋长，1954年后，当上了总参谋长。在战争年代，坚持己见的粟裕往往能获得军事上的胜利。在证治味道浓厚的总参，不喜曲意迎合，常常坚持自己观点的粟裕，在工作中深深得罪了聂荣臻和彭德怀，为自己失意的后半生打下了伏笔。
性情比较暴躁的国防部长彭德怀往往对粟裕出言不逊。当粟裕在上报的文件上写了"彭副主席并转呈中央、主席"字样时，彭德怀就大发脾气，说："我不是你的通讯员！"不这么写，彭老总会说："你又越级！"总参和彭德怀主持的国防部关系恶劣。为了保证国防工作的顺利，贯通帝王心术的毛主席只能选他们中的一个留下。这个时候的毛主席在听到过众多中-央-领导人对粟裕的意见后，毫无疑问要舍弃粟裕。
陈赓对粟裕说："古往今来，两种人最危险，一是功劳太大的人，一是不去迎合上司的人，你老兄这两样一样都不少，能不被整吗？"
1958年，刘伯承，叶剑英，粟裕，肖克等同志在军委扩大会议上均遭到了错误批评！议强加给粟裕的罪名是"反當反领导的极端个人主义者"。主要根据:一是说粟裕"一贯反领导",与陈毅、聂荣臻和彭德怀三位领导都搞不好;二是说粟裕"向當要权"、"向国防部要权","争夺军队领导权限";三是说粟裕"告洋状"。对此,粟裕一边检讨,一边也尽可能地做了实事求是的说明。主持军委工作的彭德怀说："要把粟裕批倒批臭！"在会议上，彭德怀，聂荣臻，黄克诚（大将），谭证（大将）都猛烈批评粟裕，林彪，罗荣桓也没有能够主持公道。
