1996年，王军霞只有23岁，23岁对于一个田径运动员来说，仅仅是个开始。在亚特兰大拿到奥运金牌后，王军霞马上就把重心转移到了下一届奥运会。可是，现实总是比想象来得残酷，“没想到，我当时已经开始准备下一个大赛，没想到结果……如果我那时候没有退役，如果我还能正常训练，也许北京奥运会你们还能看到我……”
从亚特兰大回国后，等待王军霞的不是鲜花和掌声。一天毛德镇找到弟子，告诉了她一个不敢令人相信的消息：“我要走了，队里已经通知我，我的退休手续都已经办好了，他们限定我三天之内必须离开田径队，爱去哪去哪。”在队里，王军霞的日子也不好过，她的伙食从冠军灶被直接降到了最差一档。一些成绩平平的队友和刚入队的小队员都很诧异，为什么和他们在一起吃饭的是王军霞。
王军霞对《体坛周报》的记者说，她也曾经作出过努力，“我进京去国家体委申冤，他们说会敦促解决，但一直杳无音讯。后来有人来给我做工作，说我身体不好，又是一个人，而马指导那里是一个梯队。那时候马家军喊出的口号就是备战悉尼、雅典和2008奥运会。是保一个王军霞还是保一个队，答案一目了然。我理解他们的选择，所以选择放弃。”据王军霞透露，退役后，她开始想办法做别的事情，可处处碰壁，”1998年我再到北京找伍绍祖求救。我说你们不能不管我，请给我一条活路。我请他们放我走，他们批准了，我才办理因私护照。我几乎是逃到美国的，那时我心灰意冷，发誓这辈子再也不跑了。”
参加奥运会是所有运动员最向往的，王军霞当然也不例外。但对于王军霞来说，亚特兰大的那场大战，她险些没能去成。据《体坛周报》报道，王军霞在接受采访时口述了这段鲜为人知的历史。
出征亚特兰大前夕，王军霞给家里打电话报平安，接电话的是母亲。简短的问候以后，母亲的声音有些哽咽，她劝女儿，不要参加奥运会，回到家里来，过普通人的生活。王军霞有些意外，在她的追问下，最后母亲终于说出了实情。
“我给家里打电话。母亲哭着说，女儿不要去了。开始她死活不肯说原因，最后才告诉我，“他们给家里打恐吓电话，还写信威胁，说要你的命，要让你残废，让咱们全家不得好死。你哥已经不在了，你再有个三长两短，我们怎么办呢？””王军霞说，直到那一刻，她才知道家人一直担惊受怕。
电话挂断后的几天，王军霞的家人还接到了一封内容相似的恐吓信，王军霞的母亲有些害怕。“不过，我从未产生过丝毫退却的念头，立刻在电话里回答母亲：如果我发生任何意外，所有人都会明白是谁做的。你不用担心，他只是吓唬咱们，干扰我比赛。当时我的确不害怕，奥运会他们伤害不了我。”王军霞说。
王军霞真实退役内幕
据报道“东方神鹿”！看过亚特兰大奥运会的人，都会记得身披国旗的王军霞在夺冠之后绕场致谢观众那一幕。在那一刻，所有中国人都会为王军霞感到自豪，但谁又能想到，王军霞为了这块金牌，为了夺冠的那一刻究竟付出了多少，承担了多少压力……
