履新山西代省长之前，于幼军对山西的印象，即包括矿难很多这一条。7月1日山西召开干部大会宣布任命后，我就回湖南交接工作。结果我一回到湖南，7月2日山西就发生了宁武矿难，死了19个人，我说真是给我来个下马威啊。于幼军在接受《南方周末》采访时说。
　　他决心将煤的文章做好。
　　据《经济视点报》报道，2005年，还只是山西代省长的于幼军不顾很多人的担心与反对，提出山西不能再要流血的、黑色的GDP了，并且做出了到山西后的第一个动作：关闭山西全部4000多个非法煤矿。
　　该报道称，为达到打击非法小煤窑的目标，于幼军甚至下令派直升机去拍照，并要用卫星定位来紧锁黑窑主。为了从根子上整治矿难与小煤窑，他把正在试点的对煤矿的有偿开采方案在全省推开。
　　2006年1月，于幼军获扶正。
　　这之后，山西依然爆发过多起矿难，而黑砖窑事件则成为压死骆驼的最后一根稻草。2007年，山西省被曝光多起黑砖窑主非法限制民工人身自由，非法雇佣童工，强迫民工超强度工作，殴打民工致死、致残等事件，造成了极其恶劣的社会影响。
　　是年6月，在国务院常务会议上，时任山西省长于幼军代表省政府做了检查。
　　7月，《南方周末》头版刊发了《面对黑砖窑事件 于幼军坦陈心迹》一文。文中称，黑砖窑事件突如其来，对此，主政山西不到两年的于幼军也始料未及，一心治煤治污的山西省长从未想到，砖窑所造成的"破坏力"竟不亚于煤窑。
　　8月，山西省委召开全省领导干部会议，宣布中央关于山西省政府主要领导调整的决定。中央决定，孟学农同志任山西省委委员、常委、副书记，于幼军同志不再任山西省委副书记、常委、委员职务，中央另有任用。
　　深圳3年，湖南2年，山西2年，于幼军在3个地方的任职均未满一届任期。
　　2008年再次跌落
　　对于2008年的再次遇挫，于幼军曾撰文回忆道：先是被接受调查，半年后受撤职处分。
　　于幼军继续一路北上。
　　2007年9月，于幼军以文化部党组书记、副部长的身份亮相。次月，于当选第十七届中央委员。2008年3月全国两会后，蔡武当选文化部部长，于幼军则继续担任副部长。
　　我先是被接受调查，半年后受撤职处分。于幼军曾撰文回忆。2008年9月，中央政治局对于幼军做出留党察看两年的处分，一个月后，他的中央委员会委员职务在十七届三中全会上被撤销。
　　后来，于幼军在题为《图书馆可以助人治病疗伤》的回忆文章中写道，运交华盖、遭受挫折，理想信念不能变，精神身体不能垮，不虚度宝贵光阴，不白领人民俸禄，利用赋闲待业之机，读书写作去也。
　　2008年10月，受处分后十来天，于幼军安顿好80岁高龄的老母亲，来到国家图书馆。他在此读书写作、疗伤治病。于幼军后来回忆：如此春去秋来，我阅读了三四千万字的图书资料，写下了上百万字的读书笔记及资料摘录。
　　2010年12月25日，于幼军撰写的140万字的三卷本《社会主义五百年》书稿校对完毕，并签发至出版社。凑巧的是，当天上午书稿刚送出，下午，于幼军就接到了中组部负责人的电话，通知他下周到新单位报到。
　　副部级的南水北调办副主任，成为于幼军仕途的最后一站。