1976年10月，迟群被撤职审查，这个曾经红极一时的人物从此彻底销声匿迹，等到多年后出狱时，他已经变成了无工作、无住房、无收入的“三无”人员。

出狱后的迟群可谓落魄至极，亲朋好友都对他避之不及，谁也不肯帮他一把，就连他的子女都对他不闻不问，这也让他感到郁闷不已，不过这一切都是自己造成的，这正是不是不报，时候未到。

为了能有一个容身之所，迟群在北京郊外租了一间民房，虽然房子简陋破败，但好在能遮风挡雨。迟群在那里一住就是好几年。由于年事已高，他越发感到生活不便，看病就医和买东西都很麻烦，因此能在市区住上宽敞的住房就成了他的愿望。

后来，迟群偶然间听说上级出台了购房优惠政策，像他这样解放前参加工作的人，可以用工龄抵扣购房款。他喜出望外，他的子女听说父亲可以换房后，也一改之前的冷漠，主动上门看望他。不过，迟群在办理购房手续时却遇到了麻烦，因为房管局查不到他的档案，自然也没法计算他的工龄。迟群只好跑到老单位清华大学查问，却被告知没有他的档案。

迟群的买房梦就这样破灭了，他的子女也不再上门看望，原本身体就不好的他一病不起，整天躺在床上唉声叹气，怎么也想不明白自己的档案为何会丢失。

贫困潦倒的迟群没什么钱看病，再加上买不了房的打击，很快就撒手人寰。他决不会想到，命运和他开了一个玩笑，因为他去世后不久，清华大学就联系他的子女，告知迟群的档案恰好找到了，只不过对于他来说，档案已经成了没有用处的废纸。