冬天来临之后，魏军大举南下，猛攻洛阳。洛阳城墙年久失修，没有粮食储备，没办法坚守。宋军守将受到攻击便弃城而逃。
洛阳一丢，虎牢便成为孤岛，很快也被魏军攻克。
到彦之没想到魏军会反攻，见魏军来势很猛，吓破了胆，匆忙下令撤退。部将劝他把部队拉到滑台继续作战。到彦之借口眼病复发，疼痛难忍，无法指挥作战，坚持撤退。
黄河防线已经失守，到彦之下令烧掉舰船，步行逃回彭城。大批装备物资也因此被烧掉或抛弃。士兵们连盔甲武器都扔了。武库为之一空。
刘义隆大怒，将到彦之免职下狱。
滑台守军仍在坚守。刘义隆派檀道济率军速去救援。
檀道济率军行至寿张（山东泰安东平县西南）遭遇南下的魏军。檀道济将其击败，然后攻击前进一路向北。“二十余日间，前后与魏三十余战，道济多捷”。但是檀道济疏忽了后防，被魏军骑兵偷袭烧了粮草。檀道济没了粮草没法再战，只能退兵。
滑台坚守数月，终被魏军攻克。一万多宋军被魏军俘虏。
河南之地得而复失。
北伐受挫后的刘义隆暂时收起“封狼居胥”之心，把精力转回内政上面，继续休养生息恢复国力以图再战。
在此期间发生三次谋反案，牵扯到三位名人。
第一位是著名山水诗人谢灵运。谢灵运是谢玄的孙子，从小好学，博览群书，“文章之美，江左莫逮”。但这人有个毛病，“性褊傲”。这也是文人的通病。他“自谓才能宜参权要”。他自认为才能出众，跟祖辈谢安、谢玄一样能成为朝廷重臣，挽江山于既倒，救苍生于水火。但“朝廷但以文义处之，不以为有实用”。朝廷认为他有才无能。刘义隆任命他为秘书监（国家图书馆馆长），跟他只聊文学不谈政治。谢灵运不得重用，“常怀愤邑”。
谢灵运“不遵法度”，不好好工作，总是旷工出去旅游，一走就是十天半个月。刘义隆责令他做出解释。谢灵运说他病了，申请病休。刘义隆批准他回家养病。结果他又跑出去游山玩水，被别人告发。刘义隆将旷工和撒谎二罪合一，将他免职。
无官一身轻的谢灵运索性敞开了玩，经常带一帮人野游，进山探险。那时候的人不兴旅游。当地人见到一支好几百人的队伍挎着刀在深山老林里转悠，以为是强盗，报告了官府。官府出兵抓到他们一看是谢灵运。
官府上报朝廷，怀疑谢灵运拥有私人武装有图谋不轨的嫌疑。谢灵运赶紧上书解释。刘义隆知道他是冤枉的，没有怪罪他，并且看在他父祖的份上还任命他为临川内史。临川内史相当于临川市市长。与秘书监那个闲职相比，临川内史是有实权的。
但是谢灵运依然我行我素，荒废政务，游山玩水。内史作为地方官，治民、生产、垦荒、修路……有很多工作要做，责任重大。谢灵运不务正业激怒朝廷。司徒派人去逮捕他，要治他的罪。谢灵运武力拘捕，把来抓他的人抓了，并且起兵叛逃。他写了一首反诗：“韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子”。拿自己比作反抗暴秦的张良（张子房）和鲁仲连，耻为刘宋臣民，为东晋灭亡而痛心，要推翻刘宋恢复东晋。
举兵造反，这罪过就大了。他被抓住后要砍头，但是刘义隆爱惜他的文才，念他先祖谢玄的功劳，改判他流放。
刘义隆的父亲刘裕原是谢玄的部下，被谢玄一手提拔起来。刘裕打天下的军队也是谢玄的老班底。刘义隆不能不念这份情。
没想到他到了流放地，被人告发私买武器意图谋反。
刘义隆下令将谢灵运斩首。
谢灵运临死前又题诗一首：“龚胜无余生，李业有终尽……恨我君子志，不获岩上泯”。龚胜为抗议王莽篡国绝食而死。李业拒绝王莽征召，最终服毒自尽。谢灵运把自己比作为忠义而死的龚胜、李业，把刘宋比作王莽，宁死不屈。视死如归。
第二起谋反案的主角是名将檀道济。刘义隆重用檀道济又不放心檀道济，一直对他暗中提防。有一次刘义隆得重病，以为自己要死了，担心檀道济手握兵权将来对自己的后人不利，毕竟檀道济有废立皇帝的前科，下令杀掉檀道济。他给檀道济安的罪名也是意图谋反。
刘义隆在诏书里说，檀道济早有反心。谢灵运反状明显，檀道济一直隐秘不报。并且他也召集了一大帮子人图谋不轨。这些情况早有人向我反映。但我一直希望他能改邪归正悬崖勒马。没想到他不撞南墙不回头，趁我生病时策划谋反。他的阴谋被他的参军知道并且告发。我不得不依法办事。
刘义隆下令将檀道济和他的儿子以及心腹大将全部处斩。
檀道济临刑前哀叹：你们这是自毁长城啊！
刘宋从此再没有能战之将。
北魏闻之大喜，说：宋国再没有我们忌惮的人了。
第三位是著名的史学家范晔。范晔是《后汉书》的作者。因为刘义隆重病，有人策划让刘义隆弟弟刘义康继位。范晔当时掌管禁军，手握兵权，被人拉入伙。他们计划杀入皇宫，干掉反对他们的人，拥立刘义康为帝。
为了拉更多人入伙，范晔伪造了刘义康的书信，扬言是按着刘义康的旨意做事。这招果然好使，帮他拉来很多人。但是，拉的人越多成功的希望越大，同时泄密的危险也越大。有人向朝廷和盘而出。范晔等人旋即被捕。
刘义隆亲自审问范晔，问他为什么谋反？范晔满脸无辜死不承认。刘义隆把他亲笔写的书信、檄文等物拿出来给他看。范晔这才招供。
谋反的一干人等被绑缚刑场。范晔排头一个。他回头对同伙说，这个排序是按照官职大小？同伙说，你是谋反的首犯当然得排前面了。范晔哈哈一笑。他跟他的同伙一路上说说笑笑，在刑场上吃断头饭时还劝别人多吃点。跟亲人告别时，面对哭得稀里哗啦的老母亲和接发妻子他面色如常。看到他的年轻漂亮的小老婆们也来了，他泪如雨下。
范晔对姬妾非常好，吃香的，喝辣的，衣着华丽，住着大house，屋里摆设这华贵的文物、玩具以及各样用品。他的老母亲被他安置在一个堆柴草的小房子里。他的侄子冬天没有被子。他的叔叔冬天只穿一件单衣。
范晔的人品不怎么样。但他才华非常高。
范晔死时《后汉书》还没写完，是后人帮他补齐的。