谢灵运的缺点也不少，自大的同时嫉妒心还不小。
王昙首、王华、殷景仁等人，名声和爵位一直在谢灵运之下，却同时被皇帝宠待。
谢灵运心中不满，往往推说自己有病而不上朝，只管修筑池塘、种植花树、移栽修竹、摆弄香草而已。
并且无休止地让衙门里的劳役服务于他个人，出城游玩有时一天走一百六七十里，往往一走就是十多天，既不上书请示，也不请假。
宋文帝见此情形想将其免职，但又不想直接下旨将其免职让他颜面丧尽，便暗示他主动辞官。
谢灵运于是上表称自己有病，皇帝让他休假回家乡休养。他临行之前，又上了一道奏疏劝文帝北伐。
元嘉五年，谢灵运称病回到家乡后，游玩喝酒集会赋诗照旧，日以继夜，因此而被御史中丞傅隆所弹劾，被免除了所有官职。
回到家乡后，谢灵运和同族兄弟谢惠连、东海人何长瑜、颍川人荀雍、泰山人羊璿之，因为相互欣赏对方的文章而结好。
他们同游山水，当地的人称他们为四友，谢灵运依靠着祖辈、父辈丰富的家底和深厚的人脉，生活富足，奴仆众多，有上百名先人的门生故吏和他往来。
他喜好游山陟岭、纵情山水，没少做开山造湖的事情。但凡游山，必定要探寻最为险峻幽深的地方，即便山峦叠嶂、沟壑纵横，也必会游遍每一个他想去的地方，不畏险阻。
为了便于走山路，他每次登山都穿上一种前后齿可装卸的木屐，上山时便去掉前面的鞋齿，下山时则去掉后面的鞋齿，这种鞋被后世称为灵运屐。
谢灵运大兴劳役，曾经从始宁南山到临海一路伐木开道，时任临海太守王琇闻之，以为是山贼前来偷袭，甚为惊恐，后来得知来的是谢灵运不是山贼才安心。
回踵湖在会稽城东，谢灵运上疏请求将其改做稻田之用，得到批准，下令地方各州郡执行。
孟顗却认为回踵湖距城郭很近，一方水土养一方百姓，改做稻田没能物尽其用，十分可惜，因而坚决不执行朝廷的命令。
谢灵运眼看着事情没有向着自己预料的方向发展，转而又要求将始宁县的岯崲湖改做稻田，再次遭到孟顗的抵制。
谢灵运认为孟顗的考虑并非以利民为首要，而是只考虑掘开湖泊会杀生，言语间中伤了孟顗，孟顗和谢灵运结下仇恨。
孟顗利用谢灵运性格放荡不羁、对百姓多有侵扰的事，上了一道奏疏说谢灵运想谋反并私自调用本郡军队防守自卫。
皇帝知道谢灵运是被冤枉的，所以没有判他有罪，只是不想让他回会稽，于是让他做了临川内史，且增加俸禄到两千石。
谢灵运赴任后仍然如故，和在永嘉太守任上时没有两样，所以再次被有关人员弹劾。
司徒派临川王的从事郑望生逮捕谢灵运，谢灵运反而抓住郑望生，起兵叛逃，从而有了叛逆的念头。
他写诗说韩亡子房奋，秦帝鲁连耻，本自江海人，忠义感君子。
最后他仍被追上并被逮捕，被送到廷尉那里定罪，廷尉上奏说谢灵运率领部众造反，应处以死刑，皇帝仍然爱惜他的才华，只想免去他的官职而已。
彭城王刘义康坚持说不应该饶恕他，于是皇帝下了一道诏书说谢灵运罪过深重，确实应该判处死刑，但念他祖父谢玄有功于国家，应该原谅他的子孙，免死充军广州。
元嘉十年秦郡府将宗齐受走到涂口，途径桃墟村，看见有六七个人在下面路上胡乱说话，怀疑不是好人。
回来告诉郡县长官，长官派兵随同宗齐受前去抓捕，经过搏斗，把他们全部捉住，投入了监狱。
其中有一人叫赵钦，山阴县人，说本村人薛道双以前和谢灵运共过事，在去年九月初，薛道双通过本村人成国告诉我。
先前做临川内史，现在犯法冲军广州的谢某，给我们钱财，叫我们买弓箭刀枪盾牌等武器，让薛道双结交乡里的健儿勇士，在三江口劫救谢某，如果成功的话，大家功劳都一样。
于是集合众人篡取谢某，但没成功。大家回来时很饿，只好沿路打劫。
有关部门以此又上奏按法逮捕谢灵运，皇帝下诏书，命令在广州将谢灵运就地正法，终年四十九岁。
谢灵运临死时写诗说龚胜无余生，李业有终尽，稽公理既迫，霍生命亦殒，凄凄凌霜叶，惘惘冲风菌。
邂逅竟几何，修短非所悯，送心自觉前，斯痛久已忍，恨我君子志，不获岩上泯。
他诗中称述的龚胜、李业，好比前诗中说的子房、鲁连，不得不说谢灵运的文学造诣实属惊人。
据《夜航船》记载有一次，谢灵运一边喝酒一边自夸道，魏晋以来，天下的文学之才共有一石，其中曹子建独占八斗，我得一斗，其他的人共分一斗。
谢灵运在目录编撰方面有很大成就，宋元嘉三年，谢灵运任秘书监，负责整理现存秘阁书籍，补足旧文。
由于当时的社会动荡，战乱频仍，书籍多有散失，遗留异地，谢灵运奉诏着录，四处收访，亲为校理，终于在殷淳等目录学家的协助下撰成《秘阁四部目录》。
在山水诗产生与发展的过程中，杨方、李颙、庾阐、殷仲文和谢混等人，都曾有过一定的贡献。
不过谢灵运却是第一位全力创作山水诗的诗人，其现存诗近百首，其中三十八首可称得上是较为完整的山水诗，山水诗在晋宋勃然而兴，其功首推谢灵运。
谢灵运山水诗的成就很大一部分有赖雕琢之功，雕琢是对自然的一种细致的拟态。
谢灵运又在拟态的过程中，加入自身的主观色彩，使山水景物呈现出源自现实的真实而又不同于现实真实的独特面貌。
谢灵运山水诗中雕琢的功力，既体现在对细微景物的细致描摹上，又表现为对多种意向的结构组织中，而两者往往结合在一起，合力展现出山水的姿态各异而又变化万端。
对于后世的影响力不可谓不大，算是陈郡谢氏的代表人物之一。