图为西汉海昏侯刘贺墓出土的五铢钱

按理说，刘贺继承了刘弗陵的皇位，又值大丧期间，起码表面上应该有哀痛之色。但在前往京城登基的途中，龚遂告诉他奔丧望见国都就要哭，“这已是长安的东郭门。”刘贺却借口喉咙痛，表示不能哭。

看见他如此不着调，霍光留了个心眼，在形式上没有“告庙”，即没到汉高祖刘邦的庙前宣告刘贺正式登基。这本是必须有的程序，但刘贺一直到被废都没有履行过。

元平元年六月，刘贺继承帝位，尊上官氏为皇太后。他也并没有把自己当一个傀儡皇帝，而是真的发号施令起来。

在27天的时间里，刘贺的使者往来不断，下命令给各官署征调并索取物资，共一千一百二十次。文学光禄大夫夏侯胜、侍中傅嘉等多次规劝无果，刘贺倒派人按簿册责问夏侯胜，又把傅嘉捆起来关进监狱。

史料记载，霍光担心刘贺的所作所为会危及朝政，于是和群臣商议，禀告上官氏，最终以皇太后的名义宣布废掉刘贺，历数其做过的1127件荒唐事，将刘贺逐出未央宫。

“刘贺确实有时处事不合规矩，但从他发布的诏令来看，并没有特别的荒唐。”辛德勇认为，导致刘贺被废的原因主要是他想真的当皇帝、处理政务，但却没有看清时局，威胁到霍光的权力。

就这样，刘贺又回到了不久前他发迹的地方——昌邑国，慢慢地待遇也不如从前。被赶回来后，他的日子过得很不如意。汉宣帝曾十分忌惮刘贺的存在，特意派张敞看着他的行为举止。

那时的刘贺，住在从前的宫殿里，脸色很黑，虽然身材高大，但却得了风湿病，行走不太方便。张敞曾去观察刘贺的情况，几番交谈后认为他还是处事稀里糊涂的一个人，天性喜好败乱伤亡，看不到一点仁义。

元康三年(前63年)三月，汉宣帝下诏封刘贺为海昏侯，食邑四千户。就此，刘贺前往封国豫章。