光武帝並沒有死心，仍然把他請到洛陽。他雖被安置住在富麗堂皇的大院深宅，卻絕不肯與朝廷顯貴往來，光武帝去拜見他，他也不行君臣之禮。光武帝對他沒有辦法，說他是“狂奴故態”。
　　一天光武帝把他請進宮中，促膝談心，向他請教治國之道。嚴子陵滔滔不絕，口若懸河。光武帝聽他論古涉今，說理精闢，喜得眉飛色舞。兩人一直談到深夜，光武帝便留他同床睡覺。嚴子陵也不推辭，躺在床上，叉開雙腿，沉沉入睡。睡到半夜，竟把一條腿擱到皇帝身上，光武帝為了不驚動他，竟一夜沒有廣州長隆睡好。
　　次日清晨，嚴子陵還在夢鄉，光武帝就起了床。只見欽天太監驚慌失措的闖進宮門，奏道：“臣昨夜仰觀天象，發現有客星沖犯帝座，恐怕於萬歲不利，特進宮面稟”。光武帝沉思片刻，勿而恍然大悟，哈哈大笑道：“那裏是什麼客星沖犯帝座，是朕與好友子陵同床而眠，他的一條腿擱到了朕身上了。”
　　從此嚴子陵這個“客星”的雅號就名揚四海。他家鄉的山陳山被稱為“客星山”，橋被叫作“客星橋”。如今還保留在餘姚四碑亭的嚴子陵碑文中，也有“依然城廓客星高”之句。
　　光武帝十分欽佩嚴子陵的人品才學，要他擔任諫議大夫，這是一個很高的職位，但他還是不肯接受。後來乾脆不辭而別，回到家鄉餘

。
　　建武十七年（西元48年），光武帝又派使者到了餘姚請嚴子陵進京做官。他聽到消息，趕緊躲避起來，使者只得泱泱而返。為了避免朝廷再找麻煩，他索性帶著家人，遷居桐廬富春江邊種田、釣魚。他釣魚的地方後人稱之為“子陵灘”。“嚴子陵釣臺almo nature 狗糧”至今遺跡猶在。嚴子陵回到餘姚直至終老，享年八十，死後葬於餘姚陳山。南宋丞相史浩有《嚴先生墓》詩道“玉匣蛟龍已草萊，一邱馬髦尚封培，雲臺若也標名姓，千古誰知有釣臺。”陳允平“嚴墓”詩也寫道：“山高石怪水冷冷，三尺孤墓葬客星，曉煙暮雨為誰青。”
　　嚴子陵視富貴如浮雲的氣節，千百年來一直受到人們的敬仰。北宋名臣範仲淹仰慕嚴子陵高節，特意為他造了祠堂，並寫了一篇傳頌千古的《嚴先生祠堂記》，贊他“雲山蒼蒼，江水泱泱，先生之風，山高水長”。明著名學者徐渭在《嚴先生祠》詩中寫道：“碧水映何深，高蹤那可尋，不知天子貴，自識故人心。山靄消春雪，江風灑暮林，如聞流水引，誰聽伯搬屋牙琴。”