西元655年，此時的徐茂公已經年過花甲，唐高宗欲廢皇后，重新册封武則天為皇后。當時的大臣長孫無忌、褚遂良等人是極力反對的，但是李義、許敬宗等人卻又支持，雙方互不相讓，諫言不一。唐高宗李治無奈，最後找到徐茂公，徐茂公因有功，被賜李姓，為李績，李績自然知道高宗為何事而來，但是如果自己表達不好很有可能就會招來殺身之禍。
囙此李績一直表面上支持長孫無忌、褚遂良等人，背地裡又支持許敬宗等人，當高宗問及此事，李績說：“此陛下之家事耳，何必更問外人！”李績的回答可謂是完美，本就是皇帝家自己的事情，何須由外人來插手。雖說徐茂公並未表明自己的立場，但是無異於是支持高宗，高宗醍醐灌頂，心想“是啊，我家裡的事還要你們管什麼。”隨後便册封武則天為皇后，到這裡按理來說，武則天應該是要感激徐茂公的。
然而徐茂公有個孫子叫徐敬業，繼承了他的爵位，應該叫李敬業。據說徐茂公在第一眼看到孫子時，深諳相術的他，一眼便看出徐敬業面相不善。甚至還說徐敬業日後必是家族禍患，導致家族被滿門滅族，於是想要將其殺害，假裝帶著人和徐敬業一同打獵。待徐敬業進入森林之後，在外面放火，想要將其燒死。結果徐敬業急中生智，用刀剖開馬的肚皮，自己鑽進去，這才得以逃生。
事實證明，徐茂公的猜測是對的，徐敬業最終因為反對武則天稱帝，不僅自己被殺，還連累家族和祖父徐茂公也被開棺戮屍。徐敬業最終因為反對武則天稱帝，發動叛亂，最終被武則天派兵平叛，最後自己也被部下所殺。徐敬業兵敗之後，他的弟弟徐敬貞卻對武則天說，當年徐敬業出生之時，被子下麵突然出現一隻龜殼，龜殼的紋路先是是大富大貴之相，如今看來，哪裡是大富大貴，簡直就是大變之相。
武則天聽後，將徐茂公的墳墓挖掘，棺木打開，用火焚燒，這才得以消了怒氣。想想徐茂公縱橫一生，被世人稱為和諸葛亮一樣的存在，最後卻落得個無處安寧，屍體都沒能得到保全，不得不令人嗟歎。