“从前，皇上好几次都是因为在困难危急之中，没有选择，幸而听从了臣的计谋。现在天下太平，因为个人的偏爱而要更换太子，这是人家骨肉之间的私事，纵然有我们这些一百多个大臣都没用，更何况我一人，有何力量呢？”
　　
　　吕泽勉强要挟着留侯道：
　　
　　“不管怎么样，您要替我策划计谋！”
　　
　　留侯说：
　　
　　“这件事是不能用口舌言语来争取的！但是皇上曾有他罗致不到的人，天下共有四位。这四人都年纪很老了，都有‘皇上对人轻蔑侮辱’的不礼貌看法，所以躲避在深山里，坚决不作汉家的臣子。然而皇上对这四位老人，却十分尊敬。现在您真能不吝惜金玉财宝布帛，那么要太子写封信，措辞要谦恭有礼，派出舒适安稳的车辆，再加上能言善道的辩士，去诚心诚意坚邀他们。应该会来的，如果请来了，就待为上宾，请他们时常跟着太子去上朝，故意让皇上看到他们，那么皇上一定会诧异而询问是谁，问明白是他们。皇上知道这四位是贤者，那对稳定太子的名位，是一大帮助了！”
　　
　　于是吕皇后叫吕泽派人捧着太子的亲笔信，用最谦恭的言辞、最贵重的礼品，去迎请这四位老人，四人来到京师，就在建成侯府中作客。
　　
　　汉王十一年，黥布造反，皇上正有病，不能带兵出征，想要派太子为将，前去打黥布。四位老人互相商量道：
　　
　　“我们之所以来京师，是要保定太子的，现在太子去带兵打仗，事情可就危险了！”
　　
　　于是就劝建成侯道：
　　
　　“太子去带兵打仗，如果有功，并不能对太子的名位有好处；如果无功而回，那从此太子就会倒霉了！而且太子所率领的那群将领，都是曾经跟着皇上打天下的猛将悍帅，现在叫太子来率领他们，这跟叫羊来带狼有什么不同呢？他们都不肯替太子卖力，那此次出征无功而回，是一定的了。臣常听人说：‘母亲被宠爱，则儿子就常被抱。’现在戚夫人日夜侍候着皇帝，赵王如意又常抱在皇帝跟前，皇上又常说：‘我绝不会让那个不肖的儿子爬到我爱儿的头上！’很明白地赵王如意他一定会代替太子的地位的，您为何不赶快请吕皇后，找个机会到皇上面前流着眼泪说：‘黥布是天下有名的第一猛将，而且又深通用兵之道，现在所有将领都是陛下旧部下和辈份相等的人，您叫太子来领导他们，岂不是叫小羊带野狼，一定不肯听指挥，而且如果被黥布知道了这个消息，他就会公然击鼓西来长安了！皇上您虽身子不好，但是准备一辆大车，您勉强睡在车上，叫人好好护侍您，带着他们去出征，那些老将们不敢不尽力，皇上虽然辛苦一场，但是为了您的妻子儿女，您就勉为其难吧！’”于是吕泽立刻在半夜里跑去见吕后，吕后找了个机会，一把鼻涕， 一把眼泪，把四人所建议的话，大致地又哭述了一遍，皇上听了说道：
　　
　　“我本来就想过，这小子派不上用场，好吧，老子自己去走一趟吧！”
　　
　　于是皇上亲自率领军队东征，那些留守的大臣们，都送行到灞上。留侯正在病中，勉强起来，赶到曲邮地方，拜见皇上说道：
　　
　　“这次陛下出征，臣应该随驾同去，可是臣病得十分严重，实在走不动。楚军行动快捷、勇悍，希望皇上不要和楚人为争头功，正面冲突。”
　　
　　乘机又劝皇帝道：
　　
　　“派太子作将军，叫他监督关中戍守部队。”
　　
　　皇帝说：
　　
　　“子房，您虽在病中，希望您卧病中仍要勉力辅助太子。”
　　
　　这时，叔孙通为太子太傅，留侯就兼代太子少傅的职位，来处理一切。汉王十二年，高祖打败了黥布，从军中回到长安，病更重了，更想赶快更换太子，留侯出面劝阻，皇帝不听，因而借生病请病假不管事。叔孙太傅就拿古今历史上换太子不利的史实来劝皇帝，并且用自杀来阻止换太子，皇帝就假意答应他的请求，但暗中还是要换太子。
　　
　　有一天，宫中举行宴会，摆出酒席，太子侍候在皇帝身边。四位老人跟着太子，年龄都在八十以上，胡须眉毛都白了，那一身打扮，又是与众不同，惹人注意。皇帝觉得很奇怪，问道：
　　
　　“那四人是谁？”
　　
　　四人一起向前回答，各人报上了自己的名姓，说是：东园公、角里先生、绮里季、夏黄公。皇帝吓了一跳，说：