宋太祖听后，脸上微微变色，转回头便向赵普征询意见，该如何处置这名前朝皇子。赵普为人果断决绝，考虑到新朝初建、人心不稳，若留下这个男婴，恐怕会被别有用心的人利用，制造动乱。所以考虑到此，赵普便做出砍头的手势，并且恶狠狠的说：“斩草要除根，否则后患无穷。”其他随从官员见宰相这样说，也纷纷附和，只有潘美和另一位将领沉默不语。

宋太祖觉得奇怪，便转而征询潘美的意见，但潘美却唯唯诺诺，不敢回复。皇帝稍稍思虑一会儿，便明白潘美的用意，于是对众人讲：“朕昔日深受周世宗厚遇，本想尽力效忠周室，只因迫于形势，所以才不得不承袭皇位。朕行此违心之事本来就有愧于周世宗，如今再杀掉他的儿子，天下人将会如何议论朕呢？”

（宋）太祖皇帝初入宫，见宫嫔抱一小儿，问之，曰：“世宗子也。”时范质与赵普、潘美等侍侧，太祖顾问普等，普等曰：“去之。”潘美与一帅在后，独不语。太祖问之，美不敢答。太祖曰：“即人之位，杀人之子，朕不忍为。”见《随手杂录》。

潘美听后甚是感动，便向宋太祖解释之前沉默的原因：“臣与陛下都曾侍奉过周世宗，并深得其厚待，就此事而论，若臣劝说陛下除掉这个婴儿，则有辜负当年世宗恩养之嫌，世人皆会骂臣是忘恩负义之辈；但是若臣劝阻陛下处决他，那么陛下很可能会怀疑臣的忠心，为臣不忠者必受显戮，臣惶恐无计，所以不敢妄言。”

宋太祖听后微微一笑，接着便对潘美说：“仲询（潘美的字）所虑极是，可既然是前朝皇子，自然不能再养于皇宫之中。朕思虑再三，觉得将他送给你为好，只是周世宗的儿子不可再做你的儿子，你就把他当做侄儿抚养成人吧。”潘美领命，将婴儿抱回家并给他取名为潘惟吉，对外则宣称是自己的侄儿。

此事过后，宋太祖便再也没有问起过潘惟吉的情况，并且严禁当时在场的人向外透露此事，而潘美尽管有抚养之功，但也从未在皇帝面前提及此人，也从来没有跟潘惟吉透露他的身世（“美曰：‘臣与陛下北面事世宗，劝陛下杀之，即负世宗；劝陛下不杀，则陛下必致疑。’上曰：‘与尔为侄。世宗子不可为尔子也。’美遂持归。太祖后亦不问，美亦不复言。”引文同上）。

潘惟吉成人后历仕太宗、真宗两朝，担任过供备库使、天雄军驻泊都监等职务，在晚年曾以生辰副使的身份出使辽国，前后奉命办事皆以勤勉干练著称（“累迁为天雄军驻泊都监。虽连戚里，能以礼法自饬，扬历中外，人咸称其勤敏云。”见《宋史·列传卷二百五十八·列传第十七》）。大中祥符三年（1010年）二月，潘惟吉病故在雄州，真宗闻讯后哀伤不已，下令由官府为其操办丧事。