虞世南博古通今、能诗善文。唐太宗于治政之余，经常与虞世南“共观经史”。每回谈到古代帝王治政得失时，虞世南必要以之讽劝太宗，使太宗大受启发。所以太宗对侍臣们夸奖他：“我闲暇时与虞世南谈古论今，我如说错一句话，他未曾不感到惆怅痛心。他如此肯诚，令我赞叹。你们要是都能象他这样，天下何愁不治。”

有一年，彗星出现。太宗担心的询问群臣怎么回事。虞世南引经据典的答道：“从前齐景公时有彗星出现，他问晏婴原因，晏婴回答说：‘掘池沼唯恐不深，修台榭唯恐不高，行刑罚唯恐不重，因此上苍才以彗星警告您。’齐景公感到后怕，立刻修德行义，过了十六天，彗星便隐没不见了。臣听说天时不如地利，地利不如人和。如果不修德行义，即使获麟得凤，也无济于事。只要治政没有过错，即使出现了灾星，又有什么损害呢！愿陛下不要认为自己功高古人而得意，不要因太平日久而骄惰，只要慎终如始，就是彗星出现，也没有什么可担忧的。”

太宗听后，严肃的说道：“我治理国家，并无齐景公那样的过失。然而，我只有二十，就举兵起义；年二十四，平定天下；未到三十，即位称帝。自以为三代以下，没有哪个拨乱反正的君主能赶上我。当时骁勇的薛举、凶猛的宋金刚、雄霸河北的窦建德、占据洛阳的王世充等劲敌都败在我的手下。后来萧墙祸起，我又决意为安定社稷而登上了帝位，又降服了北夷。因此，我颇为踌躇满志，滋生了自满之心，轻慢了天下之士，这正是我的罪过啊。上天出现了灾异，恐怕就是为此。秦始皇平定六国、隋炀帝富有四海，可由于骄惰安逸，一朝而亡，我又怎么能自傲呢？每当想到这一点，不免令人担忧！”

后来，太上皇李渊驾崩，太宗命依汉高祖的坟墓规模，隆重安葬。期限紧迫，劳民伤财。虞世南先后两次上书，力陈厚葬之弊，劝太宗“安于菲薄，以为长久万代之计。”终于使太宗缩小了陵墓的规模。太宗因此越发亲近礼敬虞世南。称赞他有“五善”，即“博闻、德行、书翰、词藻、忠直，一人而已，兼是五善”（《隋唐嘉话》），肯定他是一个德才兼备的大臣，理当重用。

虞世南病逝时，太宗在写给魏王李泰的一篇文章中说道：“虞世南与我犹如一体。他没有一天忘记为我拾遗补缺，真是当代的名臣，人伦的楷模。只要我有微小的失误，他就犯颜直谏。现在他离我而去，书库文苑也就没有人了，实在令人痛惜不堪哪！”

太宗还写诗一首，追述往古兴亡之道，搁笔之后叹道：“钟子期死，俞伯牙不再弹琴。我写此诗，又给谁看呢？”惆怅之情无以言表，他让起居郎拿着这篇诗稿，到虞世南的灵前吟诵一番，然后烧掉，希望虞世南的在天之灵有所感悟。

据说后来虞世南果然出现在唐太宗的梦中，音容笑貌与生前无二。梦后第二天，太宗便下诏令五百僧人在虞世南家斋祭，后又命人丹青绘像，高悬凌烟阁中。