南北朝时期李纲做周齐王的参军。周宣帝秘密杀害齐王之后，将齐王的手下官员召集去想要罗织罪名，李纲宁死不屈。齐王手下的官吏都惧怕被牵连鸟兽而散，唯独李纲手扶齐王的棺木痛哭，亲自收葬齐王。到后来周齐王的女儿失去了丈夫一个人独自生活，李纲因为曾经是齐王的官从，一直用优厚的待遇赡养她。

隋朝开皇末年，李纲做太子洗马。当时的太子勇游乐无度，李纲直言進谏不听。后来太子被废，隋文帝召集太子手下的官员责备他们不能正确引导太子。大家都吓得不敢说话，只有李纲挺身而出说：“废立太子是大事，大家都知道不应该如此，但是没有人敢说话。我不敢因为珍惜自己的生命就不说出真话来。太子的姿质原本一般，可能做好事，也可能做坏事。如果陛下过去能够选择正直的人辅佐他，太子也足可以守住天下。可是您为太子选的官员都是只知道用歌舞游戏讨好太子的人，太子怎么可能不变成今天的样子。这是陛下您自己的过错，不是太子的过错。”隋文帝难过地说：“李纲责备我，不是没有道理，但是你只知其一，不知其二。我选你做他的官员，可是太子不信任和任用你，即使再为他选好人，又有什么用呢？”李纲说：“太子不能任用我，是因为有那些奸人在他身边。如果您除去他身边的奸人，另选贤才辅佐太子，您怎么知道太子一定会疏远我呢。自古以来废立太子，很少有不导致国家危亡的，希望陛下您深思，不要以后后悔。”隋文帝很不高兴，左右的人都吓得发抖。后来尚书右丞位子空缺，隋文帝说：“李纲是最好的人选啊。”但是李纲的耿直得罪了当时当政的奸臣最终还是被废黜了。

到唐高祖的时候，唐高祖让李纲辅佐当时的太子建成。由于建成不能听李纲的進谏，李纲多次向唐高祖提出辞去职位，但是唐高祖知道李纲的忠直，多次挽留他。

李纲的正直也赢得了唐高祖和唐太宗的尊重和信任。唐高祖在手诏中从来不直呼李纲的名字。唐太宗也多次请李纲坐车到宫殿讨论为政之道，直到李纲去世。