春秋时期，孔子有一个学生，姓司马，名耕，字子牛，人称司马牛。传说司马牛是宋国大夫桓魋的弟弟。桓魋在宋国犯上作乱，失败后全家被迫逃亡。司马牛逃到鲁国，拜孔子为师。他对桓魋的所为十分不满，并宣布桓魋不再是他的哥哥。为此，他经常感到忧伤。

一次，司马牛忧愁的说：“别人都有兄弟，惟独我没有。”子夏劝解道：“我听说过：‘死生有命，富贵在天。’君子做事情只要严肃认真而不出差错，对人恭敬而合乎礼仪，那么，四海之内皆兄弟也。你为什么还担心没有兄弟呢？”

“四海之内皆兄弟”就是从这个故事来的，意思是说，天下的人都是自己的兄弟。如果天下人真的能以兄弟之谊相待，人与人之间的纷争必将少了许多。