据《太平御览》中记载，伯牙年轻时曾从成连先生学琴。苦学三年，却未能出师，他达不到空灵的境界。于是成连先生对伯牙说：“我能授你琴艺，却不能移人之情，我的老师方子春能做到这点。他住在东海之中，何不去向他学艺？”二人遂同行来到蓬莱仙山。成连说要远迎恩师，独自驾舟而去，谁知他去而不返，留下伯牙独自一人在岛上。

伯牙四望无人，只见海水激荡奔涌，海鸟悲鸣呼号，山林杳杳冥冥，伯牙怆然叹道：“先生将移我情”。于是抚琴高歌，创作了《水仙操》，韵律与心神合一。曲终之时，成连的船象箭一样出现在伯牙的面前，从此，伯牙弹琴出神入化，成为天下妙手。

而伯牙与钟子期的故事见于《吕氏春秋》和《列子》中。

俞伯牙善鼓琴，钟子期善听。有一次，当俞伯牙意在表现巍峨的高山时，钟子期会回应道：“善哉，峨峨兮若泰。”而当意在流水时，钟子期会感慨地说：“善哉，洋洋兮若江河”。无论俞伯牙想弹什么，钟子期一定能心领神会。俞伯牙游览泰山时遇到暴雨，只好在悬崖下避雨。俞伯牙感到心悲，以抚琴来渲泄自己的情绪。琴声最初表现久而不停的雨声，后来是山崩的巨响。每奏一曲，钟子期都能说出伯牙的心声，令俞伯牙感叹不已。

后来，钟子期因病而逝，俞伯牙悲痛万分，世上再也没有值得让他为之抚琴的人了。于是俞伯牙破琴折弦，终生不再抚琴。

成语“高山流水”、“伯牙绝琴”、“伯牙之叹”等都出于这个典故。后世有“万两黄金容易得，知音一个最难求” 的感叹。但我们也从中可知一个好的琴家，高超的琴技仅是一个方面，而其达到与天地相通的空灵境界方是他成为天下妙手的根本。