他の山から採れた粗末な石でも、自分の山で採れた、ないしは自分の持っている玉（ギョク）を磨くのに役に立つということを表す言葉です。

自分に直接関係のないものでも、自分を向上させるのに役立つというたとえでもあります。

『詩経・鶴鳴』に
他山の石　以て錯（サク）と為すべし。他山の石　以て玉を攻（おさ）むべし、と二度記載されています。錯、攻　2字とも磨くという意味で使われています。

『言志耋録』第184條に具体的にかかれています。

　　人有同於我者。
　　人我れに同じき者有り。
　　　　　世間には性格や趣味が自分と同じ人がいる。

　　可與交、而其受益不太多。
　　与（とも）に交る可（べ）けれども、而も其の益を受くること太（はなは）だ多からず。
　　　　　こういう人と交際するのは勿論よいことだが、
　　　　　たいして益を受けることはないものだ。

　　有不同於我者。
　　我れに同じからざる者有り。
　　　　　（反対に、）自分とは性格趣味の違う人がいる。

　　亦可與交
　　亦（また）与に交る可けれども、
　　　　　こういう人々と交際するのは良いことで、

　　而其益則匪尠。
　　而（しか）も其の益は則ち尠（すくな）きに匪（あら）ず。
　　　　　しかも交際すると自分の為になることが多いものだ。

　　他山の石、可以磨玉、即是。
　　他山の石、以て玉を磨く可し、とは、即ち是れなり。
　　　　　他山の粗石でも我が玉を磨くには十分役に立つ、とはこういうことを言うのである。