他の山から採れた粗末な石でも、自分の山で採れた、ないしは自分の持っている玉（ギョク）を磨くのに役に立つということを表す四字熟語です。
自分に直接関係のないものでも、自分を向上させるのに役立つというたとえでもあります。

『詩経・鶴鳴』に
他山の石　以て錯（サク）と為すべし。他山の石　以て玉を攻（おさ）むべし、と二度記載されています。錯、攻　2字とも磨くという意味で使われています。

『言志耋録』第184條に具体的に書かれています。

　　人我れに同じき者有り。
　　　　　世間には性格や趣味が自分と同じ人がいる。

　　与（とも）に交る可（べ）けれども、而も其の益を受くること太（はなは）だ多からず。
　　　　　こういう人と交際するのは勿論よいことだが、
　　　　　大して益を受けることはないものだ。

　　我れに同じからざる者有り。亦（また）与に交る可けれども、
　　而も其の益は則ち尠（すくな）きに匪（あら）ず。
　　　　　（反対に、）自分とは性格趣味の違う人がいる。
　　　　　こういう人々と交際するのは良いことで、自分の為になることが多いものだ。

　　「他山の石、以て玉を磨く可し」とは、則ち是れなり。
　　　　　「他山の粗石でも我が玉を磨くには十分役に立つ」、とはこういうことを言うのである。