他の山から採れた粗末な石でも、自分の山で採れた、ないしは自分の持っている玉（ギョク）を磨くのに役に立つということを表す四字熟語です。
自分に直接関係のないものでも、自分を向上させるのに役立つというたとえでもあります。

出典は『詩経・鶴鳴』です。10行の詩ですが、前半5行と、後半5行　ほとんど同じ内容です。
　　　　　読み下し文　　　　　　　　　　　　　　　　　　　　　意　訳
鶴　九皐（キュウコウ）に鳴いて　声　野に聞こゆ　　　　　　鶴　深き沢に鳴き、声　野に満つる
魚　潜んで淵（ふち）に在り　或いは渚に在り　　　　　　　　 魚が淵に潜んだり、渚に浮遊したりする
彼の園を楽しむ　爰（ここ）に樹檀（ジュダン）有り　　　　　 庭の美しさを楽しみ、そこには香木もある
其の下にはこれ蘀（タク）あり　　　　　　　　　　　　　　 　下には落ち葉がある
他山の石　以て錯（サク）と為すべし　　　　　　　　　　 　　他山の石を、砥石としよう

鶴　九皐に鳴いて　声　天に聞こゆ　　　　　　　　　　　　　鶴　深き沢に鳴き、声　天に満つる
魚　渚に在り　或ひは潜んで淵に在り　　　　　　　　　　　　魚が渚に浮遊し 淵に潜んだり
彼の園を楽しむ　爰に樹檀有り　　　　　　　　　　　　　　　庭の美しさを楽しみ、そこには香木もある
其の下にはこれ穀（コク）あり　　　　　　　　　　　　　　　下には雑木がある
他山の石　以て玉を攻（おさ）むべし　　　　　　　　　　　　他山の石を、砥石としよう

「他山の石　以て錯（サク）と為すべし」、「他山の石　以て玉を攻（おさ）むべし」は
よその山から出る普通の石でも、この山から出る玉を磨くことができるという意味で、そこから　
石を他人にたとえ、その人のいいこと悪いことを自分を磨くために役立てようという意味に使われるようになりました。

「他山の石」は｢人のふり見てわがふり直せ｣　の意味にも使われています。