言葉や行いを正しくし、世俗に従わないことを示唆した四字熟語です。
『論語』憲問篇にでてきます。

　　子曰、邦有道、
　　子日く、邦（くに）、道有れば、
　　　　　孔子が言いました。国が正しく運営されていれば、

　　危言危行。
　　言を危（たか）くし行（おこなひ）を危（たか）くす。
　　　　　言葉も行ないも高く清く保って差し支えないが、

　　邦無道、
　　邦、道無ければ、
　　　　　国が正しく運営されていない場合には、

　　危行言孫 。
　　行を危（たか）くし、言（ゲン）孫（したが）ふ。
　　　　　行ないは高く清く保つべきではあるが、
　　　　　言葉は控えめにして、舌禍を招かないように注意した方が善い。

『国が正しく運営されている』というのは、国民が安全・安心・安定した生活を過ごしている、状態を言います。