自分に過ちがあれば、憚（はばか）ることなく改める、という意味です。

『周易』下経の「益」というところに出ている四字熟語です。

　　君子以見善則遷、
　　君子以て善（ぜん）を見ては則（すなわ）ち遷（うつ）り、
　　　　　立派な大人は、人が善を行うのを見れば、速やかにこれを学び行い

　　有過則改。
　　過（あやま）ちあれば則ち改（あらた）む。
　　　　　自分に過ちがあれば、早速にこれを改める。

『論語』の學而篇と子罕篇にも同義の言葉があります

　　過則勿憚改。
　　過（あやま）ちては則（すなわ）ち改（あらた）むるに憚（はばか）ること勿（なか）れ。
　　　　　もし過ちがあったなら、見栄や面子にこだわらず、すぐに改めなさい、と。