【過（あやま）ちを改め自（みずか）ら新（あら）たにす】と訓読みされます。
自分の過ちを改めて新たに出直すこと、また過ちを改めて心を入れ替えることを表す四字熟語です。

前漢第五代文帝の時、皇太子（のちの第六代景帝）と呉王劉濞（リュウヒ）の息子が、お金を賭けて双六をしていました。熱中しすぎた皇太子が双六盤を投げつけて劉濞の息子を死亡させるという事件がありました。

劉濞はこの事件以来、病と称して諸侯王の義務である入朝を止めてしまいました。
景帝が即位したとき、皇太子時代から側近であった鼂錯（チョウソ）が御史大夫（ギョシタイフ：官吏を監察する仕事）になりました。

鼂錯の持論は、難くせを付けて、諸侯王の土地を奪うことでした。
呉王劉濞に対しては
『病気と詐称して入朝していない。呉王は、当然、【改過自新】すべきである』
という理由で、呉の経済活動の重要な二つの地域を削り取ってしまいました。

これがきっかけになりまして、B.C.154年「呉楚七国の乱」が起こりました。

以上は『史記・呉王濞列伝第四十六』に出ていた史実の略記です。

また、言い回しは違いますが、『論語・學而第一』には
【過ちては則（すなは）ち改むるに憚（はばか）ること勿（なか）れ】
　　　　過ちがあったら、すなおに認めて、すぐ訂正すること。

『書経』では
【過ちを改むるに吝（やぶさ）かにせず】
　　　　過ちを改めることを躊躇（ためら）わない。　グズグズしないで、すぐ改めなさい。

大昔、紀元前からの戒めです。

間違ってはいけません。やることをやってからの増税です。
万が一、増税を決めても、それは過ちなのですから、すぐ改めればそれはそれで許します。