【閑（間）話】は、むだ話、という意味です。
　　　【閑】には、のどか、しずか、暇　　などの意味のほかに「むだ、役に立たない」の意味も
　　　ありますので、【閑（間）話】は、むだ話、となります。

【休題】は、話すことをやめるという意味です。
　　　【題】は、話を持ち出すと言う意味が有りますので、【休題】は話を持ち出すことを止める、すなはち
　　　話すことをやめるとなります。

二つを合わせた【閑話休題】は、むだ話をやめる、となります。
文中における使用例としまして、『水滸伝』十章に
　
　　しばらく閑話を把（と）りて休題し、ただし正話(セイワ)を説（い）わんや。
　　　　　むだ話をやめて本筋の話を語ろう。

とありますように、単独の四字熟語ではなく、むしろ接続詞的な使われ方をしています。
ですから『それはさておき、本題に戻ります』　などと訳されます。

しかし
【閑話休題】を、「ところで話は変わって」という意味で、本筋から脇道に入る為に使用する人が多いようです。本来は、脇道から本筋に話題を戻す為に用いる接続詞的な四字熟語なのです。

お解りいただけましたでしょうか。

斯く言う、私もしばらく前までは、「本筋から脇道」派　でした。