【小人閒居して不善を為し、至らざるところなし】、つまらない凡人は、一人で人目につかぬところにいると、悪事を働いてどんなことでもやってのける、という文章の中の四字熟語です。

【小人閑居】ではないのか、そうして【小人閑居して不善を成す】と覚えているが、どうなんだとの御意見が聞こえてきそうです。

この四字熟語は四書五経の内の、四書（論語・孟子・大学・中庸）の一つ『大学』の第一章一説に出ています。

新釈漢文大系『大學/中庸』、金谷治訳注『大學・中庸』いずれも 【閒居】でした。【閒】は「間」の正字で、康煕字典によりますと、「間」は【閒】の俗字という扱いになっていました。ややこしいですが【小人閒居】が正解のようです。

【小人】は中国古典の中で、君子の対比としていろんな言われ方をしています。
①　身分の低い人、②　つまらない人、③　自分を謙遜して言う言葉、④　背の低い人、等々。

【閒居】は人目に立たず一人でいることを表します。【閒】に静か、ひそかにと言う意味があります。
後に同音同義の「閑」が用いられるようになりまして【小人閑居】となったようです。

念のために申しますと、常用漢字の「間」の正字体が【閒】です。
常用漢字外で「間」を含む字は【閒】にしなければいけません。
アツカンは「熱燗」ですし、カンシャク持ちは「癇癪」持ちです。