【不知不徳】は、知恵もなく、人徳もない、という意味です。
人望がある人には【智徳】が備わっているようですが、ホントに【智徳】が備わっているのか疑わしい、と言わんばかりの書き方で、
福沢諭吉『学問のすすめ』第17編に記載されています。

　　人望は智徳に属すること当然の道理にして、必ず然るべきはずなれども、
　　天下古今の事実においてあるいはその反対を見ること少なからず。

　　藪医者が玄関を広大にして盛んに流行し、
　　売薬師が看板を金にして大いに売り弘め、
　　山師の帳場に空虚なる金箱を据え、
　　学者の書斎に読めぬ原書を飾り、
　　人力車中に新聞紙を読みて宅に帰りて午睡を催す者あり、
　　日曜日の午後に礼拝堂に泣きて月曜日の朝に夫婦喧嘩する者あり。

　　滔々たる天下、真偽雑駁、善悪混同、いずれを是としいずれを非とすべきや。

　　はなはだしきに至りては、人望の属するを見て、本人の【不智不徳】を卜すべき者なきにあらず。

　　ここにおいてか、やや見識高き士君子は世間に栄誉を求めず、あるいはこれを浮世の虚名なり
　　として、ことさらに避くる者あるもまた無理ならぬことなり。

　　士君子の心がけにおいて称すべき一ヵ条と言うべし。