濁酒（にごり酒）を避けて、清酒を楽しむ、という意味です。
【賢】は、濁酒のことで、【聖】は、清酒のことです。

李適之の『罷相作 （相（ショウ）を罷（や）めて作る）』という詩に出てくる言葉を集めて『四字熟語にしたようです。』

　　避賢初罷相
　　賢（ケン）を避（さ）けて初めて相（ショウ）を罷（や）め
　　　　　わたしは賢者の登用される道を避けて、宰相を辞めたばかりのところだ。
　　　　　（腹黒い陰謀を避けるという意味を含んでいるそうです）

　　樂聖且銜杯
　　聖（セイ）を楽（たの）しんで且（しばら）く杯（ハイ）を銜（ふく）む
　　　　　聖人の道（清酒）を楽しんで、まあ、一杯やるとしよう。

　　爲問門前客
　　為（ため）に問う　門前の客
　　　　　そして、たずねてみよう。門前におとなう客人は、

　　今朝幾箇來
　　今朝（コンチョウ）　幾箇（いくたり）か来（きた）れると
　　　　　今朝は何人来たかね。