根拠のないでたらめな言葉を、いい加減な気持ちで聴くという意味です。

「妄言」は、口から出まかせに言う。根拠のないでたらめな発言。
「妄聴」は、考えなしに聞き入れることを言います、ですからいい加減に話を聞くことでもあります。

話をする人も話を聞く人も、どちらもいい加減な様子をいう四字熟語です。

出典は『荘子』齊物論です。

　　予嘗為女妄言之、
　　予（わ）れ嘗（こころみ）に女（なんじ）の為 （ため）に之を妄言（モウゲン）せん。
　　　　　お前のためにでまかせを聞かせよう。

　　女以妄聽之。
　　女（なんじ）、以て之を妄聴（モウチョウ）せよ。
　　　　　お前もいいかげんに聞けばよかろう

その妄言というのは

　　物凄い聖人というのは、
　　太陽や月と肩を並べて宇宙を小脇にかかえ、
　　万物を一つにして貴賤の差を無視し、
　　自分は千万年も悠々と生きていく。

いい加減に聞いておきましょう。