【屋下に屋を架す】と訓読みされまして、屋根の下にまた屋根を造るという意味から、無用なこと、無駄なことをするたとえです。
また、何の新味もなく、人の真似ばかりして独創性のないことのたとえにも使われます。

日本では、いつのころからか【屋下】ではなく【屋上】に換えて、【屋上、屋を架す】として訓読みで使われることが多いです。

『世説新語』にでているお話が、元になっています。

庾中初（ユチュウショ）という詩人が『揚都賦：ヨウトフ』という詩を作り、親戚の庾亮（ユリョウ）に見せました。
庾亮は親戚の誼（よしみ）もあり、大いにそれを評価しました。
人々は争ってそれを筆写したので、都の紙の値段が高くなり、【洛陽の紙価貴（たか）し】という状況を呈しました。

ところが、その詩を見た謝（シャ）太傅(タイフ：太傅とは太師、太保とならぶ三公の一つです)は、　
　
　　爾（しか）るを得ず。此は是れ【屋下に屋を架する】のみ。
　　　　　そうはいかない。それは屋根の下に屋根をかけたに過ぎない。
　　事事擬學（ジジギガク）して儉狹（ケンキョウ）たるを免れず
　　　　　事々に真似をしていて、全くクダラン。

と言ったそうです。