身分や地位などによらない、心からの付き合いのことを言ってます。
【布衣：フイ】は布で作った衣服のことで一般庶民の着物です。それで無位無官の人のことをいいます。

【完璧】や【刎頸の交わり】にでてきます趙の藺相如（リンショウジョ）に関係する四字熟語です。

【布衣之交】は、【璧（ヘキ）を完（まっと）うす】べく藺相如が秦王と対峙した時の場面での台詞です。

出典は『史記』廉頗（レンパ）藺相如（リンショウジョ）列伝です。

　　秦王（昭襄王：ショウジョウオウ）、章台に坐して相如を見る。相如璧を奉じて秦王に奏（すす）む。
　　　　　秦王、相如を引見した。相如は璧を捧げ持ち、秦王に奉呈(ホウテイ)した。

　　秦王大いに喜び、伝へて以て美人及び左右に示す。左右皆万歳を呼ぶ。
　　　　　秦王は、喜色満面、侍女や近侍の者に見させた。近臣達は万歳を呼んだ。

　　相如、秦王の趙の城を償（つぐな）ふに意無きを視（み）、乃（すなは）ち前（すす）みて曰く
　　　　　相如は、秦王が趙に城を与える気持ちが無いと見て、進み出て言った、

　　璧に瑕（きず）有り、請（こ）ふ王に指示せん、と。
　　　　　その璧には瑕がございます。お教えします。

　　王、璧を授（さづ）くるに、相如因（よ）りて璧を持ち、卻立（キャクリツ）して柱に倚（よ）り、
　　　　　王は璧を渡した。相如は璧を持ったまま柱の側に立ち、

　　怒髮上（のぼ）りて冠を衝（つ）き、秦王に曰く
　　　　　【怒髮衝冠：ドハツショウカン】して、いいました。

　　大王璧を得んと欲し、人を使はし書を発して趙王に至らしむ。
　　　　　大王は璧を手に入れようとして、人を使はして趙王に書簡を寄せられました。

　　趙王悉く群臣を召して議するに、皆曰はく、
　　　　　趙王は全ての家臣を召して協議なさいましたが、皆いいました。

　　秦は貪にして、其の強きを負み、空言を以て璧を求め、償城恐らくは得べからず、と。
　　　　　秦は欲深で、強さをたのんで、口約束だけで璧を取ろうとしている。
　　　　　代わりの城は恐らく手に入れることはできないだろう。

　　議秦に璧を予ふるを欲せず。
　　　　　協議は秦に璧を与えないことになりそうでしたが、
　　
　　
　　臣、以為へらく【布衣の交はり】すら尚（な）ほ相（あい）欺（あざむ）かず、況（いわ）んや大国をや。
　　　　　私は思いました、無位無官の者でさえ、互いに騙（だま）すことはしない。
　　　　　まして大国どうしではなおさらだ。

途中省略します。

　　臣、大王の趙王に城邑を償ふに意無きを観、故に臣復た璧を取る。
　　　　　私は、大王が趙に城を与えるおつもりがないと見ました。それで璧を取り返しました。

　　大王必ず臣を急にせんと欲せば、
　　　　　大王がどうしても私を追い詰めるならば、

　　臣の頭今璧と倶（とも）に柱に砕けん」と。
　　　　　私の頭を璧もろとも柱に打ちつけて砕いて見せましょう。