人に言いたいように言わせておいて、自分ではさからわないことを譬えた四字熟語です。
【牛と呼び馬と呼ぶ】と訓読みされます。

『荘子』：天道篇にでてきます。

士盛綺（シセイキ）という人が、老子は聖人であるという噂を聞きつけ、遠路はるばるやってきました。
かなり期待して訪問したのですが、その乱雑な生活ぶりに失望し、悪態をつけて帰ってしまいました。
その間、老子は無反応でした。

士盛綺はその翌日再び老子を訪ねました。
その時の会話の中に【呼牛呼馬】が出てきます。
　　
　　士成綺は翌日再びやってきた

　　「昨日は、あなたに悪口をつきましたが、今日になってみると心にむなしさを感じます。
　　これは何故でしょうか」
　　
　　老子は答える「私は私自身、知恵の優れた者の境地から脱却したと思っています。

　　昔者、子呼我牛也、而謂之牛、
　　昔者（きのふ）、子（シ）我を牛と呼ぶや、而（すなは）ち之（これ）を牛と謂ひ、
　　　　　昨日、あなたが私を牛と呼べば、私は自分を牛だと思い、
　
　　呼我馬也、而謂之馬。
　　我を馬と呼ぶや、而（すなは）ち之（これ）を馬と謂へり。
　　　　　馬と呼べば馬だと思っていました。

　　苟其有實、人與之名而弗受、
　　苟（いやし）くも其の実（ジツ）有り、人之に名を與（あた）へて受けざれば、
　　　　　（人格的）内容を備えていながら、人の与えた名称を受け入れなければ、
　　受其殃。
　　再び其の殃（わざはひ）を受けん。
　　　　　重ねて災いを受けるでしょう。

私の行為は、ご覧のとおりで、別に何かやりたいからやると言ったものではありません」。

老子は生地のままを人に示し、飾ろうという気持ちは全くなく、人が何を言おうがお構いなし。
評価という目で人を見ることはしない。すべて自然のままである。
一方、士成綺の目には尺度があり、その尺度で人を見るため、かえって自己矛盾に陥ったり、心の虚しさを感じざるを得なくなったようです。