秦侩愈听愈生气，本想马上了断赖布衣的性命，却又怕消息走漏，便暂且不动声色，籍称时候已晚，便返回京城。回到相府后，秦侩马上命令府上的两名护卫，当晚一定要把赖布衣杀死，已绝后患。这两名护卫，一个叫做牛江，一个叫做张进，两人都是武功高强的杀手。这一夜，两人分持利刃，朝着赖布衣的住处飞奔而来。
当晚，赖布衣觉得心神不宁，辗转难眠，只好下床点烛夜读。忽然，他瞥见窗前有两个黑影闪过，于是赶紧躲入床底。两名杀手一进门，便大声叫道：“赖布衣你还是乖乖的出来吧！免得咱们爷俩弯身去取你的人头。”赖布衣吓得浑身发抖，正在不知如何是好之时，听到其中一个杀手说：“张进，听说赖布衣是天下知名的地理师，我们现在若是请他指点，他一定会答应，你看如何？”
张进说：“丞相的作风你又不是不知道，今天你所说的话，不怕我回去告你一状吗？”牛江一听张进这么说，便举刀与张进厮杀，而赖布衣仍是动也不敢动一下。忽然，“啊！”的一声，一颗人头落在赖布衣的眼前，吓得赖布衣差点昏了过去。这时，胜利者向床底的赖布衣说：“大师，您可以出来了，牛江正等着你的指点。”
赖布衣这才松了一口气，慢慢的爬了出来。除了感谢牛江的救命之恩外，并稍加指点其治家之道。之后，便收拾行李，预备连夜逃走，而牛江自愿相随保护，赖布衣欣然允诺。途中，赖布衣问牛江，是谁派他们来的？牛江回答是丞相大人。赖布衣心想大事不妙，秦侩若获知张进被杀之后，必会派出大队兵马追来，应该改走山路，以躲避兵马的追杀。
在牛江领路之下，他们绕着蜿蜒的山路而行，才刚爬过一个山头，后面就已经传来兵马搜寻的声音。牛江说：“大师，追杀者个个身强体壮，我们是敌不过他们的。依我看，最多再半个时辰，追兵便会赶上，倒不如我们先找个藏身之所，等追兵走过，我们再出来。”
眼看这荒山野地，既无树林，又无山岩，哪里有避身的处所呢？赖布衣心里这么想。忽然，牛江灵机一动，告诉赖布衣：“我知道前面不远处，有一个猪居住的洞穴。”说完，便带着赖布衣往该处走去。那个洞穴口上杂草丛生，两旁乱石围绕，果然是个藏身的好地方，走近一看，里面躺着一只肥壮如牛的山猪。
牛江拿起刀，与山猪搏斗，不久山猪便负伤逃走。赖布衣见此洞只能容纳一人，正不知如何是好时，牛江连忙对赖布衣说：“大师，您留在世上，对世人的贡献比较大，区区一个牛江算不了什么。您赶紧躲进去吧！只希望国师在逃生之后，能为我捡拾骨骸，择地安葬。”话没说完，牛江便飞也似的离去，赖布衣阻拦不了他，只好先进入洞穴中，再做打算。
不一会儿，官兵果然路过此地，但并未留意在乱草之中的洞穴，继续向前搜索。牛江明知随后便会赶到，但恐怕官兵会发现赖布衣，只得牺牲自己，来引开官兵的注重力。果然走不到半里，牛江便被官兵追上。数百位官兵将牛江团团围住，令身手矫健的牛江插翅难飞。牛江与众士兵苦战了几回合，终究敌不过对方的人多势众，便当场持刀自刎，惨死在荒山野地中。
此时大队兵马都以为赖布衣已先逃跑，便继续向前追赶。当一切归于平静之后，赖布衣走出洞穴，看见不远处，牛江的尸体已血肉模糊，令人惨不忍睹，赖布衣马上放声大哭，说：“恩公啊！你我素昧平生，而你却能仗义相救，不但牺牲了自己，还曝尸在这山谷之中，我该如何报答你的救命之恩呢？”在哭了一阵之后，赖布衣背起牛江的尸首，决定为他寻觅佳地，替他安葬。
赖布衣四处张望，想找出一条逃生之路。忽然，他发现这座黄家山，有龙盘虎踞的山形；再望向对山，险恶陡峭，俨然是一头牛俯卧的姿态。他大叫一声说：“踏破铁鞋无觅处，得来全不费功夫，此处正是难得的佳地，就将恩公埋葬在此吧！预料不出三年，牛家必将出现杰出的将相之才。”
赖布衣将牛江安葬好之后，将自己的名字赖凤冈改为赖布衣，人称布衣大师，从此开始云游天下……传说赖布衣所著《青乌序》刚刚脱稿就被南华帝君的使者白猿取走，经一百多年后传给了刘伯温，刘伯温凭它辅佐朱元璋成就了帝业。又有传说孙中山先生的祖坟也是赖布衣堪定的。据传香港、广州、英德等城市都是由赖布衣堪定选址。
