此时是仁寿元年七月了。太子闻得李渊辞任，对宇文化及道：“张麻子这计极妙，只是枉害了李浑，反替这厮保全身家回去。”宇文化及道：“晋王苦饶得过这厮罢了；若放他不下，下官一计，定教杀却李渊全家性命。”
晋王笑道：“早有此计，却不消费这许多心思。”宇文化及道：“这计只是如今可行。”因附晋王耳边说了几句。晋王拊掌道：“妙计！事成后将他女口囊蠹尽以赐卿。只是他也是员战将，未易剪除。”宇文述道：“以下官之计，定不辱命；使不能尽结果他，也叫他吃此一吓，再不思量出来做官了。”两人定下计策，要害李渊。
话说李渊见准了这道本，着他做河北道行台太原郡守，便似得了一道赦书，急忙叫收拾起身，先发放门下一干人。这日月台丹墀仪门外，若大著小，男男女女，挨肩擦背，屁都挤将出来。
唐公坐在滴水檐前，看着这些手下人，怜借他效劳日久，十分动念，目中垂泪道：“我实指望长安做官，扶持你们终身遭际。不料逼于民谣，挂冠回去，众人在我门下的，都不要随我去了。”唐公平昔待人有恩，众人一闻此言，放声大哭，个个十分苦楚。
唐公见他们哭得苦楚，眼泪越发滚出来，将袖拂面忍泪道：“你们不必啼哭，难道我今日不做官，将你这些众人，赶逐去不成？我有两说在此：有领我田畴耕种的，有店房生意容身的，有在我门下效劳、得一官半职的，有长安脚下有什么亲故的，这几项人，都不要随我去了。若没有田畴耕种，店房生理，长安中又举目无亲，这种人留在京中，也没有用处，都跟我到太原去，将高就低，也还过了日子。”
这些手下入内，有情愿跟去的，即忙答应：“小的们愿随老爷。”人多得紧，到底不知是那个肯去那个不肯去。唐公毕竟有经纬，吩咐下边众人：“与我分做两班：太原去的，在东边丹墀；长安住的，在这丹墀。分定立了，我还有话。”
唐公口里吩咐，心中暗想道：“情愿去的，毕竟不多。”谁料这干人略可抽身的，都愿跟归太原，有立在西丹墀的，还复转到东边去，一立立开，东西两丹墀，约莫各有一半。那些众人在下边纷纷私议：在长安住下的，舍不得老爷知遇之恩；要去时，奈长安城中，沾亲有故，大小有前程羁绊，生意牵缠，不得跟去。故此同是一样手下人，那西边人羡东边人，好像即刻登仙的一般。
唐公问西丹墀：“都是长安住下么？”有几员官上来禀谢道：“小人蒙老爷抬举，也有金带前程。”有几个道：“小人领老爷钱本房屋。”有几个禀道：“小的领老爷田畴耕种，这项钱粮花利，每年赍解到老爷府中公用。”唐公听毕，吩咐把卷箱抬出来，不拘男妇老幼，有一名人与他棉布二匹，银子一锭。赏毕又吩咐道：“我不在长安为官，你众人越该收敛形迹，守我法度。都要留心切记！”众人叩头去了。
唐公又向东边的道：“你们这干是随去的了么？”众人都上前道：“小的们妻孥几辈了，情愿跟了老爷太原去。”唐公吩咐开一个花名簿，给与行粮银两，不许骚扰一路经过地方，细微物件，都要平买平卖，强取民间分文，责究不恕。吩咐了，退入后堂少息。
只见夫人窦氏向前道：“今日得回故里，甚是好事；只是妾身身怀六甲，此去陆路，不胜车马劳顿；况分娩将及，不若且俄延半月起程。”李渊道：“夫人，主上多疑，更有奸人造谤，要尽杀姓李的人，在此一刻，如在虎穴龙潭，今幸得请，死还归故乡死。你不晓得李浑么，他全家要望回去是登天了！”
窦夫人默默无言，自行准备行李。李渊一面辞了同僚亲故，一面辞了朝，自与窦夫人、一个十六岁千金小姐，坐了软舆；族弟道宗与长子建成骑了马，随从了四十余个彪形虎体的家丁，都是关西大汉，弓上弦，刀出鞘，簇拥了出离长安。
回首长安日远，惊心客路云横。
渺渺尘随征骑，飘飘风弄行旌。
此时中秋天气，唐公趁晴霁出门得早；送的也不多，止有几个相知郊饯。唐公也不敢道及国家之事，略致感谢之意，作别起程。人轻马快，一走早已离京二十余里，人烟稀少。忽见前面陡起一岗，簇着黑丛丛许多树木，颇是险恶：
高岗连野起，古木带云阴。红绣天孙锦，黄飘佛国金。
林深鸟自乐，风紧叶常吟。萧瑟生秋意，征人恐不禁。
这地名叫做楂树岗。唐公夫妇坐着轿，行得缓，三四十家丁慢带马，前后左右，不敢轻离。只有道宗与建成赶着几个前站家丁，先行有一二里多路。建成是紫舍冠红锦袍，道宗是绿扎巾，面前绣着一朵大牡丹花玄囗袍，肩上缠有一条大剥古龙金鹘兔带，粉底皂靴。向前走一个落山健，赶入林子里来。若是没有这两个先来，唐公家眷一齐进到林子内，一来不曾准备，二来一边要顾行李，一边要顾家眷，也不能两全，少不得也中宇文化及之计；喜是这几个先来，打着马儿正走。
这边宇文化及差遣扮作响马的人，夤夜出京，等了半日，远远望见一行人人林：一个蟒衣，是个官员模样；一个小哥儿，也是公子模样，断然道是唐公家眷。发一声喊，抢将出来；都是白布盘头，粉墨涂脸，人强马壮，持着长枪大刀，口里乱呛喝道：“无须儿拿卖路钱来！”
李建成此时见了，吃