袁天罡見李唐三兄弟都是普通之人，無非機緣巧合恰巧成事罷了。李世民還不是貪戀美色，跟他父親李淵一樣的貨色。他這麼一想，便有了離開京城之意。加上他畢竟也是脫不了俗之人，有點思念呂家莊呂瑩那如花如玉的面貌，溫柔鄉的滋味還是忘不了，更添了幾分回鄉的念頭。
袁天罡跟劉小麗一商量，說這裡幾股勢力較勁遲早會有各種亂事發生，剛好趁劉小麗肚子不是甚大，還能走動，不如回鄉下莊園安居養胎。
“相公，萬事你做主，我聽從你的安排。”劉小麗說道。
“那好，這幾天你命人收拾一下，我們這就先回呂家莊。”袁天罡說道。
天璣府內此時美女和家僕眾多，李唐有些金銀珠寶不時相送，這才維持了下來。現如今袁天罡要走了，跟李世民送的那幾個美妾一說，“我要回鄉下一段時間，你們願隨我走的可以走，留下來的，我給管家有些金銀珠寶，你們在這裡安穩度日一段時間是沒問題的。”
眾女子聽了，有的想跟隨，有的不願去鄉下。袁天罡也不多說，願跟的就讓她們跟著，不願跟的就讓她們留在府內。
為了她們生計著想，袁天罡跟在京中開米鋪和布莊等的青衣門弟子吩咐了，讓他們偶爾跟府中管家聯絡，提供一些日需品到府中，這才安心地離開了京都。
春香被袁天罡禁止出府了幾日，等李世民得到她的訊息，袁天罡已經離府多日了。袁天罡也不是官府中人，他不告而別也是正常。李世民聽聞他只是回鄉下見親人，也覺得是情理之中的事情，所以也沒有多想甚麼，也不派將士追趕。
劉文靜倒事先得到了袁天罡的告知，被問他要不要跟隨劉小麗而去。劉文靜已在李唐做官，跟李建成走得頗為相近，便回答身在朝中，已身不由己了。袁天罡見他這麼回答，也只是微微一笑，沒有更多話語，告辭出了門，回了天璣府。
劉文靜被問得有點莫名其妙，心想自己莫非在李唐會有禍端？要不袁天罡為何特地登門來邀自己同去鄉下呢？再說劉小麗只是前朝舊人事，也已不值得劉文靜死忠相守了，這麼一轉念，也似乎再也沒有捨去李唐跟隨的可能。
袁天罡一行數十人，騎馬的，坐馬車的，揹著寶劍的，拿著長槍的，各種各樣的青衣門人都有，與來時的寒酸已大不同了。一行人光鮮亮麗地行進在回鄉的路上。沿路的官道，不時有驛馬路過，他們還以為是京中哪位大官微服私訪出門了，都避在一邊等候他們過去，這才回到正道上面繼續趕路。
袁天罡顧慮劉小麗肚子大了，走走停停，見有大集市便休息，等第二天再行趕路。等回到呂家莊已是半月之後的事情了。
呂瑩她們早就得報了，等袁天罡他們在十里之外露面的時候，早在長亭外等候的莊丁，一個迎上前來，一個當下就飛奔回莊報喜去了。
袁天罡見呂家莊家丁迎上前來，見呂瑩的心思就更重了，連忙跟眾人說稍微加快點動作，趁天黑前趕回呂家莊就酒宴。
小武等青衣弟子聽了，都甚為振奮，都好像看見大魚大肉在面前一樣，齊聲高呼著要去呂家莊。
呂蒙和呂瑩得報，知道了大致人數，也就殺雞逮鴨連忙準備了起來。呂瑩和孫小妹趕緊再補了補妝，帶著孫小妹的孩子，一起往莊門口趕去迎接了。
等到她們倆趕到呂家莊門口的時候，遠遠已能望見袁天罡他們大隊人馬的影蹤了。
呂瑩和孫小妹見了，逗著孩兒毛頭，“小毛頭，阿翁要回來了…你阿翁要回來了，記得要叫阿翁哦！”
“大媽媽…媽媽…，阿翁…”小毛頭才一歲多，會走路不久，聽了呂瑩大媽媽和孫小妹媽媽反覆的話，他跟著在叫喊著，拍著小手，也甚是興奮。
袁天罡見呂家莊漸漸清晰了起來，莊前聚了男男女女帶著小孩在等自己，他想可能是呂瑩和孫小妹帶著孩子前來了。他不知孫小妹生的孩子是男是女，心中不免有幾絲掛念，把腳一緊，驅馬前行了。
等到莊前不遠，袁天罡已清晰見到了呂瑩和孫小妹的身形，還是那麼白嫩靚麗，他不免心中激動，近前去翻身下馬，朝著她們兩人前去，“呂瑩，小妹，我回來了！”
“相公…你可算回來了呀。”呂瑩和孫小妹異口同聲地回應著，忍不住留下了喜悅的淚水。
孫小妹牽著小毛頭的手前來，讓小毛頭對著袁天罡叫阿翁。袁天罡見了不禁開心，伸手抱了起來，見他神情幾分像孫小妹，幾分像自己，也甚是開心。一手握著小毛頭的小手說道，“回莊嘍，我們回家去了…”
小毛頭雖然見是一陌生男子抱自己，但血肉相連，氣息感受到了，也沒哭泣，被袁天罡逗笑了，拍著手，也叫喊著，“莊…莊…”。
袁天罡一手抱著孩子，一手握著呂瑩，大步流星地往莊內走著。眾人跟著袁天罡，一擁而入。
呂蒙老莊主和呂子臧、呂鶯遠遠看見也迎了上來，笑嘻嘻地問候著袁天罡，把眾人迎進了大廳。
呂家莊這時已紅燈高掛，燈火通明瞭，大廳中間已擺放了幾桌酒菜，呂蒙和呂子臧命人招待著袁天罡帶來的其他人。
呂瑩見劉小麗肚子已大，連忙上前握住她的手，叫道“妹妹這一路辛苦了！”
“姐姐，我們終於又見面了。”劉小麗也開心，曾經在呂家莊她住得也舒心，跟呂瑩同侍一夫也沒有爭風吃醋，兩人也甚是能聊得來。
劉小麗給呂瑩和孫小妹介紹了其他幾個美妾，說明了是秦王李世民和齊王李元吉他們所賜，現在也跟著袁天罡。
眾美妾走上前來，拜見了呂瑩和孫小妹，都甚有禮貌。原來一路之上，袁天罡已經跟她們有所介紹，說呂瑩是大姐，劉小麗都要聽呂瑩的。眾美妻見她們本來就在劉小麗之下，現在去呂家莊是呂瑩為尊，不是劉小麗為老大了，心中反而有點竊喜，都有了種推翻老大的感覺了。如今見了呂瑩，更是叫姐姐多了幾分親密。
呂瑩見了倒也不反感，見她們落落大方，都是世所少見的美女，想必也是大家閨秀出身。她沒想到的是，這些女子是官府之內調教出來的守規矩之人而已。
袁天罡見她們相處融洽，心中也甚是欣慰。他最擔心的就是怕這幾個女子爭風吃醋，暗中相互誰也不服誰，以至於搞得自己雞犬不寧，家宅難安。