芸孃的祖母自稱孃家姓潘，是芸娘祖父的續絃，比她祖父丁承業小了十多歲。
據說，當年芸孃的祖母潘氏是被其祖父從河裡救上來的，卻不肯說自己的事情，只說不記得了。正好當年丁承業死了妻子尚未續絃，就娶了這位來歷神秘但容貌上好的姑娘。
而後，潘氏七個月就早產生下了芸孃的父親丁來喜。當時就有謠言說芸孃的父親不是丁家的種，不過因為丁承業的維護和喜愛，丁氏一族倒是沒有說什麼。
在鄉下，重要的是祭祀而不是血脈，因此幫人養孩子並不是什麼大不了的事情。只要這個孩子長大了肯祭祀自家的祖宗，就是當自己的親生骨肉也沒什麼。
然而，潘氏卻因為孩子難產，傷了身子，以後再也沒有懷過孩子。
潘氏很勤快，並且知書達理，當年頗得人敬重。她有著一手極好的刺繡手藝，又識字，能繡佛經，大大地緩解了這個家庭的經濟壓力。
幾年以後，潘氏存了些錢讓丁承業的三個兒子都娶上了媳婦，又給嫡妻留下的女兒置辦了一份在鄉下來說極為豐厚的嫁妝將其嫁了出去。當時，村裡村外誰不稱讚潘氏這個繼母賢惠慈愛？
然而好日子在丁來喜十歲那年結束了。
丁承業在給人蓋房子時不小心摔了下來，摔得半死，主家也是窮苦人，賠不了幾個錢。為了給丁承業看病，潘氏幾乎將家裡能變賣的東西都變賣了。
可是，丁承業還是死了。
在那個時候，男人就是家裡的天，是一個家的頂樑柱。丁承業死後，他與嫡妻的幾個兒子，也就是芸孃的幾位伯父便以丁來喜不是丁家的種為由，分走了丁承業所有的遺產，將潘氏母子趕了出去。
潘氏並沒有離開越州，就在離家不遠處的樹林裡搭了幾間茅草屋住下來。她用自己開荒出來的地種上蔬菜，再以刺繡換取其他生活用品，艱辛地養大了兒子。
丁氏一族對丁來喜的身份一直持懷疑態度，但以前丁承業是承認這個兒子的，因此家族的態度模稜兩可。雖然很多人懷疑，卻並未將丁來喜逐出家族。
丁來喜家境不好，在族中又受人輕視，偏偏人才生得十分好，還識字，讓丁氏一族同齡的族人很是嫉妒。於是，只要有人給丁來喜做媒，丁家就有人出面說丁來喜的壞話，壞掉他的婚事。因此，丁來喜一直娶不上媳婦兒。
如此，丁來喜直到年近三十去外地做工，這才娶了個媳婦回家，幾年後才生下了芸娘。
因為家裡多了人口，而潘氏的身體也越來越差，家裡負擔很重。於是，丁來喜只能外出做工，以養活自己的母親和妻女。因為他經常幾個月都不能回家一次，芸娘也一直沒有弟弟妹妹出生。
就在芸娘四歲的時候，父母帶著她出門，說是去外祖家，誰知就遇上了海難。
等芸娘被父親的朋友送回老家，祖母潘氏差點哭瞎了雙眼。可是，眼淚除了表示軟弱，沒有半點作用。為了養大芸娘，潘氏不得不堅強地站起來。
這個時候，村裡有了謠言，說潘氏命不好，剋夫克子。而後，潘氏的三個繼子，芸孃的三位伯父就開始欺辱她們。經常潘氏好不容易用刺繡攢幾個錢買回一點米或者肉，就被幾個繼子搶了，理由是：都怪你這個掃把星剋死了我爹！
安然看得滿心憤怒，然而潘氏卻一直忍著，這一忍就是十多年，真的是歷經千辛萬苦才將芸娘撫養長大。
芸娘也是個能幹懂事的姑娘，很小的時候就能幫著祖母做事，七八歲就能做刺繡貼補家用，十來歲就跟著人學打漁。但她們一直無法擺脫被三位伯父欺凌的境況，直到後來遇到燕老三，家裡有了男人，還是個武藝高強的男人，這種情況才開始有了好轉。
卻也因為燕老三的強勢，一怒之下差點將芸孃的堂兄打死，也讓他們與丁氏家族結下更深的仇怨。經過族長的族老的干涉，這件事情雖然最後解決了，卻也告誡燕老三以後不許隨便打人，如果不然就要將潘氏和丁來喜逐出丁氏一族。
燕老三是很想帶著芸娘和祖母一起離開的，可是潘氏不肯。
安然知道，這個時代的人，家族觀念很重，而被逐出家族，是非要嚴厲的懲罰，無論在什麼地方都是被人看不起的。特別像潘氏這樣的人，堅強了一輩子，如果年老反而被丈夫的家族逐出去，她就是死了都不會安心的。
因為丁氏一族的支援，只要燕老三不在，家裡就難免被搶劫。等燕老三回來再上門去將對方打一頓，將東西搶回來。打得幾次，芸娘三位伯父才收斂了一些。