刘备从陶谦手里接管了徐州之后，用糜竺、陈登为辅佐。袁术自接邻的扬州起兵与刘备争夺徐州。建安元年吕布袭取徐州的治所下邳，守将张飞嗜酒误事，刘备的家眷都陷落在城里。刘备溃退到广陵收集败兵散卒，以图后举。糜竺与陈登辗转找到了刘备，糜竺原来是一个商人，家产十分丰厚。糜竺在广陵遇到刘备，刘备问及自己的家眷，糜竺说还在下邳城里。刘备丢了城池失去了甘夫人，弄得两手空空，无奈只有叹息一番。

　　糜竺有一个年已及笄的妹妹，长得很美艳。为了安慰刘备，他便将妹妹送给了刘备，并将家产倾囊而出充作军资。刘备正是穷困潦倒的时候，好像天下掉下一个馅饼，不仅使危军复振，而且还得到一个美女相伴。他写信给吕布请他送还家眷，互释嫌疑。吕布只是为了得到徐州的地盘，与刘备本来没有什么个人恩怨，便了得做个人情，将家眷送还了刘备，并且还格外开恩让没有地方安身的刘备驻扎在徐州的小沛。

　　甘夫人回来后，却发现刘备战场失意情场得意，又娶了一个小妾。不过她没有表现出不快的神情，古代男子三妻四妾本来是很平常的。甘夫人与糜夫人相见后寒暄了一番，然后暗中彼此偷偷打量对方，再将自己与对方做了一番比较。不过这是妻妾心中的小波澜，外人不得而知。

　　虽然吕布归还了甘夫人，但是刘备与吕布已经互生嫌怨。建安三年春，吕布派人去河内买马，半路上被刘备将马匹都抢走了，吕布正好没有借口，便遣部将高顺、张辽率兵攻打小沛。刘备知道自己的力量不支，飞书向许都的曹操求救。曹操立刻派遣夏侯惇领兵往援小沛。

　　夏侯惇来到小沛还没来得及安营，被高顺部下的锐骑冲得四散，急得他脚忙手乱。夏侯惇左目中了一箭，鲜血直流，多亏亲兵救护才逃出险境。刘备带着关羽、张飞前来接应夏侯惇，刘备正与高顺相遇，不料被张辽袭击背后，刘备全军陷落。他前后都没有了去路，不得已跑往梁地。小沛里只有孙干、糜竺等几个文士，甘糜二位夫人被吕布劫去。看来当刘备的老婆真是不容易，三天两头被人家抢走。

　　刘备跑到了梁地，正仓皇穷蹙的时候，曹操亲自督兵前来救他。救刘备是假，夺取地盘是真。曹军首先攻下了彭城，并将彭城的守兵平民全部杀戮一空，然后再引军进攻下邳。吕布作战失利，听信妻子严氏的话，又怀疑属下的谋士将领，导致将士离心，被部下侯成、宋宪、魏续出卖给曹操。这样刘备又找回了妻妾甘糜二位夫人。

　　建安五年曹操打败了刘备，甘糜二位夫人再一次被抢走，关羽也被擒。后来关羽听说了刘备流落到袁绍那里，遂带着二位夫人离开曹操回到刘备的身边。不过幼子阿斗在乱兵中窜匿西入汉中，被人贩子所卖。到了建安十六年，扶风人刘括避乱来到汉中，买到了阿斗。这时阿斗不知已经被卖了几次，估计是太傻的缘故，谁也不愿意养活他。刘括给他娶了媳妇，还生下一个儿子。起初阿斗与刘备失去联系时，还记得父亲叫玄德。邻居简雍后来依附了刘备，并告诉他阿斗的下落。于是刘备遣简雍到汉中寻找阿斗，张鲁知道后给阿斗洗了个澡送还给了刘备。