安全感是赵构而今最缺乏也最渴望的东西，建炎三年十月某夜发生的一桩小事很清楚地证明了这点。那时他从建康移驾回临安，中途暂宿于钱塘江边的寺院归德院，夜深人静之时门外忽有震天巨响滚滚而来，如奔雷，如天崩，把赵构生生自梦中惊醒。细听之下又觉得其声似万面鼓锣齐鸣，铿锵激越，隐有金戈碰撞之声，仿佛千军万马正在激战。
赵构立即推醒身边的婴茀，迅速起身，边披铠甲边问外面的禁兵：“是不是金人袭来了？”
禁兵一愣，忙跑出去看，须臾跑回来禀道：“未曾发现金兵踪影。”
“那这声音……”
“是钱塘江潮起之声。”
自古以来，钱塘江潮势最盛，涨潮时犹如山崩地裂，一波波卷立起数丈水墙，倾涛泻浪，喷珠溅玉，势如万马奔腾，其声自然也响亮非常，能传数里。赵构这才反应过来，释然坐下，回想自己刚才的行为亦有些惭愧，看看婴茀，自嘲一笑：“是不是觉得朕一惊一乍，有失风度？”
必定是想
起了扬州那晚之事，他刚才惶恐得像只受惊的小动物。但面对他的提问，婴茀却摇摇头，俯身握住他冰凉的手，说：“乱世之中，官家随时保持警醒是必要的。”随后亦淡淡笑了：“刚才听到潮声，臣妾也很害怕。”
那时金帅完颜宗弼听说赵构要回临安，便大兴水师，准备由海道来袭。赵构在临安只留居了七日，见金军来势汹汹，愈逼愈紧，便复渡钱塘江至越州。此前赵构已经把隆祐太后及潘贤妃、张婕妤送至较为安全的虔州，身边照例只留婴茀一人。
金军一路攻城拔寨、势如破竹，不久后便攻破了建康，赵构带着婴茀频频移驾躲避，短短数月内差不多已跑遍江浙各城。建康城破后，江淮屏蔽已失，临安与越州等地都不再安全，赵构一路退至临海的明州。宰相吕颐浩劝他在迫不得已之时不妨出海暂避，道：“目前之计，唯有航海以避寇氛。敌善乘马，不惯乘舟，等敌兵退去，再还跸两浙。彼入我出，彼出我入，这本来就是兵家的奇计。”
随后的形势也逼得赵构无法另想良策。完颜宗弼长驰南进，先趋广德，再抵临安。临安守臣康允之匆忙逃走，钱塘县令朱跸自尽殉国，宗弼再遣大将阿里蒲卢浑率精兵渡江追击赵构，誓要将他活捉回金。赵构因此接纳了吕颐浩的建议，乘楼船入海暂避金兵。
自此一连数日舟行海中，途经定海、昌国等县而不靠岸停留，赵构终日郁郁难展笑颜。某日御舟如往日般在浩淼烟波中破浪前行，赵构在舟中阅书，婴茀随侍在侧，忽听外面甲板上“啪”的一声响，似有重物落下。两人当即出舱去看，但见原来是一条巨大的白鱼自海里跃出，竟跃到了舟上，此刻正在甲板上不住腾跳，兀自带着水珠的鳞片在阳光下闪着晶莹的光。
宫人们啧啧称奇，赵构默然漫看，一言不发，而婴茀则微笑着朝赵构盈盈一福，说：“臣妾恭喜官家，此乃大吉之兆。”
赵构问：“何以见得？”
婴茀道：“昔日周武王渡海途中也曾见白鱼献瑞，后来果然得以灭纣兴周。官家如今亦得此祥瑞之兆，可见天下不久后将庆升平。”
这话终于引来赵构舒眉一笑，对她说：“婴茀，你真是很有心。朕该怎样谢你呢？”
婴茀含笑答：“婴茀只要能见官家常露笑颜，便会觉得很开心。”
赵构牵她的手迈步回舱，亲笔写下诏书：进和义郡夫人吴氏为才人。
在舟上待到岁末，眼见天气一天冷似一天，北风凛冽，飞雪似杨花，水面上的御舟不足以御寒，居于其中寒冷异常，赵构遂准备登陆度岁，不料又接到接到越州失陷的消息，于是赵构又折回舱中，望着婴茀叹道：“看来我们只能在水面上过年了。”
“这也未必不好。”婴茀安慰他说，“今年官家在舟中过新年，就如渔翁一般。听说金国宗室将帅间彼此也在明争暗斗，或许这预示着贼虏鹬蚌相争，而官家将坐收渔人之利。”
“你很会说话。”赵构勉强一笑，“事到如今，真觉得这皇帝不当也罢，莫如真做渔翁，倒落得无忧无虑、逍遥自在。”
那年的元旦他们便在海上舟中度过。金兵追击不果，在攻下的城镇烧杀抢掠后亦不设重兵留守，掌握军权的知枢密院事张浚重用韩世忠、岳飞等将，稳步反击，逐渐收回了大部分江淮失地，赵构才得以登陆回去。