1926年10月，徐志摩和陆小曼奉徐申如之命南回，因为在硖石徐申如给他们新婚造的房子还未最后竣工，徐志摩夫妇只能先在上海呆一个多月。在徐志摩给前妻张幼仪的信中说：“我们在上海一无事情，现在好了，房子总算完了工，定十月十二（阴历）回家，从此我想隐居起来，硖石至少有蟹和红叶，足以助诗兴，更不慕人间矣！”

12月11日，徐志摩和陆小曼回到徐志摩的家乡浙江硖石。陆小曼第一次进徐家，由于徐申如对陆小曼有很深的成见，对这个媳妇，徐申如并不喜欢。而且，在生活中，也流露出了对陆小曼生活习惯的不满。因为陆小曼不仅一点事情也不会做，而且一副城市大小姐的派头，什么都要高档的。更让徐申如生气的是，他想让陆小曼管理徐家的生意，陆小曼竟然不会管钱！徐家是生意人家，媳妇的不问世事让徐申如难以接受。一怒之下，徐申如夫妇离开硖石，起程去北京找张幼仪了。

公公婆婆的离开，无疑给陆小曼一个沉重的打击。不久，就得了肺病，休养了一段时间后，身体才慢慢恢复。没有了二老的束缚，徐志摩和陆小曼在硖石的生活反而过得轻松自在。

可惜好景不长，1927年2月，北伐军东路军发起江浙战争，3月，北伐军占领杭州，随着战事的临近，徐志摩和陆小曼不得不中断在硖石的如世外桃源般的生活。