清乾隆五十七年(1792年)，沈复30岁，住真州，后因父亲患病赴扬州，也病于此。其父亲因事迁怒驱逐陈芸。夫妇遂同居于鲁璋之萧爽楼，以书画刺绣为生。

清乾隆五十八年(1793年)，陈芸、沈复31岁，菜花黄时，偕客游南园。夏6月18日夫妇偕游吴江，夜泊于万年桥下。冬10月10日，沈复跟徐绣峰经商于粤，溯大江入江西。11月22日，沈复的生日，抵达南安。12月15日抵达广州，住靖海门内度岁。

清乾隆五十九年(1794年)，沈复32岁，正月在扬州帮船上冶游，前后约四个月，费百余金。夏5月，由原路赶回，7月到苏州。其父亲到萧爽楼招陈芸返回家中。

清乾隆六十年(1795年)，沈复33岁，住在青浦。中秋日，夫妇随母亲游虎丘。陈芸始遇憨园女，18日二人结为姊妹。

清嘉庆元年(1796年)，沈复年34岁，仍住在青浦。憨园女被有力者夺去，陈芸旧病复发。(注：《卷三》“自识憨园，年余未发”，而推测。)

清嘉庆二至四年(1797-1799年)，沈复35-37岁。居家闲赋，与程墨安开设书画铺。

清嘉庆五年(1800年)，陈芸、沈复38岁，仍闲居，8月17日，与客游无隐禅院，归来后作《无隐图》一幅。陈芸用10天尽力绣《心经》一部，而病加重。12月，家庭结构变化，26日五更天，夫妇往无锡东高山，住华大成家，在此度岁。

清嘉庆六年(1801年)，陈芸、沈复39岁。正月24日，女儿青君到王氏家为养媳。儿子逢森入市场学贸易。正月17日，沈复到江阴，20日又去靖江索债。遇风雪，甚狼狈。25日返回无锡，2月到上海，归途中顺便游虞山剑门，登山巅。后去扬州，为贡局司事，代理笔墨。

清嘉庆七年(1802年)，陈芸、沈复40岁。沈复在扬州，8月接到芸书信，说要来扬州。在扬州先春门外，租赁临河屋子两间。冬10月，陈芸带婢女阿双到扬州。12月，沈复被司事裁员。

清嘉庆八年(1803年)，陈芸、沈复年41岁，芸于春天2月，发血疾。沈复又到靖江借贷。奴阿双席卷家财逃跑。3月30日，陈芸死于扬州。厝棺材于扬州西门外金桂山。沈复以卖画度日。秋9月，代幕于江都县，在张禹门家度岁。

清嘉庆九年(1804年)，沈复42岁。春3月，其父亲稼夫死亡，沈复奔丧返苏州，夏天，移居禅寺大悲阁。秋7月，赴崇明岛。归来后去东海永泰沙，10月回来。

清嘉庆十年(1805年)，沈复43岁。春正月与夏氏家人游灵岩、邓尉。为夏介石画《幞山风木图》12册。9月9日随石韫玉溯江西上，住湖北荆州刘氏废院度日。

清嘉庆十一年(1806年)，春2月，由荆州到樊城，登陆后拐弯去潼关。沈复44岁。夏4月，儿子逢森死亡，卒年18岁。冬10月，随石韫玉眷属赴济南。石韫玉赠送其一小妾。第三卷《坎坷记愁》到此结束。

清嘉庆十二年(1807年)，沈复45岁。春2月，住在莱阳。秋天随石韫玉到北京。第四卷《浪游记快》到此结束。

清嘉庆十三年(1808年)，沈复46岁，作《浮生六记》第四卷。