侯方域在归德稍事停留后，又一次赶往南京。就在侯方域和李香桃叶渡饯别之后不久，他们的爱情即遭到了一次严峻考验。是时，淮扬巡抚田仰慕李香之名，派人持三百金找到李香，要求一见。但李香鄙薄田仰之为人——田乃马士英和阮大铖一派人物，因谄事阮大铖而得官——便婉言谢绝了。一个社会地位低下的妓女，竟然不买封疆大吏的账，田仰恼羞成怒，认为李香是受了侯方域的指使，才故意让自己难堪，于是致信侯方域，加以切责。侯方域只得回了一封信，这就是侯方域文集中的《答田中丞书》。信中，侯方域一面替自己辩解，说明自己与李香却金拒见毫无干系，一面绵里藏针，对田仰暗施嘲讽。侯方域后来为李香所作的《李姬传》，也以此事结尾。
田仰求见示好，李香婉言谢绝，这一考验准确地说是考验李香，李香也经住了考验；但令人意外的是，此后不久，当侯方域再度前往南京时，他和李香的爱情故事竟然再也没有下文，桃叶渡头依依不舍的情话似乎都只是一场了无痕的春梦。