智顗當(dāng)天夜里，住到城外的禪眾寺，楊廣又讓諮議參軍柳顧言“致書請(qǐng)留，待來年二月，約至棲霞送別”。棲霞寺是南京的一個(gè)大寺，至今仍在。于是智顗只好在城外住了幾個(gè)月。

據(jù)說和楊廣不合作的，并非智顗一人，蘇州虎丘的智顗琰進(jìn)了慧日道場，不久也回山了。

雙方在較量中，都表現(xiàn)出足夠的耐心。數(shù)月中，楊廣遣人送書，要師父不要走，還要柳顧言送禮物。請(qǐng)智顗在攝山度夏。僧人們夏天有三個(gè)月不出門，在廟里度過?？赡軓挠《葌鱽?，印度酷熱，因此有這習(xí)慣。但智顗還是不愿意留，又要回廬山東林寺，并請(qǐng)楊廣為“東林峰頂兩寺檀越（施主）”。

楊廣答應(yīng)下來，智顗又回到廬山。

智顗回到廬山，看到山下驛站，人員來往很雜，鬧得山下寺廟很不清靜。就致書楊廣，楊廣即付有司，“勒彼州令去公私使命，不得停止”。有楊廣的命令，不管公私都不能在那里停留，寺廟安靜了。

七月，楊廣派人送去鹽米，但智顗卻上衡山，拜謁師父的墓去了。楊廣知道后，又致書請(qǐng)智顗到江都做住持。智顗不做理會(huì)，十二月回到了家鄉(xiāng)。家鄉(xiāng)人扶老攜幼到戒場去看望，智顗講經(jīng)，聽眾有四五千人，是荊湘之地從來沒有過的。

智顗還在當(dāng)陽縣玉泉山建立精舍，重修十住寺，打算住在這里不走了。

據(jù)說這里本來十分荒涼偏僻，野獸蛇暴經(jīng)常出沒，創(chuàng)寺之后，決無憂患。是年春夏大旱，老百姓都說是神發(fā)怒，智顗親自跑到泉源呼風(fēng)喚雨，使謠言自滅。

他的動(dòng)靜很大，引起了荊州總管達(dá)奚儒的注意。再聚法會(huì)時(shí)，遭到荊州的干涉，勒令解散。

智顗只好又給楊廣寫信，請(qǐng)楊廣做玉泉的大檀越，楊廣再次同意。后楊廣又寫信給達(dá)奚儒，請(qǐng)他對(duì)智者及所修玉泉寺多加關(guān)照。楊廣說了話，達(dá)奚儒也不好再橫加干涉，情形才轉(zhuǎn)好。