從此，他開始了曲折的一生，他經(jīng)歷了一個革命者所能經(jīng)歷的所有苦難。從1897年第一次被捕到1917年獲釋出獄，捷爾任斯基曾經(jīng)六次被流放、監(jiān)禁11年，在他不滿半個世紀(jì)的一生中，他前后有27年的時間在監(jiān)獄和流放中度過。

也因為這樣，多年的鐵窗囚禁和流放生活，造就了他鋼鐵般冷峻和剛毅的性格。1917年，出獄后的當(dāng)天，他被接到莫斯科工人代表蘇維埃第二次全體大會的會場，向全體代表發(fā)表了充滿感染力的講話，這時候他甚至連囚衣都沒來得及脫下來。

他的全俄肅反委員會從誕生之日起，就在革命中發(fā)揮了不可替代的作用，俄羅斯的第一支特種部隊成為肅反事業(yè)的堅定力量。

在肅反委員會特種部隊工作的日子里，他曾這樣寫信給他的妻子：

“我生活在火熱的斗爭之中，對于一個革命戰(zhàn)士來說，他的生活中沒有‘休息’二字。因為需要拯救我們的家園。沒有時間考慮自己。工作異常緊張，斗爭極其殘酷。但是在這場斗爭中我的內(nèi)心仍像過去一樣生機勃勃。我的全部時間用于不停頓的斗爭??我的思想使我成為一個冷酷無情的人，而在我的內(nèi)心有一個堅強的意志，那就是按照我的思想一直斗爭到底?！?/p>

由于多年的監(jiān)獄和流放生活的折磨，更是由于在十月革命前后和國內(nèi)戰(zhàn)爭期間的過度消耗，捷爾任斯基的身體受到了嚴(yán)重的損害。從1924年下半年開始，捷爾任斯基身體狀況開始惡化，年底，蘇共中央政治局不得不作出專門決定，要求他一周工作的時間不能超過四天，而且除非是重大決定的會議，否則一般性質(zhì)的工作會議都無須參加。盡管如此，捷爾任斯基的實際工作量并沒有減少。

列寧逝世后，黨內(nèi)斗爭又尖銳起來，為了平衡各種力量，使黨內(nèi)不至于發(fā)生內(nèi)訌和分裂，捷爾任斯基拖著病體嘔心瀝血，忘我工作。1926年7月20日，在一次蘇共中央會議上，正在發(fā)言的捷爾任斯基感到心臟一陣緊縮，回到家之后就進入了深度昏迷狀態(tài)，當(dāng)天下午他的心臟就停止了跳動。

斯大林在悼詞中用“燃燒”二字來形容捷爾任斯基的戰(zhàn)斗一生。蘇共中央政治局7月21日作出決定，定于7月22日為捷爾任斯基舉行葬禮，屆時全國下半旗致哀；將捷爾任斯基的遺體安葬在紅場列寧的墓旁邊；命名全俄肅反委員會——國家政治保衛(wèi)總局所在的大樓前的廣場為捷爾任斯基廣場，并在廣場中央豎起他的銅制塑像。從此，這座廣場以及廣場一側(cè)的大樓開始成為蘇聯(lián)秘密特工機構(gòu)和俄羅斯特種保安部門的代稱。