从此，他开始了曲折的一生，他经历了一个革命者所能经历的所有苦难。从1897年第一次被捕到1917年获释出狱，捷尔任斯基曾经六次被流放、监禁11年，在他不满半个世纪的一生中，他前后有27年的时间在监狱和流放中度过。

也因为这样，多年的铁窗囚禁和流放生活，造就了他钢铁般冷峻和刚毅的性格。1917年，出狱后的当天，他被接到莫斯科工人代表苏维埃第二次全体大会的会场，向全体代表发表了充满感染力的讲话，这时候他甚至连囚衣都没来得及脱下来。

他的全俄肃反委员会从诞生之日起，就在革命中发挥了不可替代的作用，俄罗斯的第一支特种部队成为肃反事业的坚定力量。

在肃反委员会特种部队工作的日子里，他曾这样写信给他的妻子：

“我生活在火热的斗争之中，对于一个革命战士来说，他的生活中没有‘休息’二字。因为需要拯救我们的家园。没有时间考虑自己。工作异常紧张，斗争极其残酷。但是在这场斗争中我的内心仍像过去一样生机勃勃。我的全部时间用于不停顿的斗争??我的思想使我成为一个冷酷无情的人，而在我的内心有一个坚强的意志，那就是按照我的思想一直斗争到底。”

由于多年的监狱和流放生活的折磨，更是由于在十月革命前后和国内战争期间的过度消耗，捷尔任斯基的身体受到了严重的损害。从1924年下半年开始，捷尔任斯基身体状况开始恶化，年底，苏共中央政治局不得不作出专门决定，要求他一周工作的时间不能超过四天，而且除非是重大决定的会议，否则一般性质的工作会议都无须参加。尽管如此，捷尔任斯基的实际工作量并没有减少。

列宁逝世后，党内斗争又尖锐起来，为了平衡各种力量，使党内不至于发生内讧和分裂，捷尔任斯基拖着病体呕心沥血，忘我工作。1926年7月20日，在一次苏共中央会议上，正在发言的捷尔任斯基感到心脏一阵紧缩，回到家之后就进入了深度昏迷状态，当天下午他的心脏就停止了跳动。

斯大林在悼词中用“燃烧”二字来形容捷尔任斯基的战斗一生。苏共中央政治局7月21日作出决定，定于7月22日为捷尔任斯基举行葬礼，届时全国下半旗致哀；将捷尔任斯基的遗体安葬在红场列宁的墓旁边；命名全俄肃反委员会——国家政治保卫总局所在的大楼前的广场为捷尔任斯基广场，并在广场中央竖起他的铜制塑像。从此，这座广场以及广场一侧的大楼开始成为苏联秘密特工机构和俄罗斯特种保安部门的代称。