由于他出色的組織才能，很快他就受到了重用，1930年11月，葉若夫被任命為中央組織分配處處長(zhǎng)，也就是說(shuō)，他開(kāi)始管理黨的所有干部。這個(gè)最重要的處的處長(zhǎng)直接受斯大林的領(lǐng)導(dǎo)。葉若夫這個(gè)人可怕的地方在于他本來(lái)是一個(gè)脾氣暴躁的人，但是當(dāng)他變?yōu)橹醒虢M織分配處處長(zhǎng)之后，突然變得和藹可親起來(lái)，令人喜愛(ài)。這也難怪有人后來(lái)稱他為“嗜血侏儒”了，這要比“笑面虎”還要冷酷和恐怖十倍。誰(shuí)也不知道這個(gè)“人人都以為他仁慈溫和的人”心里到底在盤(pán)算著什么。

葉若夫在1933年被任命為中央清黨委員會(huì)主席，之后當(dāng)選為黨的監(jiān)察委員會(huì)副主席，1935年2月1日當(dāng)選為中央書(shū)記。他后來(lái)取代卡岡諾維奇當(dāng)了黨的監(jiān)察委員會(huì)主席。從此他受到了斯大林的極大重視。他所表現(xiàn)出來(lái)的勤勉和忠誠(chéng)贏得了斯大林以及其他很多官員的高度評(píng)價(jià)。在他人看來(lái)，葉若夫幾乎“把自己90%的時(shí)間”都用于內(nèi)務(wù)人民委員部的工作。

1936年9月26日他又被任命為內(nèi)務(wù)人民委員。1937年在莫斯科的一次聯(lián)共會(huì)議上，斯大林作了題為《關(guān)于黨的工作中的缺點(diǎn)和肅清托洛茨基主義兩面派及其他兩面派的措施》的報(bào)告。他稱托洛茨基分子是“一群執(zhí)行外國(guó)情報(bào)機(jī)關(guān)下達(dá)的任務(wù)的毫無(wú)廉恥和不擇手段的危害分子、破壞分子、間諜和兇手”。而葉若夫則附和著斯大林，并且用他特有的陰陽(yáng)怪調(diào)的聲音暗示有一些同志在掩護(hù)某些破壞分子和托洛茨基分子。說(shuō)到動(dòng)情處，他會(huì)大力地向前伸出雙手，并用一種特別的聲調(diào)強(qiáng)調(diào)：“你們別看我個(gè)子矮，可是我有一雙斯大林式的強(qiáng)有力的手?！彼诎凳緞e人，他的無(wú)所不能。他那種對(duì)每個(gè)人都懷疑的眼神，讓當(dāng)時(shí)開(kāi)會(huì)的不少人膽戰(zhàn)心驚。他甚至直接威脅說(shuō)，不管是誰(shuí)，只要敢阻撓打擊人民公敵這項(xiàng)工作，那就要把這些人槍斃。

這次會(huì)議之后，葉若夫開(kāi)始了他的大清洗。他從國(guó)家安全機(jī)關(guān)清除掉5000多人，把大量新人調(diào)入國(guó)家安全機(jī)關(guān)，而這些新人中真正受過(guò)高等教育的寥寥無(wú)幾。誰(shuí)也不知道這到底是一個(gè)什么樣子的組合，不過(guò)這些烏合之眾正在影響著一國(guó)政治走向。

1937年7月，所有黨的委員會(huì)、內(nèi)務(wù)人民委員部機(jī)關(guān)和檢察院都收到了由斯大林、葉若夫和維辛斯基簽署的《關(guān)于清除敵對(duì)階級(jí)的殘余分子——過(guò)去的富農(nóng)、反蘇積極分子和刑事犯罪分子的行動(dòng)的搞法與規(guī)?！愤@一指示。

隨后葉若夫又簽發(fā)了關(guān)于在1937年8月5日開(kāi)始行動(dòng)的第00447號(hào)命令。各邊疆區(qū)和州都領(lǐng)到了具體任務(wù)——應(yīng)該逮捕多少人。被捕者被分成了兩類。第一類人馬上就被槍決了，根本不用走法律程序，第二類人被判刑8·10年。