此時(shí)法西斯主義也開(kāi)始傳入蘇聯(lián)，斯大林不希望法西斯主義在蘇聯(lián)傳播，所以作為國(guó)家安全局的首領(lǐng)，亞戈達(dá)自然要為這件事情找個(gè)解決辦法。僑民與德國(guó)進(jìn)行合作，傳播法西斯主義，蘇德之間的關(guān)系便出現(xiàn)了微妙的情況。

亞戈達(dá)這個(gè)人非常自滿(mǎn)，尤其他在國(guó)家安全機(jī)關(guān)工作一段時(shí)間之后更是如此，比以前更加敏銳和能干了，他漸漸分不清楚哪些是敵人，準(zhǔn)確來(lái)說(shuō)是斯大林的敵人。事實(shí)上在基洛夫被刺殺那件事情上，斯大林就已經(jīng)很不滿(mǎn)了。亞戈達(dá)要搜查隱藏的白衛(wèi)軍分子，斯大林就說(shuō)不要浪費(fèi)時(shí)間，對(duì)于斯大林來(lái)說(shuō)隨時(shí)都可能撤掉亞戈達(dá)，他只是在等待一個(gè)更加得力的助手。果然，這個(gè)人他終于等到了，他就是葉若夫。

1936年9月25日，正在休假的斯大林從索契給政治局委員們發(fā)來(lái)一封電報(bào)。與他一起在電報(bào)上簽字的還有政治局候補(bǔ)委員、中央組織局委員安德烈·亞歷山德羅維奇·日丹諾夫。電報(bào)中寫(xiě)道：“我們認(rèn)為，任命葉若夫同志為內(nèi)務(wù)人民委員是完全必要的和緊急的事情。亞戈達(dá)顯然在揭露托洛茨基—季諾維也夫集團(tuán)的工作中未能出色完成自己的任務(wù)。國(guó)家政治保安總局在這項(xiàng)工作上延誤了4年時(shí)間。所有黨的工作者和內(nèi)務(wù)人民委員部大多數(shù)州代表都這樣講?！保?6］

自此亞戈達(dá)政治生涯開(kāi)始走下坡路。亞戈達(dá)從1934到1935年逮捕了26萬(wàn)人，不過(guò)這也沒(méi)有他的后任葉若夫逮捕和槍殺的多，所以從這個(gè)角度來(lái)看，亞戈達(dá)的確沒(méi)有葉若夫更加有效率。但是事實(shí)上亞戈達(dá)的下臺(tái)，跟葉若夫本人也有很大關(guān)系，在前政治局委員和工會(huì)領(lǐng)導(dǎo)人米哈伊爾·帕夫洛維奇·托姆斯基于1936年8月22日自殺后，曾給斯大林留下一封信，讓斯大林具體問(wèn)題可以問(wèn)托姆斯基的妻子。

斯大林還在休假的時(shí)候，詢(xún)問(wèn)托姆斯基的事情就落在了葉若夫和政治局委員謝爾戈·奧爾忠尼啟則身上。葉若夫趁此機(jī)會(huì)則跟斯大林說(shuō)，托姆斯基的妻子說(shuō)是亞戈達(dá)讓其走上右翼反動(dòng)派道路的。這種說(shuō)法有人認(rèn)為是無(wú)稽之談，但是從另外一個(gè)側(cè)面也可見(jiàn)國(guó)家政治局領(lǐng)導(dǎo)這個(gè)職位競(jìng)爭(zhēng)之激烈。

亞戈達(dá)在1936年9月26日被任命為郵電人民委員，接著被轉(zhuǎn)入預(yù)備役，最后在1937年3月18日被葉若夫指控說(shuō)他是沙皇暗探局的偵探、騙子和盜用公款者。緊接著，他就被解除職務(wù)，葉若夫找了非常多的證據(jù)，使得亞戈達(dá)再也翻不了身了。1938年11月13日，亞戈達(dá)被處以極刑。