一九一七年，俄國十月社會主義革命，推翻了沙皇的統治。十月革命勝利後，在列寧的倡議下，一九一七年十二月二十日，全城人民委員會決議設立一個保衛蘇維埃國家安全無產階級專政機關，它就是「契卡」，契卡是俄文縮寫的「全俄肅清反革命和怠工特設委員會」的譯音。
契卡的任務是懲辦奸細、恐怖分子、怠工者、投機商人以及一切陰謀推翻蘇維埃政權的敵人。第一任的契卡領導人是捷爾任斯基。他上任後不久就把契卡的總部從當時的彼得格勒遷到莫斯科，搬進了沒收來的原全俄保險公司大樓。從那時開始，蘇聯秘密警察的總部就設在這裏。現在，克格勃總部的主樓仍然是這座灰色的石質建築物，主樓前的廣場仍然叫做捷爾任斯基廣場。
契卡成立不久，便迅速發展到三萬多人，具備了一個系統完整的組織所有的各種特徵，並履行它的職能，契卡設有秘密政治局和特務局，國內人民和軍隊實行政治控制，還設有國外局，專門搜集海外情報，打擊反共流亡者。
從契卡到國家政治保衛總局，名稱是改變了，但實際職能並沒有多大改變。國家政治保衛總局繼承了契卡的鎮壓職能，有組織地把政治控制擴展到社會的各個部門，甚至各個角落。契卡人員大部分留在國家政治保衛總局內，捷爾任斯基一直是國家保安機關的頭子，直到一九二六年死去。其後，由明仁斯基繼任。
當時的內務人民委員部有很大的權力，它除了直接控制國家安全總局外，還控制着民警、邊防軍、內衛軍、集中營、勞動營等，還控制了一部分運輸部門和經濟企業。而秘密政治警察則屬於國家安全總局。
雅格達的命運並不如他的前任，他於一九三六年被斯太林解除了職務。他被革職的最初理由是對一九三四年開始的大清洗運動不得力，後被指控為謀殺犯和外國間諜，經過「公開」審判後被槍決。雅格達的接任者是葉若夫，葉若夫身高只有一百五十公分，是個不尋常的「侏儒」，是當時殘酷的大清洗運動的得力幹將，但他的最終命運並不比他的前任好，他最後是在處死雅格達的盧比揚卡監獄的地下室裏被槍決的。
由於控制範圍太大，任務繁重，一九四一年，國家安全總局正式從內務人民委員部中分出來，重新命名為國家安全人民委員部。於是，秘密政治警察再次成為一個獨立的組織。貝利亞仍然是人民委員部的首腦，而國家安全人民部的新部長則是他的心腹麥爾庫洛夫。
戰後，蘇聯的戰略是強化對國外，特別是對美國的秘密活動，為了實現這一戰略 目標，當時的外交部長莫洛托夫主張，建立一個統一的組織來指揮所有的秘密活動。這個主張得到斯太林的首肯，他選派了富有反間諜經驗的阿巴庫莫夫中將組建新的情報委員會。新的情報委員會的建立，揭開了冷戰的序幕。情報委員會先後由莫洛托夫、佐林、維辛斯基任主席。情報委員會接管了國家安全部，國外的一切機構以及外交部的若干部門，甚至不顧軍方反對，接管了總參情報部，它大大加強了對國外的間諜和顛覆活動，機構和人員大大增加。然而，已躋身政治局的貝利亞郤對情報委員會心懷敵意，認為它是對自己權力的威脅，他設法削弱情報委員會的勢力，並設法讓斯太林相信，阿巴庫莫夫銷毀了某個陰謀計劃的證據。 於是斯太林逮捕了阿巴庫莫夫，撤銷了情報委員會。國家安全部又重攬了在國外進行秘密活動的全部職責。
蘇聯由新領導者們改組了整個國家安全系統。一九五四年三月十三，克各勃誕生了。克格勃是俄文「國家安全委員會」一詞的縮寫 ( KGB ) 的音譯，作為蘇聯的情報特務機關，它不僅具有傳統的政治警察職能，而且領導了國外的全部秘密活動。克格勃成為蘇聯領導集團對內實行控制，對外竊取情報和從事顛覆活動的得力工具。
克格勃與當年的契卡一脈相承，但它在國內的地位郤遠比當年的契卡更紮實和鞏固。一九七三年，克格勃主席安德羅波夫被提拔為政治局正式委員，至此，政治局十七名委員中就有三人──安德羅波夫、謝列平、佩爾謝，曾在國家保安機關中佔有要地位。這充分表明了克格勃地位的極端重要。一九九零年三月二十四日，蘇聯總統戈爾巴喬夫任命了總統委員會的十名成員，其中就有克格勃主席留奇科夫。能躋身於蘇聯最高決策機構之中，這些權勢是過去時代任何保安機關首腦都未曾有過。
克格勃主席克留奇科夫上將出生於一九二四年，一九四四年加入蘇聯共產黨一九四九年畢業於蘇聯函授法律學院，一九五四年畢業於蘇聯外交部高等外交學校，一九六七年住任國家安全機關，一九七八年出任國家安全委員會 ( 克格勃 ) 副立席，一九八八年起任主席。