克格勃總部設在莫斯科捷爾任斯基廣場二號,與克里姆林宮相隔了兩個很長的街區。遠遠望過去,總部主樓是一座灰色的石質建築物。十月革命前,這幢大樓屬 於全俄保險公司,革命後,這幢大樓成了「契卡」總部,一直到現在,這堻ㄛO蘇聯秘密警察的中心。舊樓有一個院子,院子的一側是盧比揚卡監獄。蘇聯歷史上的許多著名人物,包括國家保安機關的一些頭目,如雅格達、葉若夫,就是在盧比揚卡監獄的地下室堻Q槍決的。舊樓旁邊一幢九層樓是第二次世界大戰後,由政治犯和德軍俘虜修建的,此外,周圍還有一些沒有標誌的大樓群。
其實,除了捷爾任斯基廣場的這些大群外,在莫斯科周圍還有許多經過偽裝的大樓和公寓,克格勃各部門的負責人,除了在捷爾任斯基廣場的大樓埵釵菑v的辦公室外,在其他地方都有進行實際活動的辦公地方。
從外面望過去,總部大樓幾乎每個面對院子的窗戶都裝有鐵欄柵,掛蚅Y嚴實實的窗簾,根本望不到大樓的情況。
大樓周圍以及內部,都有一套非常嚴格的保安措施。克格勃的所有工作人員,都 必須遵守嚴格的保密制度,他們從錄用到退職,在任職的每一個階段,都要接受政治上的嚴格的特殊審查。而實際上全體人員都是黨員,他們必須服從黨的紀律,保守黨的機密,這就更加令克格勃的組織機構出現極端嚴重的神秘化,甚至造成工作的低效率。
例如克格勃在國外的一些活動,執行每一細節的人員都在自己的崗位上,唯命是從地按照自己直接上司的指令行事,某個軍官才是完整地掌握整個活動的唯一 人物,假如他病倒了,或一個偶然的事故或本人被外國政府驅逐出境,那整個作戰行動計劃只能中斷。
克格勃的內部組織機是很嚴密的。它由四個管理總局、七個直屬局以及六個直屬處組成,還有許多下屬機構,分別稱為局、處、科。
在以上組織結構中,最重要的部門是第一管理總局、第二管理總局、第五管理總局和軍隊管理局。