КГБ располагал органами в каждом субъекте СССР. В автономных и союзных республиках действовали КГБ при Совете Министров соответствующей республики (с 1978 г. - КГБ республики), а в краях, областях и автономных областях - Управления КГБ. На более низких уровнях КГБ первоначально почти не присутствовал: только в западных областях Украины и Белоруссии и в Прибалтике действовали городские и районные уполномоченные КГБ. Со временем такие аппараты уполномоченных начали создаваться и в остальных частях страны. Согласно Постановлению Политбюро ЦК КПСС №П47/97 от 17 июля 1967 г. аппараты уполномоченных были переименованы в городские и районные отделы и отделения КГБ, было создано 200 новых отделов и отделений.

Структура территориальных органов повторяла центральный аппарат, но в меньшем масштабе - Главкам и Управлениям центрального аппарата соответствовали подразделения с тем же номером но меньшего уровня - как правило отделы и службы (КГБ наиболее крупных республик, например Украинской ССР, могли состоять из Управлений). Существовали и отличия - так, в состав территориальных органов долгое время не входили 3-и подразделения (военной контрразведки). Лишь в 1983 г., после того, как на 3-е Главное управление КГБ СССР было возложено контрразведывательное обеспечение органов МВД, на местах также были созданы 3-и отделы - Управления. Более подробно структуру территориальных органов можно рассмотреть на примере КГБ Украинской ССР.

5 сентября 1991 г. органы КГБ в большинстве субъектов РСФСР, а 25 сентября - и УКГБ по г. Москве и Московской области были переподчинены КГБ РСФСР. В этот же период Комитеты госбезопасности провозгласивших независимость республик вышли из подчинения КГБ СССР. В течении осени-зимы 1991 г. большинство из них было переименовано новыми властями (к настоящему времени КГБ существуют только в Беларуси и Южной Осетии), а КГБ Эстонии, Латвии и Литвы - полностью упразднены.