Спецвідділ складався з таких підрозділів:
– 1 відділення – спостереження за збереженням режиму секретності у всіх партійних, державних і громадських організаціях, начальник – В.М.Колосов;
– 2 відділення – створення шифрів і кодів для ОДПУ, НКВМС і НКЗС, радіоперехоплення, начальник – Федір Григорович Тіхоміров;
– 3 відділення – керівництво шифрувальною роботою в системі ОДПУ, зв'язок із закордонними резидентурами, а також керівництво таборами ОДПУ, начальник – Федір Іванович Ейхманс, він же помічник начальника Спецвідділу;
– 4 відділення – дешифрування перехоплених документів, начальник -Олександр Григорович Гусєв (з вересня 1923 по січень 1938 року), він же – помічник начальника Спецвідділу;
– 5 відділення – криптографічне обслуговування військового відомства, начальник – Володимир Дмитрович Цибізов;
– лабораторія (що у свій час іменувалася 7-м відділенням і займалася прикладною хімією і графологією, начальник – Євген Євгенович Гоппіус;
– технічне відділення, начальник – Антон Дмитрович Чурган;
– фотографічне, начальник – П. Алексєєв.
Коло питань, що вивчалися підрозділами, які працювали на лабораторію Гопіуса, було надзвичайно широким: від винаходів усіляких пристосувань, пов'язаних із радіошпіонажем до дослідження сонячної активності, земного магнетизму й проведення різних наукових експедицій. Отут вивчалося все, що мало будь-який відтінок таємничості.
Контроль технічних нововведень радянської криптослужби здійснював заступник начальника її оперативного відділу Ейхманс. Всі фахівці-криптологи та радіотехніки проходили за таємним позаштатним розкладом. Загальна кількість особового складу Спецвідділу складала 189 осіб.
Цікаво, що начальник Спецвідділу Бокій робив спроби використовувати для криптологічної діяльності фахівців з окультних та містичних наук. Так, взимку 1924 року він залучив до роботи на Спецвідділ вченого-містика Олександра Барченка. Основні наукові інтереси цього дослідника були зосереджені в сфері вивчення біоелектричних явищ в житті клітини, в роботі мозку та живому організмі в цілому. Свої лабораторні досліди Барченко суміщав з посадою експерта Спецвідділу з психології та парапсихології. Зокрема, ним розроблялася методика виявлення осіб, схильних до криптологічної роботи та розшифровування кодів.
Вчений виступав і консультантом при обстеженні всіляких знахарів, шаманів, медіумів, гіпнотизерів і інших людей, які стверджували, що вони спілкуються з примарами. З кінця 1920-х років Спецвідділ активно використовував їх у своїй роботі. Для перевірки цих «екстрасенсів» один із підрозділів служби Бокія обладнав «чорну кімнату» в будівлі ОДПУ за адресою: Фуркасівський провулок, будинок 1.
Дослідження та методика Барченка застосовувалися і в особливо складних випадках дешифрування ворожих повідомлень – в таких ситуаціях проводилися
