Калтенбрунер е роден во Рид им Инкрајс, мал град во Австрија, како син на адвокат. Образованието го стекнал во државната општа гимназија во Линц, и на универзитетот во Грац. Тргнал по стапките на татко му, а во 1926 и тој самиот станал адвокат. Сепак, на таа работа кратко се задржал (1926 — 1928), и тоа по австриските градови Салцбург и Линц. Бил е висок два метри.
Се придружил на Нацистичката партија и СС во Австрија во 1932 година, а ја имал улогата на претставник на округ (германски: Gauredner), и главен советник на 8-та СС дивизија. Во јануари1934 година бил кратко задржан во затвор со останатите нацисти. Подоцна истата година бил повторно затворен под сомневање во велепредавство и замешаност во убиството на тогашниот премиер на Австрија, Енгелберт Долфус, кој бил заслужен за првото Калтенбрунерово затворање. Но, поголемиот дел од оптужбата пропаднал, и Калтенбрунер во затвор поминал само шест месеци поради завера.
.svg){kind=small}
