Физика была представлена важными именами в Карлсруэ с тех пор, как в 1825 году был основан Политехнический университет. Вильгельм Эйзенлор основал первый физический институт в инженерной школе. Впервые техническую физику начали преподавать в 1864 году. По последним данным Фердинанда Брауна, физика в Карлсруэ получила сильный электротехнический акцент в последней трети XIX века. Преемником Брауна стал Генрих Герц, которому удалось экспериментально доказать электромагнитные волны в 1887 году и, таким образом, заложить основу для современных коммуникационных технологий. Герц последовал за Отто Леманном, который смог обнаружить жидкие кристаллы с помощью своего саморазвитого кристаллизационного микроскопа.
После Леманна в Карлсруэ преподавал и проводил исследования физик мирового уровня: Вольфганг Геде. Своими изобретениями он сделал возможными процессы современной техники высокого вакуума. Его время в Техническом университете Карлсруэ, начавшееся в 1919 году, резко закончилось, когда в 1933 году к власти пришли национал-социалисты: он был уволен за пропаганду демократических идей. В 1931 г. на кафедре электротехники, в которой физика была интегрирована с 1895 г., впервые была создана теоретическая кафедра, которая в основном занималась физическими явлениями.
Однако во времена национал-социализма физика в Карлсруэ почти превратилась в ничто. Только после Кристиана Гертсена, проработавшего в Техническом университете с 1948 года до своей смерти в 1956 году, экспериментальная физика достигла значительного подъема и смогла развить довоенные годы. Учебник Гертсена по экспериментальной физике и сегодня считается стандартным трудом.
Физика окончательно утвердилась примерно в 1960 году, когда, помимо кафедры в Физическом институте, были созданы другие кафедры прикладной физики, экспериментальной ядерной физики, теоретической ядерной физики и математической физики, строения вещества, геофизики и метеорологии. В 1969 и 1970 годах окончательно сформировалась структура нынешнего физического факультета КИТ.
После слияния Университета Карлсруэ (TH) и Исследовательского центра Карлсруэ в Технологический институт Карлсруэ в 2009 году для физики открылись новые возможности для сотрудничества, что привело к расширению круга исследовательских тем и расширению области знаний и спектра курсов, особенно в магистратуре, и предлагаемые темы для докторских диссертаций.