W latach 1912–1914 studiował na Politechnice w Berlinie-Charlottenburgu. Tu nawiązał współpracę z asystentem Paulem Kruchenem, w którego prywatnym biurze rozpoczął pracę w zawodzie architekta. W latach 1915–1918 pracował u boku Paula Kruchena w Gumbinnen i Insterburgu, uczestnicząc w odbudowie Prus Wschodnich. W latach 1919–1925 kierował własnym biurem w Insterburgu. W 1920 roku związał się z kręgiem młodych architektów „Die gläserne Kette”, skupionych wokół Bruno Tauta. Był członkiem Związku Architektów Niemieckich. W 1925 roku został powołany do pracy we wrocławskiej Akademii Sztuki i Rzemiosła Artystycznego, gdzie pracował do 1932 roku. Pracując we Wrocławiu, prowadził równocześnie, od 1926 roku, biuro architektoniczne z Paulem Kruchenem i Adolfem Radingiem w Berlinie. W 1926 roku Scharoun przystąpił do stowarzyszenia architektów „Der Ring”. Po 1933 roku otrzymał tylko kilka zleceń publicznych i około 20 prywatnych. W latach wojny zajmował się projektowaniem pralni oraz usuwaniem szkód lotniczych w Berlinie. W 1945 roku został pierwszym miejskim radcą budowlanym Berlinia (do października 1946 roku). W latach 1946–1958 wykładał w Instytucie Budowy Miast i w Instytucie Kształtowania Krajobrazu i Zieleni na Wydziale Architektury Politechniki Berlińskiej. W 1947 roku został profesorem urbanistyki, a w 1954 roku profesorem zwyczajnym tej uczelni (do emerytury w 1958 roku). W latach 1947–1950 był dyrektorem Instytutu Budownictwa Niemieckiej Akademii Nauk w Berlinie. W 1955 roku został członkiem Akademii Sztuki w Berlinie, a w latach 1955–1968 jej prezydentem.
Ważniejsze projekty i realizacje architektoniczne:
- 1920–1921 – osiedle Kamswyken (zwane „Bunte Reihe”) i budynek mieszkalny „Germaniagarten” przy Parkring w Insterburgu
- 1927 – udział w wystawie mieszkaniowej niemieckiego Werkbundu „Die Wohnung” w Stuttgarcie, gdzie przedstawił dom jednorodzinny w osiedlu Weissenhof
- 1927 – udział w wystawie „Niemieckich budowli ogrodowych i śląskiego rzemiosła” w Legnicy, gdzie zaprezentował drewniany dom dla średnio zamożnych, złożony z gotowych elementów, zaprojektowany dla firmy „Christoph & Unmack A.G.”.
- 1929 – udział we wrocławskiej wystawie „Mieszkanie i miejsce pracy”
- 1929–1930, plan zabudowy osiedla Siemensstadt w Berlinie (wraz z Martinem Wagnerem), gdzie zaprojektował trzy domy mieszkalne przy Jungfernheideweg i Mäckeritzstrasse
- 1928–1929 – budynek z małymi mieszkaniami dla samotnych przy Kaiserdamm w Berlinie
- 1929–1930 – budynek z małymi mieszkaniami dla samotnych i Hohenzollerndamm w Berlinie
- 1932 – udział w wystawie „Sonne, Luft und Haus für alle” w Berlinie, gdzie zaprezentował tak zwany „rosnący” dom (dający się powiększać) jako makieta 1:1
- 1933 – dom jednorodzinny „Schminke” w Löbau http://www.stiftung-hausschminke.eu
- 1933–1940 – zabudowa mieszkaniowa ulicy Falkenhagener Chaussee, Berlin-Spandau
- 1936–1938 – zabudowa mieszkaniowa w Eichengrund, Berlin-Reinickendorf
- 1934 – willa „Mattern” w Bornim
- 1935 – willa „Bensch” w Berlinie – Spandau
- 1937 – willa „Moll” w Berlinie
- 1956–1962 – szkoły w Marl i Geschwister-Scholl-Gymnasium w Lünen
- 1956–1963 – filharmonia berlińska
- 1954–1959 – domy mieszkalne „Romeo i Julia” w Stuttgarcie
- 1961–1964 – dom mieszkalny „Salute” w Stuttgarcie
- 1955–1961 – osiedle Charlottenburg-Nord w Berlinie
- 1964–1978 – biblioteka państwowa w Berlinie (Staatsbibliothek Preussischer Kulturbesitz), ukończona już przez Edgara Wisniewskiego
- 1962 – pierwsza nagroda za projekt konkursowy planu zabudowy Mehringplatz w Berlinie