Родился в 1906 году в Венеции. Закончил Высшую техническую школу в Виченце в 1919, Королевскую Академию Художеств в Венеции в 1926. Но Скарпа так никогда и не получил полного архитектурного образования, и однажды был даже попал под суд за архитектурную практику без лицензии (его оправдали).
В конце 1920-х - в 1930-х сложилось творческое кредо Карло Скарпы. В тот же период он начинает работать как дизайнер, сотрудничая с Фабрикой стеклянных изделий Венини в Венеции, а также занимаясь дизайном интерьеров.
Первым важным архитектурным заказом стал для Скарпы в 1935 проект реконструкции Школы экономики Университета Венеции, которая располагалась во дворце Ка Фоскари. В нем отразились многие особенности будущего стиля мастера - тонко продуманные, современные по духу детали из стекла, дерева и металла, вписанные в средневековую постройку.
Затем последовал ряд других проектов реконструкций, а также - дизайнов выставок. Но Карло Скарпа, несмотря на успех в области Венето, был почти неизвестен в других областях Италии и, тем более, за рубежом.
После Второй Мировой войны на творчестве Скарпы начинает сказываться влияние Фрэнка Ллойда Райта. Тогда он создает проект реконструкции Музея Академии в Венеции, расположенного в бывшем монастыре. Скарпа в нем придерживается принципов минимализма, создавая два параллельных исторических слоя в новом здании. Вновь внимание к деталям отличает архитектора, в этом он непохож на свое поколение. Именно с этого момента к Скарпа приходит международная известность.
Последующими проектами Скарпы были Галерея слепков Кановы в Поссаньо (Тревизо), Музей Кастельвеккио в Вероне, шоу-рум "Оливетти" на площади Сан Марко в Венеции, Гробница рода Брион в Сан Вито д'Ативоле (Тревизо), здание Народного Банка Вероны в Вероне.
Скарпа не принимал постмодернизм и неорационализм 1970-х, продолжая развивать декоративную систему модернизма.
В 1978 Скарпа погиб в результате несчастного случая во время поездки в Японию и был похоронен в комплексе Гробницы Брион.
Оригинальный художественный язык проектов Скарпы оказал влияние на многих современных архитекторов, от Тадао Андо до Марио Ботты.