Родился в венгерском городе Печ в 1902. В 1920 – 1924 учился и затем преподавал в Баухаузе. Бройер занимался дизайном мебели, в 1925 предложил использовать для этого стальные трубки. Первой его работой этого типа стало кресло «Василий», названное в честь его коллеги по Баухаузу Василия Кандинского.
В 1928 – 1931 Бройер работал в Берлине, в 1935 перебрался в Лондон, где сотрудничал с британским архитектором-модернистом Ф.Р.С. Йорком. В 1937 Бройер по приглашению Вальтера Гропиуса отправляется в США, чтобы преподавать в Гарвадском университете. Там же они вместе основывают архитектурное бюро. В 1941 Бройер открыл собственное бюро в Нью-Йорке и продолжал профессиональную деятельность в качестве архитектора до своего ухода на пенсию в 1976. Среди его учеников – Филип Джонсон и Пол Рудольф.
Самые известные постройки Бройера – универмаг «Де Бейенкорф» в Роттердаме (1956 – 1957), здание ЮНЕСКО в Париже (1953 – 1957, совместно с Б. Зерфюссом и П. Л. Нерви) и Музей американского искусства Уитни в Нью-Йорке (1966).