Фрай Отто родился в 1925 в Зигмаре (ныне – Хемниц), в Саксонии. В 1931 – 1943 учился в школе Шадов в Целендорфе (Берлин) на каменщика. В конце 1944 был отправлен на фронт пехотинцем, оказался во французском плену. Во время строительства лагеря для военнопленных близ Шартра, где он содержался, Отто удалось проявить себя в качестве инженера, предложив несколько проектов построек из облегченных конструкций, которые и были реализованы. Идеи он почерпнул из французской готики, в частности, конструкций Шартрского собора.
Освободившись, Фрай Отто поступил в Технический университет Берлина, который закончил в 1950 по специальности «архитектура». В конце учебы он получил грант на полугодовую поездку в США, где Отто познакомился с ведущими архитекторами того времени: Райтом, Нойтра, Мис ван дер Роэ, Мендельсоном. В 1954 защитил докторскую диссертацию на тему «Подвесные тентовые перекрытия».
В 1952 Отто открыл собственное архитектурное бюро в Целендорфе, а в 1957 основал Центр разработки облегченных конструкций, который перенес в 1964 в Штутгарт под названием «Институт облегченных конструкций» (работает при местном университете).
Фрай Отто получил всемирное призвание именно как создатель тентовых и мембранных конструкций, которые он применял в таких постройках, как Павильон ФРГ на Всемирной выставке в Монреале в 1967, спортивные сооружения для Олимпиады в Мюнхене в 1972 году, японский павильон на Всемирной выставке-2000 в Ганновере (совместно с Шигеру Баном) и др.
Среди присужденных ему наград – две премии Ага Хана (1980 и 1998), Золотая медаль RIBA (2005), Praemium Imperiale в номинации «архитектура» (2006), Притцкеровская премия (2015).
Построить новый летний павильон Галереи Серпентайн поручено исландско-датскому художнику Олафуру Элиассону и норвежскому архитектору Кьетилю Торсену из мастерской «Снохетта».