Это решение было принято как уступка агрессивной позиции членов семей погибших во время теракта 11 сентября 2001 года. По их мнению, на месте, где стояли башни-близнецы, не должно быть институтов, которые могли бы отвлекать внимание от этой трагедии. Еще раньше было объявлено, что на территорию ЦМТ могут быть допущены только те культурные учреждения, которые обязуются никогда не проводить выставок и иных мероприятий, которые могли бы оскорбить патриотические чувства американцев. Из-за этого Центр Рисунка, который должен был делить с Центром Свободы высоко оцененное критиками здание по проекту норвежского бюро «Снохетта», отказался от аренды и ищет другое помещение.

Таким образом, план Либескинда вновь оказался под угрозой: именно согласно его проекту, рядом с мемориалом жертвам теракта в «отпечатках» фундаментов разрушенных небоскребов должны были расположиться культурные институты. Теперь единственным гарантированным «хозяином» постройки станет посетительский центр.

Также это говорит и об изменениях в позиции властей: попавший в опалу Центр Свободы был задуман еще в 2002 году как учреждение, посвященное истории борьбы за свободу личности во всем мире.

После заявления губернатора Джорджа Патаки о цензуре на территории ЦМТ в июле 2005 совет, руководящий проектированием и строительством нового комплекса, покинули многие видные общественные деятели. После последнего решения Патаки оттуда ушли еще несколько человек, в том числе – Агнес Гунд, почетный директор Музея современного искусства и видный меценат. Теперь, по мнению аналитиков, собрать деньги на строительство здания «Снохетты» и мемориала Майкла Арада будет особенно сложно.  Таким образом, судьба постройки оказалась под угрозой. Также неопределенно будущее театрального здания по проекту Фрэнка Гери: архитектор пожаловался журналистам на полное отсутствие контактов с заказчиками, а воплощение проекта запланировали на «вторую фазу» восстановления Центра мировой торговли – т. е. на отдаленное будущее.