Czworo ocalałych z Holokaustu wyraziło swoje przeciwności wobec projektu pomnika na posiedzeniu komitetu ds. ustawy o Pomniku Holocaustu. Anita Lasker-Wallfisch i dr Martin Stern byli wśród nich, wyrażając swoje obawy dotyczące lokalizacji pomnika i planowanego centrum edukacyjnego. 98-letnia Anita Lasker-Wallfisch nazwała pomysł „zupełnie bezsensownym” i wyraziła zaniepokojenie wycinką starych drzew oraz zagrożeniem dla Pomnika Butxon. Dr Martin Stern skrytykował planowane centrum jako „śmiesznie małe” i brakujące poważnych badań akademickich.
Baronessa Ruth Deech, długoletnia przeciwniczka projektu, uznała go za „toksyczny” i stwierdziła, że nie chroni przed antysemityzmem. Skrytykowała różne aspekty propozycji, takie jak lokalizacja pomnika obok placu zabaw czy umieszczenie kawiarni w miejscu pamięci o głodujących ludziach.
Sir Richard Evans, ceniony historyk specjalizujący się w Holokauście, ostrzegł, że projekt centrum edukacyjnego będzie „mniejszy i mniej skuteczny” niż Holocaust Galleries w Imperial War Museum.
Pomnik ma być zbudowany w ogrodach Victoria Tower obok Palace of Westminster. Ocalałych martwią m.in. wycinka drzew, ryzyko powodzi oraz zagrożenie dla innych miejsc pamięci. Członkowie komitetu sugerują inne lokalizacje, takie jak Imperial War Museum London.
Decyzja o budowie pomnika jest związana z projektem Fundacji Pomnika Holocaustu w Wielkiej Brytanii, którą utworzył David Cameron w 2015 roku. Planowany koszt to 138 milionów funtów. Opozycja wskazuje na braki w konsultacjach społecznych, krytykę ze strony NIK oraz odrzucenie projektu przez UNESCO.