Det var byggnadsställningar som kollapsade i området Hafen City, där arbetare jobbade med ett hisschakt.
"För fyra människor kom hjälpen för sent och de dog på olycksplatsen", säger brandkårens talesperson Anna Maria Koch i ett uttalande.
"Räddningsinsatserna fortsätter. Det går inte att utesluta att fler människor begravts i rasmassorna eller skadats."
En person uppges vara allvarligt skadad.
Orsaken till kollapsen är oklar. Brandkåren uppgav tidigare att fem arbetare mist livet i olyckan.
Hafen City är ett tidigare nedgånget hamnområde vid floden Elbe som nu omvandlas med mångmiljardsatsningar på nya bostäder, kontor och affärer.