Construit en 1865 par les Frères Laquérrière, le Cercle des Commerçants est rapidement surnommé le "Palais des Drapiers" en raisons des filateurs et industriels elbeuviens qui financèrent sa construction.
Cette construction typique du Second Empire présente en façade des colonne baguées comme au Palais du Luxembourg, surmontée d'un magnifique groupe sculpté dû au sculpteur rouennais Pierre Bonnet et représentant les allégories du Commerce de l'Industrie & de l'Agriculture.
Les armes de la Ville d'Elbeuf, surmontées d'une couronne murale figurent une ruche en souvenir d'une phrase de Napoléon Ier en visite à Elbeuf le 3 novembre 1802 alors Premier Consul : "La Ville d'Elbeuf est une Ruche, tout le monde y travaille".
Le Palais Consulaire offre aujourd'hui plus de 1600 m², répartis en :
- un ensemble de pièces de réceptions aux décors datant du Second Empire et notamment une immense salle de bal de 257m²
- différentes salles de conférence aménagées pour recevoir congès et délégations
- une quinzaine de bureaux de représentation proposés aux entreprises chinoises.