Der Residenzplatz vor dem Würzburger Schloss wurde erst unter dem Fürstbischof Adam Friedrich von Seinsheim zu seiner bis heute erhaltenen repräsentativen Form umgestaltet. Die letzte grosse Baumassnahme bildete die Errichtung des 'Neuen Baus', des sogenannten 'Gesandtenbaus', an der südlichen Seite des Residenzplatzes in den Jahren 1765 bis 1768. Die Baugeschichte des 'Gesandtenbaus' ist aussergewöhnlich. Denn Balthasar Neumann erhält zweimal den Auftrag, die 'alte Kammer' bzw. deren Ruine zu beseitigen und die südliche Randbebauung des Residenzplatzes in Angriff zu nehmen. Doch der unerwartete Tod von Friedrich Karl von Schönborn und von Anselm Franz von Ingelheim in den Jahren 1746 und 1749 verhindert den Baubeginn. Aufgrund der Auswertung von Archivalien und Baubeobachtungen muss der Baubeginn des 'Gesandtenbaus' neu beurteilt werden. Es gibt Hinweise, dass Balthasar Neumann auf dem Gelände des 'Gesandtenbaus ' bereits unter dem Fürstbischof Karl Philipp von Greiffenklau (1749–1754) ein Gebäude errichtete, das im heute zu sehenden Bau integriert wurde.