La construcción de la Casa del Presidente de los Estados Unidos comenzó en 1792 en Washington, D.C., una nueva capital situada en una región escasamente poblada, lejos de un importante centro de población. La decisión de colocar la capital en tierras cedidas por dos estados en favor de la esclavitud, Virginia y Maryland, finalmente influyó en la adquisición de trabajadores para construir sus edificios públicos. Los comisionados de DC, encargados por el Congreso de construir la nueva ciudad bajo la dirección del presidente, inicialmente planearon importar trabajadores de Europa para satisfacer sus necesidades laborales. Sin embargo, la respuesta al reclutamiento fue pésima y pronto recurrieron a los afroamericanos, tanto esclavizados como libres, para proporcionar la mayor parte de la mano de obra que construyó la Casa Blanca, el Capitolio de los Estados Unidos y otros edificios gubernamentales.

La gente esclavizada extraía y cortaba la piedra tosca que más tarde los albañiles escoceses colocaron para erigir las paredes de la Casa del Presidente. Los esclavos se unieron a una fuerza de trabajo que incluía trabajadores blancos locales y artesanos de Maryland y Virginia, así como inmigrantes de Irlanda, Escocia y otras naciones europeas.

El concurso del diseño fue organizado por Thomas Jefferson (como Secretario de Estado). Washington fue aparentemente el único juez. Jefferson, también envió una solicitud anónima, basada en una conocida villa de Palladia.

El ganador del concurso fue James Hoban. (Aunque el Museo de la Casa Blanca sugiere que el diseño de Hoban en realidad no fue una de las presentaciones originales, pero que Washington le pidió que la enviara después de encontrar todas las presentaciones originales inaceptables).

Hoban nació alrededor de 1758 en Kilkenney, Irlanda, y se formó como arquitecto en Irlanda antes de emigrar a los Estados Unidos alrededor de 1785. Trabajó como arquitecto y constructor en Filadelfia y luego en Charleston Carolina del Sur. Murió en Washington en 1831.