Durante la seconda guerra mondiale, Joseph Walker pilotò il caccia Lockheed P-38 Lightning e l'aereo fotografico F-5A Lightning (un P-38 modificato) su voli di ricognizione meteorologica. Walker ottenne una volta la Distinguished Flying Cross, assegnata dal Generale Nathan Twining nel luglio del 1944, e la medaglia aerea con sette grappoli di foglie di quercia.
Dopo la seconda guerra mondiale, Walker si separò dalle Forze aeree dell'esercito e si unì al National Advisory Committee for Aeronautics (NACA) Aircraft Engine Research Laboratory a Cleveland, Ohio, come fisico sperimentale. Si trasferì poi alla stazione di ricerca di volo ad alta velocità di Edwards, in California, nel 1951.
Walker ha lavorato a diversi progetti di ricerca pionieristici. Volò in tre versioni con il Bell X-1 (due voli, prima il 27 agosto 1951), X-1A (un volo), X-1E (21 voli). Nel 1958, Walker fu uno dei piloti selezionati per il progetto Man In Space Soonest (MISS) della US Air Force, ma quel progetto non si realizzò mai. Nello stesso anno, la NACA divenne la National Aeronautics and Space Administration (NASA) e nel 1960 Walker divenne il primo pilota della NASA a pilotare l'X-15. Sul suo primo volo X-15, Walker non si rese conto di quanta potenza avesse i suoi motori a razzo e fu schiacciato all'indietro sul sedile, urlando: "Oh, mio Dio!". Quindi, un controllore di volo ha scherzosamente risposto "Sì? Hai chiamato?" Joseph Walker avrebbe continuato a volare con l'X-15 25 volte, inclusi gli unici due voli che superarono i 100km di altitudine, il 19 luglio 1963 (61 anni fa) a 106km e il 22 agosto 1963 a 108km.
Walker è stato il primo civile americano a fare qualsiasi volo spaziale, e il secondo civile in generale, preceduto solo dalla sovietica Valentina Tereshkova un mese prima.