En 1935, la famille Smith déménagea à Portland. Johnny avait 13 ans et était déjà assez bon pour jouer dans des groupes locaux.
En 1942, il rejoignit l’armée de l’air (en tant qu’élève pilote) et se retrouva dans un groupe de musique qui avait besoin d’un cornettiste plutôt que d’un guitariste. En six mois, il avait suffisamment appris le cornet pour être nommé cornettiste principal.
Après « sa libération » de l’Air Force en 1946, il retourna à Portland pour jouer de la guitare et de la trompette à la radio locale ainsi que dans des clubs la nuit. Pour mieux gagner sa vie, il s’établit à New York pour travailler comme arrangeur à la NBC et en 1947 ; il devint membre de l’orchestre de la NBC. Pendant huit ans, il y presta aux postes de trompettiste, arrangeur et compositeur.
Bien qu’il ait été fortement influencé par Django Reinhardt et Charlie Christian au départ (il a appris les solos de Django sur disque et a même rencontré le guitariste tzigane lors de son arrivée aux États-Unis en 1946), Johnny Smith ne se considérait pas comme un musicien de jazz à part entière. Néanmoins, il enregistra son premier disque en tant que leader en mars 1952, en compagnie de jazzmen bien implantés, Stan Getz, Eddie Safranski, Sanford Gold et Don Lamond. Un titre de cette date, « Moonlight in Vermont », malgré sa courte durée (3:16), a marqué un tournant dans la carrière de Smith. « Vermont » a été enregistré pour le label Royal Roost (souvent abrégé en Roost Records). La société signa avec Smith un contrat à long terme au cours duquel il enregistra une vingtaine d’albums*. Roost a ensuite été absorbé par la firme Roulette qui a réédité plusieurs LP de Johnny. Dans la plupart de ses albums à lui le guitariste s’exprime soit en solo soit dans le forma du trio.
