Né dans l'Etat de New York, Jim HALL a commencé la guitare à l'âge de 10 ans, étudiant notamment à Cleveland (Ohio) avant d'imigrer à Los Angeles.
Membre de la scène jazz de la côte Ouest des Etat-Unis dans les années 50', il a notamment fait partie d'un trio avec le pianiste Tommy FLANAGAN et le bassiste Ron CARTER, a travaillé pour la télévision et a joué avec Ella FITZERALD ou encore le saxophoniste Sonny ROLLINS.
Fait Chevalier des Arts et des Lettres en France en 2006, Jim HALL est décédé mardi à New York, pendant son sommeil, a annoncé Jazz Time. Le guitariste était âgé de 83 ans.