Joe è cresciuto a Fort Smith, in Arkansas, e ha frequentato la Northside High School. Ha tirato il 41% da tre punti nella sua seconda stagione e ha scelto di giocare a basket universitario presso l'Università dell'Arkansas durante l'estate durante il suo anno da junior rispetto alle offerte dell'Alabama e dell'Arkansas-Little Rock. Da junior, Joe ha segnato in media 18,8 punti, 4,5 rimbalzi e 2,2 palle rubate a partita e ha contribuito a guidare i Grizzlies a un campionato statale 7A dell'Associazione delle attività dell'Arkansas (AAA) ed è stato inserito nell'All-State First Team. Da senior, Joe ha realizzato in media 22,8 punti, 4,4 rimbalzi, 3,4 assist e 2,9 palle rubate a partita ed è stato nominato giocatore di basket dell'anno Gatorade Arkansas Boys e giocatore di stato dell'anno da USA Today mentre guidava Northside alla partita per il titolo statale prima di finire alla North Little Rock High School.
Ha segnato una media di 13,9 punti, 2,8 rimbalzi, 1,7 assist e 1,5 palle recuperate a partita su 34 partite giocate come matricola ed è stato nominato nella squadra All-Freshman della Southeastern Conference (SEC). Ha realizzato 113 tiri da tre punti su 273 tentativi (41,4%), battendo il record dell'Arkansas precedentemente detenuto da Scotty Thurman (102) e segnando il record per una matricola nel SEC. È stato anche nominato giocatore SEC della settimana dopo aver segnato 34 punti con un 10 su 13 tiri da tre (11-14 complessivi) contro FIU il 1º dicembre 2018.
Nella sua seconda stagione è stato nominato come l'80° miglior giocatore di basket collegiale della stagione 2019-20 dalla CBS Sports e la 33° miglior potenziale scelta per il draft NBA 2020 da ESPN. Joe è stato nominato co-giocatore della settimana SEC il 2 gennaio 2020, dopo una prestazione di 24 punti, cinque rimbalzi nella vittoria per 71-64 contro l'Indiana . Joe ha segnato 34 punti, di cui 26 nella seconda metà, il 12 gennaio per guidare Arkansas nella vittoria in rimonta per 76-72 su Ole Miss. Il 4 febbraio, Joe è stato sottoposto a una procedura artroscopica al ginocchio dopo che una risonanza magnetica ha rivelato un'infiammazione ed è stato escluso a tempo indeterminato. Al secondo anno, Joe ha avuto una media di 16,9 punti e 4,1 rimbalzi a partita. Dopo la stagione ha dichiarato la sua eleggibilità per il Draft NBA 2020. Il 1º agosto annunciò che si sarebbe ritirato dalla leva e sarebbe tornato in Arkansas. Tuttavia, il 17 agosto invertì la rotta e lasciò l'Arkansas per i ranghi professionali.
Il 18 novembre 2020 è stato selezionato con la 49ª scelta assoluta nel Draft NBA 2020 dai Philadelphia 76ers. Il 3 dicembre ha ufficialmente firmato con i 76ers.