1900. gada vasaras olimpiskajās spēlēs Rimmers kopumā startēja trijās vieglatlētikas skriešanas disciplīnās, no kurām divās viņš izcīnīja zelta medaļas. Pirmā disciplīna, kurā viņš startēja olimpiskajās spēlēs bija 1500 metru skriešana. Šajā disciplīnā viņš varētu būt ieņēmis 7. līdz 9. vietu, jo precīzs viņa iegūtais rezultāts nav zināms.[2] Nākamajā dienā, 16. jūlijā, viņš startēja 400 metru šķēršļu skrējienā, kur ar rezultātu 12 minūtes 58.4 sekundes izcīnīja savu pirmo zelta medaļu.[3] Otro zelta medaļu viņš izcīnīja Jauktās komandas sastāvā kopā ar Čārlzu Benetu, Sidniju Robinsonu, Alfrēdu Tisē un Stenu Rouliju, 5000 metru komandu skrējienā, kur viņi pārspēja Francijas komandu.[4]
1900. gadā viņš izcīnīja čempiona titulu 4 jūdžu skrējienā Anglijas amatieru vieglatlētu asociācijas čempionātā,[5] viņš arī trīs gadus (1899—1901) pēc kārtas uzvarēja 10 jūdžu skrējienā. Rimmers uzvarēja arī 1899. gada apvidus krosa sacensībās pārstāvot Liverpūles "Harriers AC" komandu. Vēlāk viņš pārgāja Sautportas "Harriers" sastāvā. No 1951. gada līdz pat savai nāvei viņš bija Seftonas "Harriers" komandas prezidents.[6]
1901. gadā Rimmers sāka strādāt Liverpūles pilsētas policijā un tur nostrādāja 30 gadus, līdz aizgāja pensijā kā seržants. Viņš turpināja skriet arī pēc 50 gadu vecuma.
Viņš tika pasludināts par "ātrāko balto vīrieti Eiropā 1900. gadā" 2009. gada 13. aprīlī kā daļu no Eiropas vieglatlētikas asociācijas (EAA) balvām.