En 1920 Friederich Kleeman (1868-1949), era el gerente financiero y principal accionista de la fábrica de cristales “Rex Konservenglasgesellschaft Bad Homburg” situada justamente en Bad Homburg, Hessen, Alemania. Gracias a su buen pasar compró la “Columbus Motorenbau AG”, una pequeña fábrica de motores situada en Oberursel. Fritz Kleeman (1901-1975), hijo de Friederich Kleeman, construyó las primeras motocicletas en 1921, que más tarde se llamarían “Horex”, las cuales estaban equipadas con un motor “Gnom” de 62,5cc. monocilíndrico, construidos en la fábrica de su padre “Columbus Motorenbau AG”. En 1923 Fritz Kleeman funda la “Horex-Fahrzeugbau AG” (Horex-Engine Factory L.t.d.).
Para el nombre de su nuevo proyecto, Fritz toma el nombre de la fábrica de cristales de su padre “Rex Konservenglasgesellschaft Bad Homburg“ y las primeras dos letras de su ciudad natal “Homburg“, dando así el primer paso para lo que serían las motos “Horex“. Fritz también era un aficionado a las motocicletas y para esa época él ya estaba corriendo en su propia “Horex“, aunque ese no era su nombre todavía, con motor “Gnom“. En ese mismo año, la “Horex-Fahrzeugbau AG” fabrica la primer moto “Horex” de 248cc. OHV monocilíndrica, que el mismo Fritz probaría en carreras. Por eso se decía en aquellos años que las “Horex” eran motocicletas “Hechas por motociclistas, para motociclistas”.