Русско-японская война тогда была, может поэтому?
Хотя японцы участвовали)
Японская делегация участвовала в летних Олимпийских играх 1904 года (официально Игры III Олимпиады) в Сент-Луисе (штат Миссури, США). en.wikipedia.orgolympic-collection.ru
В составе команды Японии был японский прыгун с шестом Фуни Савао. В ходе попытки он подбежал к планке, воткнул шест в землю и залез по нему наверх, взяв высоту. Судьи не зачли попытку, на что Савао сообщил, что они расисты, и под гомон трибун покинул стадион. Оказалось, что в Японии не знали, какую технику применяют для прыжков с шестом.