Namun seiring waktu, penggunaan angkong mulai menurun sejak tahun 1920. Di Jepang, hal ini disebabkan karena meruahnya kendaraan bermotor dan transportasi massal seperti trem dan kereta api. Sementara di negara-negara lain, angkong menemui banyak pertentangan dengan berbagai alasan.
Di Manila, angkong ditolak habis-habisan oleh serikat pekerja kusir delman (cochero). "Pada 19 Mei 1902, mereka merilis pernyataan bertuliskan 'Orang Filipina bukan binatang' sebagai bentuk protes," tegas Michael D. Pante dalam jurnal Rickshaws and Filipinos: Transnational Meanings of Technology and Labor in American-Occupied Manila.
Sementara itu, angkong menjadi masalah sosial di Shanghai. Otoritas Permukiman Internasional Shanghai (Shanghai International Settlement) bahkan sempat ingin mereformasi angkong pada tahun 1934. Mereka melihat kehidupan ekonomi penarik angkong yang tidak manusiawi dan keberadaan mereka yang mengganggu lalu lintas kota. Akan tetapi, pengesahan kebijakan reformasi ini gagal karena intervensi mafia yang mengontrol kepemilikan angkong.