Hastigheten på läsaren kan inte göra att du tappar läsaren, möjligvis att du tappar kortet men det skulle du inte kunna se med dmesg.
Har du provat med strömförsörjd usb-hubb?