CVTは加速時にエンジン回転数がほぼ一定のまま加速していくので、エンジン応答に対して速度が見合っていないような感覚に陥ります。これをラバーバンドフィールと言ったりします。原付バイクに乗ったことのある人なら知っていることでしょう。
気にならない人は気にならないでしょうが、MTを運転した経験のある人や、走りにこだわる人をはじめとして違和感を感じる人は多いようです。
「ブオーン！」とエンジンが頑張っている音がしているのに速度や加速度がそれに見合っていなければ確かに応答の遅れを感じるというのは仕方がないとも言えそうです。