il difetto di cui parli mi ricorda molto il primo video che ho caricato su youtube..io l'ho risolto girovagando su internet e trovando che nel rendering (al di là del formato dove h.264 va benissimo) devi stare attendo al framerate, cioè se registri video a 60 fps devi renderizzare a 60 fps, se registri a 30 de renderizzare a 30 ecc ecc...
da quando ci ho fatto caso i video hanno letteralmente cambiato faccia
poi sicuramente anche il bitrate vuole la sua parte, ma credo che rispettare il numero di frame ti porterà un bel po' di miglioramenti...provare per credere