Non sono certo un esperto,
comunque il programma di conversione video con cui ho ottenuto i risultati migliori si chiama "HANDBRAKE" e si trova nel software center di Ubuntu (se non è presente, controllare che siano attivati i repository Universe e Multiverse)
L'unico settaggio che ho modificato prima della conversione è quello dei profili, cambiando da normal ad high profile: