"Что мне нужно изменить в настройках эмулятора DOSBox-X для того, чтобы Full HD-видео, воспроизводимое с помощью DOS-версии MPlayer, не тормозило?"
Вероятно упирается в предел производительности уже железа. Если выложите конкретный пример видео, попробую потыкать, будет видна разница за счет разницы железа.
Возможно будет несколько быстрее, если:
0) ещё ухудшить картинку, до более низких разрешений (если плеер их умеет и скорость обработки не одинаковая)
1) попробовать сменить в dosbox-x.conf (или как он там у вас называется) output = на что-то другое из доступных настроек: default, surface, overlay, ttf, opengl, openglnb, openglhq, openglpp, gamelink, ddraw, direct3d
2) увеличить размер памяти в настройках dosbox-x до 512мб
3) отключить в dosbox-x всё не используемое железо (дополнительные аудиокарты, сетевые платы, прочее)
Пункт 1 возможно что-то даст, пункт 2 - если действительно проблема в недостатке памяти и плеер все время свопируется на диск. Пункт 3 - если доп.устройства кушают время процессора dosbox, даже если они не работают и просто включены (понятия не имею

«Не стесняйтесь думать. Неэффективно пытаться помочь людям, которые не желают помогать себе сами. Нормально чего-то не знать, прикидываться идиотом — нет.» (Слава С.ПО.)