解決方法
ConEmu、Ubuntu on Windows のUbuntu両方にアップデートを掛ける。
Step1. ConEmuのアップデート
C: choco update ConEmu
Step2. Ubuntuのアップデート
username@hostname:~$ sudo apt-get update;sudo apt-get upgrade -y
bash本来のキーバインド、↑, ↓ は Ctrl+P(C-P), Ctrl+N(C-N), ←, → は Ctrl+B(C-B), Ctrl+F(C-F) は問題なく使えるもよう。また、ConEmu経由からでなく、cmd.exeやpowershell.exeからだと問題なく矢印キーが使える。