正確には
sudo update-alternatives --config java
などで調べた上で、であるが、例えば昔インストールしたOracle JRE8/JDK8を削除するのに
sudo update-alternatives --remove "java" "/usr/lib/jvm/java-8-oracle/bin/java"
sudo update-alternatives --remove "javac" "/usr/lib/jvm/java-8-oracle/bin/javac"
sudo update-alternatives --remove "javaws" "/usr/lib/jvm/java-8-oracle/bin/javaws"
sudo update-alternatives --remove "java" "/usr/lib/jvm/java-8-oracle/jre/bin/java"
とした上で、
sudo update-alternatives --config java
にOracle Java8がないことを確認して、
sudo rm -r /usr/lib/jvm/java-8-oracle
で実体ファイルを削除する