Например, вы установили Vagrant при помощи .deb файла и не хотите его использовать, то удалить его полностью можно при помощи команды:

sudo apt-get --purge remove vagrant

purge используется для удаления конфигов пакета.

Если вы забыли название пакета, то можете воспользоваться командой:

apt-cache search name

Где name первые буквы, которые вы помните из названия вашего пакета.

Если не хотите возиться с командной строкой, то это можно сделать и через графический интерфейс при помощи Ubuntu Software Center. В поиске вводите название вашего пакета и жмете "remove".