Surpris car, si tu souhaites désinstaller PhpMyAdmin avec apt-get, cela veut dire que tu l'a installé avec !?!
Or, PhpMyAdmin n'est qu'un... site Web dynamique ! Pas de librairie, pas de dépendance, rien que des fichiers PHP et des images GIF.
Perso, pour l'installer (mdk), j'ai décompréssé les sources dans /var/www/PhpMyAdmin/
Et pour désinstaller, je ferais un magnifique
#rm -d /var/www/PhpMyAdmin/