Infelizmente, não há comando cpan remove ou cpan uninstall. O que você pode fazer:
cd ~/.cpan/build
cd Module-To-Be-Uninstalled-VERSION-xyz
make uninstall
# follow instructions (copy commands) since it often doesn't really perform the uninstall
Se você encontrar várias “versões” do seu Módulo por qualquer motivo, você deve
find ~/.cpan/build/Module-To-Be-Uninstalled* -name Makefile
e mude para o diretório mencionado.
Acho que tenho que escrever uma função bash ou apelido para isso …