Aqui está uma dica útil em Sublime Text 2 para remover linhas duplicadas.
Selecione o texto que você tem, ou suspeita que tem, cópias em.
Em seguida, você pode ir para Editar> Permutar linhas> Único .
Bam.
Conteúdo para você se capacitar em programação