Eu costumava fazer muito isso:
<%= link_to '#', :class => "btn btn-danger" do %>
<i class="icon-remove"></i>
<% end %>
mas se você estiver usando a gem twitter-bootstrap-rails no branch master, você pode fazer isso de uma maneira mais limpa
<%= link_to glyph(:remove), '#', :class => "btn btn-danger" %>