Apenas desative todos os observadores e execute-os quando necessário.
No arquivo spec_helper.rb:
RSpec.configure do |config|
ActiveRecord::Base.observers.disable :all
end
e, nas especificações em que você precisa executar os observadores, faça o seguinte:
it "should test something" do
ModelName.observers.enable :model_name_observer do
# the code run here will use the observer
end
end