Para responder a uma rota (supondo que você já tenha o controlador configurado) com JSON:
public function foobarAction {
$obj = getSomeObjectOrSimpleXML();
Mage::app()->getResponse()
->setHeader('Content-Type', 'application/json', true)
->setBody(Mage::helper('core')->jsonEncode($obj));
}
Certifique-se de incluir o parâmetro final para setHeader. Embora não seja totalmente necessário, ele garante a substituição de qualquer Content-Type definido anteriormente.