Atualizar Hadoop Namenode de hadoop 2.3.0 para 2.6.0
Se você está prestes a atualizar o hadoop do hadoop 2.3.0 para o 2.6.0, você pode fazer uso da imagem namenode existente apenas atualizando o namenode com o comando abaixo. …
Continuar lendohadoop
Hadoop Multiple Input e Output
A seguir está um exemplo de uso de várias entradas (org.apache.hadoop.mapreduce.lib.input.MultipleInputs) com diferentes formatos de entrada e diferentes implementações de mapeador. MultipleInputs.addInputPath (trabalho, accessLogPath, TextInputFormat.class, AccessLogMapper.class); MultipleInputs.addInputPath (job, userDataPath, TextInputFormat.class, …
Continuar lendoNamenode secundário por erro
Na terra do hadoop, se você se deparar com o seguinte: A categoria de operação READ não é suportada no estado de espera Você pode estar tentando acertar o namenode …
Continuar lendoPortas padrão do Hadoop
Nunca consigo me lembrar quais são as portas padrão usadas pelo hadoop para o rastreamento da interface do usuário: Namenode 50070 Datanodes 50075 Namo secundário 50090 Nó de backup / …
Continuar lendoScript Apache Pig (Hadoop) + UDF Ruby
# test.rbrequire ‘pigudf’require ‘java’class Myudfs < PigUdf outputSchema “word:chararray” def concat *input input.compact.inject(:+) endend # test.pigregister ./test.rb using jruby as myfuncs;t = LOAD ‘test.txt’ USING PigStorage(‘,’) AS (a:chararray, b:chararray);v = …
Continuar lendoApache Mahout: driver.MahoutDriver: Não foi possível adicionar a classe: WikipediaXmlSplitter
Ao executar os exemplos do Mahout da Wikipedia, descobri que precisava chamar os aplicativos de exemplo pelo caminho completo: $MAHOUT_HOME/bin/mahout org.apache.mahout.text.wikipedia.WikipediaXmlSplitter -d $MAHOUT_HOME/examples/temp/enwiki-latest-pages-articles.xml -o wikipedia/chunks -c 64 em vez de …
Continuar lendoEstimativas de alcance escalonáveis com conjuntos de esboço
Você pode calcular um número aproximado de únicos (também conhecido como alcance estimado) de um conjunto de dados no Hive usando Brickhouse’s ( http://github.com/klout/brickhouse ) sketch_set UDF’s select estimated_reach( sketch_set( …
Continuar lendo.net / development / hadoop / html5 / jaa / javascript / jquery / market / mongodb / paas / techonology
Tecnologias que você conhece
Ser um desenvolvedor (ou em qualquer outro caminho relacionado à tecnologia) requer que os indivíduos estejam constantemente atualizados com as tecnologias mais recentes. Então, quais tecnologias estão em alta em …
Continuar lendo