Não foi possível enviar o arquivo. Será algum problema com as permissões?
Diferenças
Aqui você vê as diferenças entre duas revisões dessa página.
| Ambos lados da revisão anterior Revisão anterior Próxima revisão | Revisão anterior | ||
|
dicas:ccad [2010/07/13 17:59] paulojus |
dicas:ccad [2011/10/07 11:32] (atual) paulojus |
||
|---|---|---|---|
| Linha 20: | Linha 20: | ||
| * O usuário cadastrado receberá email com login e senha de acesso. | * O usuário cadastrado receberá email com login e senha de acesso. | ||
| * o acesso deve ser feito sempre à servidora ''ccad.ufpr.br'' | * o acesso deve ser feito sempre à servidora ''ccad.ufpr.br'' | ||
| - | * a partir desta servidora é possível acessar as demais máquinas do LCPAD via o comando ''rlogin'' (mais detalhes abaixo) | ||
| * O acesso à servidora ''ccad.ufpr.br'' pode ser feito por ''ssh'' (inclusive gráfico com ''ssh -X'') via programa gráfico de ssh (putty, etc) ou linha de comando com:<code> | * O acesso à servidora ''ccad.ufpr.br'' pode ser feito por ''ssh'' (inclusive gráfico com ''ssh -X'') via programa gráfico de ssh (putty, etc) ou linha de comando com:<code> | ||
| - | % ssh LOGIN@ccad.ufpr.br</code> | + | $ ssh LOGIN@ccad.ufpr.br</code> |
| * ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD | * ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD | ||
| * Recomenda-se trocar a senha no primeiro uso com o comando:<code> | * Recomenda-se trocar a senha no primeiro uso com o comando:<code> | ||
| - | % passwd </code> | + | ccad:~> passwd </code> |
| ==== Uso ==== | ==== Uso ==== | ||
| * O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com [[http://www.leg.ufpr.br/~paulojus/restrito/dicas/node2.html|comandos básicos do LINUX]] | * O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com [[http://www.leg.ufpr.br/~paulojus/restrito/dicas/node2.html|comandos básicos do LINUX]] | ||
| Linha 34: | Linha 33: | ||
| === Rodando o R === | === Rodando o R === | ||
| - | == Rodando na forma interativa == | + | **IMPORTANTE:**\\ |
| + | Para rodar o R (em formato interativo sou submetendo jobs) o primeiro passo é digitar:<code> | ||
| + | ccad:~> module load mod_R </code> | ||
| - | O R foi compilado na servidora do CCAD e está em um diretório **não usual**: | + | Se voce é um usuário regular do R este comando de carregar o modulo pode ser colocado em seu ''.bashrc'' para que seja rodado automaticamente sempre que voce acessar o CCAD. |
| - | /cluster/sw/R | + | |
| - | ****Texto em negrito**** | + | |
| - | Portando o binário para execução está em: | + | |
| - | /cluster/sw/R/bin/R | + | |
| - | Para evitar ter que digitar todo este caminho quando for iniciar o R voce pode adicionar no seu arquivo ''.bashrc'' a seguinte linha: | + | No momento o modulo do R faz duas coisas: |
| - | alias R="/cluster/sw/R/bin/R" | + | - define o diretório do executável do R no seu ''PATH'' |
| + | - define o camilho de procura de bibliotecas adicionais do R na conta da ''paulojus'' (para evitar que todos tenham que instalar os pacotes) | ||
| - | Depois disto voce poderá usar o R simplesmente digitando | + | == Rodando na forma interativa == |
| - | % R | + | |
| + | Depois de carregar o modulo do R voce poderá usar o programa de forma interativa simplesmente digitando | ||
| + | ccad:~> R | ||
| == Rodando como em "background" ("BATCH job") == | == Rodando como em "background" ("BATCH job") == | ||
| Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH e o comando usual e acompanhamento do andamento do //job// é feito com:<code> | Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH e o comando usual e acompanhamento do andamento do //job// é feito com:<code> | ||
| - | % R CMD BATCH seu_programa.R & | + | ccad:~> R CMD BATCH seu_programa.R & |
| - | % tail -f seu_programa.Rout | + | ccad:~> tail -f seu_programa.Rout |
| </code> | </code> | ||
| - No ''R'' sugere-se sempre colocar no seu programa comandos ''print()'' (por exemplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com<code> | - No ''R'' sugere-se sempre colocar no seu programa comandos ''print()'' (por exemplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com<code> | ||
| - | % tail -f seu_programa.Rout | + | ccad:~> tail -f seu_programa.Rout |
| </code> | </code> | ||
| - Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: <code> | - Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux: <code> | ||
| - | % ps -u SEU_LOGIN | + | ccad:~> ps -u SEU_LOGIN |
| - | % top | + | ccad:~> top |
| </code> | </code> | ||
| - | <note warning> Entretanto, para rodar no CCAD vamos adaptar este procedimento um pouco para seguir os padrões e aproveitar as vantagens do cluster</note> | + | <note warning> Entretanto, para rodar no CCAD vamos adaptar este procedimento um pouco para seguir os padrões e aproveitar as vantagens do cluster. Ou seja, ao invés de fazer como descrito acima devemos submeter processos R da seguinte forma:</note> |
| Os passos básicos são (adaptar para suas configurações) | Os passos básicos são (adaptar para suas configurações) | ||
| - Definir o ambiente de trabalho, basicamente: | - Definir o ambiente de trabalho, basicamente: | ||
| - | * criar um diretório para rodar o seu programa (substituir abaixo o nome deste diretório em ''SEU_DIRETORIO'') | + | * criar e entrar em um diretório para rodar o seu programa (substituir abaixo o nome deste diretório em ''SEU_DIRETORIO'')<code> |
| + | ccad:~> mkdir SEU_DIRETORIO | ||
| + | ccad:~> cd SEU_DIRETORIO | ||
| + | </code> | ||
| * criar um arquivo de comandos em R (//script// R) com o que vai rodar tal como código de análise, simulação, etc. (substituir abaixo em ''seu_programa.R'') | * criar um arquivo de comandos em R (//script// R) com o que vai rodar tal como código de análise, simulação, etc. (substituir abaixo em ''seu_programa.R'') | ||
| - Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de ''run.sh''.<code> | - Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de ''run.sh''.<code> | ||
| + | #!/bin/bash | ||
| #PBS -S /bin/bash | #PBS -S /bin/bash | ||
| + | #PBS -V | ||
| #PBS -m ae | #PBS -m ae | ||
| #PBS -M paulojus@leg.ufpr.br | #PBS -M paulojus@leg.ufpr.br | ||
| + | #PBS -l walltime=6:00:00 | ||
| + | cd $PBS_O_WORKDIR | ||
| - | source /home/paulojus/.bashrc | + | R CMD BATCH seu_programa.R </code> |
| - | cd DIRETORIO_DE_TRABALHO | + | |
| - | /cluster/sw/R/bin/R CMD BATCH seu_programa.R </code> | + | |
| - Submeter ao cluster <code> | - Submeter ao cluster <code> | ||
| - | $ qsub run.sh </code> | + | ccad:~> qsub run.sh </code> |
| - Monitorar o progresso com<code> | - Monitorar o progresso com<code> | ||
| - | $ qstat run.sh</code> | + | ccad:~> qstat </code> |
| - E também monitorar da forma usual o arquivo de saída do R<code> | - E também monitorar da forma usual o arquivo de saída do R<code> | ||
| - | % tail -f seu_programa.Rout | + | ccad:~> tail -f seu_programa.Rout |
| </code> | </code> | ||
| + | <note>Não esqueça de carregar o modulo do R como descrito acima quando acessar a sua conta !!!</note> | ||
| - | O CCAD disponibiliza informações adicionais sobre [[http://www.ccad.ufpr.br/wiki/index.php/Submiss%C3%A3osubmissão e controle de processos em sua página]].\\ | + | |
| + | O CCAD disponibiliza informações adicionais sobre [[http://www.ccad.ufpr.br/wiki/index.php/Submiss%C3%A3o|submissão e controle de processos em sua página]].\\ | ||
| Se tiverem dicas de uso para o R coloquem aqui!!! | Se tiverem dicas de uso para o R coloquem aqui!!! | ||
| + | |||
| + | === Tempo de processamento === | ||
| + | |||
| + | Por //default// o CCAD interrompe os processos após uma (1) hora de processamento. | ||
| + | No exemplo de arquivo ''run.sh'' acima já modificamos | ||
| + | este tempo, para seis (6) horas, incluindo no seu arquivo: | ||
| + | #PBS -l walltime=6:00:00 | ||
| + | Ajuste este tempo de acordo com a sua necessidade. | ||
| === Pacotes do R === | === Pacotes do R === | ||
| - | Pacotes adicionais podem ser instaldos em sua conta se desejado. | + | Pacotes adicionais podem ser instalados em sua conta se desejado. |
| Entretanto para evitar replicação de instalações estamos centralizando a instalação de pacotes na conta de PJ. | Entretanto para evitar replicação de instalações estamos centralizando a instalação de pacotes na conta de PJ. | ||
| - | Para usar pacotes instalados na conta de PJ acrescente a seguinte linha no seu arquivo ''.Rprofile'': | + | O módulo do R (''mod_R'') faz este direcionamento. |
| - | > .libPaths("/home/paulojus/.Rlibs") | + | > .libPaths("/home/paulojus/Rlibs") |
| Se precisar de algum pacote não instalado solicite por email para PJ. | Se precisar de algum pacote não instalado solicite por email para PJ. | ||
| - | |||
| - | |||
