Configuração e uso do CCAD para usuários do LEG

O CCAD - Centro de Computação de Alto Desempenho - disponibiliza recursos computacionais na UFPR em particular para procedimentos intensos com simulações etc.

O sistema disponibiliza várias máquinas com amplos recursos de processamento e de memória.

Este é um sistema alternativo a outro existente na UFPR, o LCPAD com algums configurações e filosofias de uso diferentes.

O CCAD procura estimular/incentivar o uso de programas que rodem em paralelo!!

Informações detalhadas na Página do CCAD

Para ter conta é necessário solicitar e o trabalho deve estar vinculado a um projeto cadastrado. No LEG alguns usuários utilizam o CCAD vinculados a um projeto de PJ.

• as máquinas do CCAD devem ser acessadas remotamente através de outras máquinas via internet (ssh por exemplo)
• O usuário cadastrado receberá email com login e senha de acesso.
• o acesso deve ser feito sempre à servidora ccad.ufpr.br
• a partir desta servidora é possível acessar as demais máquinas do LCPAD via o comando rlogin (mais detalhes abaixo)
• O acesso à servidora ccad.ufpr.br pode ser feito por ssh (inclusive gráfico com ssh -X) via programa gráfico de ssh (putty, etc) ou linha de comando com:

  $ ssh LOGIN@ccad.ufpr.br

• ssh só é possível a partir de máquinas na UFPR. Se estiver acessando de fora acesse primeiro uma servidora da UFPR (do leg por exemplo) e dela acesse o CCAD
• Recomenda-se trocar a senha no primeiro uso com o comando:

  ccad:~> passwd 

• O sistema operacional das máquinas do CCAD é LINUX (SuSe). É portanto recomandado que usuários estejam familiarizados com comandos básicos do LINUX
• É possível rodar aplicativos gráficos na servidora ccad.ufpr.br.

O R foi compilado na servidora do CCAD e está em um diretório não usual:

/cluster/sw/R

Portando o binário para execução está em:

/cluster/sw/R/bin/R

Para evitar ter que digitar todo este caminho quando for iniciar o R voce pode adicionar no seu arquivo .bashrc a seguinte linha:

alias R="/cluster/sw/R/bin/R"

Depois disto voce poderá usar o R simplesmente digitando

ccad:~> R

Lembrando usualmente trabalhos de R em background são submetidos com o modo BATCH e o comando usual e acompanhamento do andamento do job é feito com:

ccad:~> R CMD BATCH seu_programa.R &
ccad:~> tail -f seu_programa.Rout

1. No R sugere-se sempre colocar no seu programa comandos print() (por exemplo imprimir o número da simulação) que permitam que voce acompanhe o andamento com

   ccad:~> tail -f seu_programa.Rout

2. Numa máquina voce pode ver se o processo está rodando com um dos seguintes comandos do linux:

   ccad:~> ps -u SEU_LOGIN 
   ccad:~> top

Os passos básicos são (adaptar para suas configurações)

1. Definir o ambiente de trabalho, basicamente:
   • criar um diretório para rodar o seu programa (substituir abaixo o nome deste diretório em SEU_DIRETORIO)
   • criar um arquivo de comandos em R (script R) com o que vai rodar tal como código de análise, simulação, etc. (substituir abaixo em seu_programa.R)
2. Criar um arquivo (formato texto) para chamar o R com o seguinte conteúdo básico. Vamos chamar este arquivo de run.sh.

   #PBS -S /bin/bash               
   #PBS -m ae                    
   #PBS -M paulojus@leg.ufpr.br     
   
   source /home/paulojus/.bashrc
   cd DIRETORIO_DE_TRABALHO
   /cluster/sw/R/bin/R CMD BATCH seu_programa.R 

3. Submeter ao cluster

   ccad:~> qsub run.sh 

4. Monitorar o progresso com

   ccad:~> qstat run.sh

5. E também monitorar da forma usual o arquivo de saída do R

   ccad:~> tail -f seu_programa.Rout

O CCAD disponibiliza informações adicionais sobre submissão e controle de processos em sua página.
Se tiverem dicas de uso para o R coloquem aqui!!!

Pacotes adicionais podem ser instaldos em sua conta se desejado. Entretanto para evitar replicação de instalações estamos centralizando a instalação de pacotes na conta de PJ. Para usar pacotes instalados na conta de PJ acrescente a seguinte linha no seu arquivo .Rprofile:

> .libPaths("/home/paulojus/Rlibs")

Se precisar de algum pacote não instalado solicite por email para PJ.

Agradecemos ao Prof. Manoel Cunha (CESEC) e Christian (POP) pelo apoio, instruções e soluções para uso do CCAD.

Informações detalhadas na Página do CCAD