Projeto

Geral

Perfil

Wiki »

1. Realização de backups

Atualmente o GDAD conta com dois discos de armazenamento de médio e longo prazo. São eles:

  • /stornext/grupos/assim_dados (longo prazo)
  • /stornext/online6/assim_dados (curto médio prazo)

Neste contexto, o que significam os termos "médio" e "longo" prazo?

Médio Prazo: armazenamento de dados e simulações que estão em uso contínuo ou em avaliação durante um período de tempo finito.
Longo Prazo: armazenamento de dados e simulações que já foram utilizados e avaliados, mas que são importantes para experimentos e avaliações (e.g., comparações) futuras.

E os dados que não necessariamente serão utilizados em um futuro próximo? O que fazer com eles? Para esta pergunta, há apenas duas opções:

  • Apagar os dados;
  • Remover para um sistema de backup local ou pessoal.

Tenha em mente que os discos são sempre utilizados por todos os usuários do grupo. O espaço é limitado e finito e portanto deve-se sempre racionalizar os recursos a fim de que não seja necessário recorrer a manobras desnecessárias.

1.2 Como consulto a minha quota? Como sei a quantidade de disco que estou utilizando?

Sempre faça esta pergunta. Para saber sobre a utilização da quota dos discos na Tupã, utilize o comando uquota.

Exemplo:

AREA USADO (GB) QUOTA (GB) LIMITE (GB) PERC.
/stornext/home/usuario 4.47 5.00 5.10 89.38%
/stornext/grupos/assim_dados 5805.72 10240.00 10240.00 56.70%
/stornext/online6/assim_dados 112018.31 115840.93 115840.93 96.70%
/scratchin - assim_dados 7371.22 9536.74 9632.11 77.29%

Para saber sobre o espaço efetivo utilizado pelo usuário no disco scratchin, utilize o comando:

$ lfs quota -u $USER /scratchin/ | sed -n 3p | awk '{ print $2/1024/1024" Gb"}'

1.3 Qual a quantidade de espaço que vou precisar para armazenar meus experimentos e simulações?

Os principais discos que servem o GDAD são os seguintes:

Disco Quota Permanência Tipo Acesso
/stornext/online6/assim_dados 115TB Ilimitado Disco Lento
/stornext/grupos/assim_dados 10TB Ilimitado Fita Super Lento
/scratchin/grupos/assim_dados 9TB Ilimitado Disco Rápido
/scratchout/grupos/assim_dados N/A 8 dias Disco Rápido

Observe que nenhum destes discos possui quota individual (por usuário), e portanto, estes valores devem ser divididos entre todos os usuários do grupo.

Se você conhece os sistemas que está utilizando, por exemplo, LETKF, G3DVAR etc, então deve ser capaz de contabilizar a quantidade de espaço necessária para a realização de 1 ciclo destes sistemas. Esta conta deve incluir:

  • Observações;
  • Backgrounds (e restarts);
  • Análises (e diagnósticos);
  • Arquivos fixos e outros.

Exemplo:

Considere que 1 ciclo de realização do G3DVAR (=GSI+MCGA) na resolução TQ0299L064 tem o seguinte custo:

  • Observações: 2.5GB;
  • Backgrounds (9 horas de previsão e restarts - 432 processadores): 9GB;
  • Análises (e diagnósticos): 1.4GB;
  • Arquivos fixos: 4GB.

Com isto, 1 ciclo do G3DVAR, tem o seguinte custo:

  • Total: ~16GB

Considerando 4 ciclos por dia, então temos o seguinte:

  • 16GB*4=64GB por dia (da simulação).

Se o seu experimento foi projetado para 1 mês de simulações, então você vai precisar de:

  • 64GB*30=~2TB

Ou seja, se você quiser guardar toda a sua simulação de 1 mês, você vai precisar de 2TB de espaço em disco. O disco scratchin do GDAD possui 9TB de espaço. É claro que os 2TB de espaço utilizados pelo seu experimento não está todo alocado no disco scratchin. Na realidade, boa parte deste espaço está sendo alocado no disco scratchout (que não possui quota, mas pode armazenar dados por apenas 8 dias). Caso contrário, a utilização do disco scratchin pelos 47 usuário (29 de Junho de 2015) que estão listados no disco scratchin do GDAD, seria impraticável.

1.4 Mas afinal, o que deve ser guardado?

Esta é a pergunta mais difícil de se responder. Como o objetivo deste guia é apenas auxiliar a tomada de decisões em relação ao uso dos discos, é você mesmo quem deve determinar o que deve ser guardado. Para tanto, devem sempre ser ponderados a quantidade de espaço necessária para o armazenamento e o tempo necessário de permanência. Aqui cabe também tentar classificar o que seria muito ou pouco (em termos de espaço em disco), e isso depende também do disco alvo de armazenamento.

Exemplo:

Considerando o disco online6 (quota: 115TB) e os 47 usuários do GDAD, idealmente, todos os usuários podem usar aproximadamente (115TB/47=) 2.4TB. Ou seja, o suficiente para que você possa armazenar todos os 2TB de espaço necessário da sua simulação.

Mas isso é razoável? Seria, se a utilização dos discos fosse ideal. Acontece que ao mesmo tempo em que nem todos os usuários do GDAD utilizam o disco online6, há casos em que é necessário utilizar muito mais do que 2.4TB por usuário. Um exemplo, são as contas gdad e gdad.oper, que possuem dados comuns e backups de experimentos e simulações importantes que são utilizados por vários usuários do grupo. Então, na realidade, não se tem aproximadamente 2.4TB de espaço para cada usuário no disco online6. Este espaço em disco será sempre bem menor do que isto.

Dado este exemplo, o que efetivamente precisa ser guardado?

Se você realizou o G3DVAR por 1 mês, como sugestão, guarde os seguintes dados:

  • Primeira análise do seu experimento;
  • Análises GSI (no formato do MCGA);
  • Diagnósticos do GSI;
  • Previsões pós-processadas do MCGA;
  • Alguns restarts do MCGA.

A princípio, não há necessidade de se armazenar as previsões do MCGA, pois é muito provável que você precise apenas das previsões pós-processadas. Se houver necessidade de se integrar novamente o MCGA, você terá guardado as análises do GSI (no formato do modelo) e você poderá integrá-las novamente. Não se esqueça que neste caso, você (provavelmente) precisará também dos restarts. Os diagnósticos do GSI são importantes para se avaliar o desempenho do sistema.

Lembre-se que esta é apenas uma sugestão e a sua necessidade é o que realmente vai definir o que deve ser guardado ou não, mas lembre-se que o espaço é limitado.

1.5 Como realizar os backups e diminuir o espaço utilizado?

Uma boa prática para manter baixo o custo do espaço utilizado no disco online6, é comprimir os dados que já estão armazenados. Geralmente, os comandos utilizados para isso, são o tar e o gzip.

Exemplo:

Considere a uma pasta chamada pasta, com ~70GB. Para comprimir os dados desta pasta, pode-se proceder de duas formas distintas (mas que geram o mesmo resultado):

tar -zcvf pasta.tar.gz pasta/

ou

tar -cvf pasta.tar pasta/

e em seguida,

gzip pasta.tar

Uma pasta deste tamanho leva aproximadamente 20 minutos para ser agrupada (comando tar) e 1 hora e 20 minutos para ser comprimida (comando gzip).

Uma vez que os dados estejam comprimidos, é possível listar o seu conteúdo utilizando o seguinte comando:

tar -tf pasta.tar.gz

Estas medidas podem auxiliar o GDAD a ter um controle maior sobre a utilização dos discos, e além disso, vai lhe auxilia também a organizar e dimensionar melhor os seus experimentos.

1.6 Acessando as fitas de backup

A maior parte deste guia considera a utilização do disco online6, mas todas as suas instruções são aplicáveis também ao disco /stornext/grupos. Neste caso, como trata-se de um disco de acesso super lento, alguns recursos que facilitam a sua utilização estão disponíveis.

Para a sua referência, acesse o manual de utilização da Tupã na seção Dados em Fita.