Both sides previous revisionPrevious revisionNext revision | Previous revision |
servicos:processamento [2021-03-15 19:38] – [Servidores de processamento] gnann | servicos:processamento [2025-01-10 17:34] (current) – [Pacotes] gnann |
---|
Existem diversos grupos de pesquisa que dispõem de recurso próprio para processamento. O objetivo deste artigo não é descrever completamente a infraestrutura de processamento do IME, mas descrever a infraestrutura de processamento disponível para toda a comunidade do IME. | Existem diversos grupos de pesquisa que dispõem de recurso próprio para processamento. O objetivo deste artigo não é descrever completamente a infraestrutura de processamento do IME, mas descrever a infraestrutura de processamento disponível para toda a comunidade do IME. |
| |
Contamos com quatro servidores de processamento: brucutu, brucutuiv, brucutuv e brucutuvi. Todos os servidores operam com o sistema [[https://debian.org/|Debian GNU/Linux]] na versão estável contando com diversos pacotes possibilitando a compilação de programas em C, bem como a execução de scripts em Python, R etc. O acesso a tais servidores é remoto se dá a partir do protocolo [[tutoriais:como_acessar_a_rede_ime_de_fora|SSH]]. Lembrando que é **necessário** [[https://criaconta.ime.usp.br|criar a conta]] na rede do IME para o acesso remoto. | Contamos com três servidores de processamento: brucutuiv, brucutuv e brucutuvi. Todos os servidores operam com o sistema [[https://debian.org/|Debian GNU/Linux]] na versão estável contando com diversos pacotes possibilitando a compilação de programas em C, bem como a execução de scripts em Python, R etc. O acesso a tais servidores é remoto se dá a partir do protocolo [[tutoriais:como_acessar_a_rede_ime_de_fora|SSH]]. Lembrando que é **necessário** [[https://criaconta.ime.usp.br|criar a conta]] na rede do IME para o acesso remoto. |
| |
Exemplo: | Exemplo: |
ssh usuario@brucutu.ime.usp.br | ssh usuario@brucutu.ime.usp.br |
</code> | </code> |
| |
**OBS:** o acesso às brucutus V e VI se dá apenas a partir do ambiente interno. Então é preciso [[tutoriais:como_acessar_a_rede_ime_de_fora|acessar remotamente a rede do IME]] e, de lá, fazer outro SSH. | |
| |
===== Configuração ===== | ===== Configuração ===== |
As configurações simplificadas de hardware dos computadores são as seguintes: | As configurações simplificadas de hardware dos computadores são as seguintes: |
^ servidor ^ processador ^ núcleos ^ memória RAM ^ coprocessador ^ | ^ servidor ^ processador ^ núcleos ^ threads* ^ memória RAM ^ coprocessador ^ |
| brucutu | 2x [[https://ark.intel.com/content/www/us/en/ark/products/48768/intel-xeon-processor-e5645-12m-cache-2-40-ghz-5-86-gt-s-intel-qpi.html|Intel Xeon E5645]] | 12 | 216GB | N/A | | | brucutuiv | 2x [[https://ark.intel.com/content/www/us/en/ark/products/91767/intel-xeon-processor-e5-2650-v4-30m-cache-2-20-ghz.html|Intel Xeon E5-2650 v4]] | 12 | 24 | 384GB | [[https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/tesla-product-literature/TeslaK80-datasheet.pdf|Nvidia Tesla K40]] | |
| brucutuiv | 2x [[https://ark.intel.com/content/www/us/en/ark/products/91767/intel-xeon-processor-e5-2650-v4-30m-cache-2-20-ghz.html|Intel Xeon E5-2650 v4]] | 24 | 384GB | [[https://www.nvidia.com/content/dam/en-zz/Solutions/Data-Center/tesla-product-literature/TeslaK80-datasheet.pdf|Nvidia Tesla K40]] | | | brucutu | 2x [[https://ark.intel.com/content/www/us/en/ark/products/120489/intel-xeon-gold-6148-processor-27-5m-cache-2-40-ghz.html|Intel Xeon Gold 6148]] | 20 | 40 | 512GB | N/A | |
| brucutuv | 2x [[https://ark.intel.com/content/www/us/en/ark/products/120489/intel-xeon-gold-6148-processor-27-5m-cache-2-40-ghz.html|Intel Xeon Gold 6148]] | 40 | 512GB | N/A | | | brucutuvi | 2x [[https://ark.intel.com/content/www/us/en/ark/products/120489/intel-xeon-gold-6148-processor-27-5m-cache-2-40-ghz.html|Intel Xeon Gold 6148]] | 20 | 40 | 512GB | [[https://www.nvidia.com/en-us/data-center/v100/|Nvidia Tesla V100]] | |
| brucutuvi | 2x [[https://ark.intel.com/content/www/us/en/ark/products/120489/intel-xeon-gold-6148-processor-27-5m-cache-2-40-ghz.html|Intel Xeon Gold 6148]] | 40 | 512GB | [[https://www.nvidia.com/en-us/data-center/v100/|Nvidia Tesla V100]] | | |
| |
Atentamos que todos os processadores contam com [[https://en.wikipedia.org/wiki/Hyper-threading|hyperthreading]] de tal sorte que a quantidade efetiva linhas de processamento é o dobro do número de núcleos. | * Com [[https://en.wikipedia.org/wiki/Hyper-threading|hyperthreading]], a quantidade efetiva linhas de processamento é o dobro do número de núcleos. |
| |
===== Política de uso ===== | ===== Política de uso ===== |
- Não ocupar as duas GPUs. Se acontecer, poderemos matar seu mataremos o processo **mais antigo**; | - Não ocupar as duas GPUs. Se acontecer, poderemos matar o seu processo **mais antigo**; |
- Não pode ocupar mais do que duas máquinas em CPU. Se acontecer, poderemos matar seus processos **mais antigos**; | - Não pode ocupar mais do que duas máquinas em CPU. Se acontecer, poderemos matar seus processos **mais antigos**; |
- Se um processo passar de **168h** (uma semana corrida), ele poderá ser morto para liberar recursos para outros usuários; | - Se um processo passar de **168h** (uma semana corrida), ele poderá ser morto para liberar recursos para outros usuários; |
Em essência: //Brute force science should be avoided//. | Em essência: //Brute force science should be avoided//. |
| |
| ===== Pacotes ===== |
| Costumamos instalar bibliotecas mais generalistas como o ''r-recommended'' ou o ''build-essential''. Caso for necessário a instalação de algo mais específico, basta escrever para admin@ime.usp.br solicitando a instalação. |
| |
| Atentamos que pode acontecer de não ser possível instalar a dependência por se tratar de uma versão conflitante com o que a versão estável do Debian tem a oferecer. |
| |
| A solução trivial é usar o [[tutoriais:apptainer|Apptainer]]. |
===== Boas práticas ===== | ===== Boas práticas ===== |
- Utilizar o comando **screen**; | - Utilizar o comando **screen**; |