Skip to main content

Notice

We are in the process of rolling out a soft launch of the RDA website, which includes a new member platform. Existing RDA members PLEASE REACTIVATE YOUR ACCOUNT using this link: https://rda-login.wicketcloud.com/users/confirmation. Visitors may encounter functionality issues with group pages, navigation, missing content, broken links, etc. As you explore the new site, please provide your feedback using the UserSnap tool on the bottom right corner of each page. Thank you for your understanding and support as we work through all issues as quickly as possible. Stay updated about upcoming features and functionalities: https://www.rd-alliance.org/rda-web-platform-upcoming-features-and-functionalities/

Dataverse com armazenamento compatível com S3

  • Creator
    Discussion
  • #103446

    Prezados colegas, 
    Aproveito esse canal para compartilhar um tutorial para configuração do Dataverse para armazenamento de objetos compatível com S3. Produzimos esta documentação no contexto do GT-RDP sob coordenação da RNP. Validamos um piloto de repositório com os gerenciadores de objetos MinIO e Ceph. Relatamos algumas configurações adicionais que não estão na documentação oficial do Dataverse e podem ser úteis para quem está implantando Dataverse como solução tecnológica para repositórios de dados.
    http://hdl.handle.net/20.500.11959/1270
    Saudações,
    Dr. Eduardo Nunes Borges
    Professor do Centro de Ciências Computacionais
    Membro do GT-RDP Brasil  

  • Author
    Replies
  • #129677

    Excelente, Prof. Eduardo!

     

    Pessoal, alguém do grupo conseguiu rodar testes de carga com o armazenamento elástico em Nuvem no Dataverse?

     

    Via interface web do Dataverse (URL) conseguimos subir um dataset de 15Gb. Quando testamos com 20Gb, deu erro. Estamos investigando, rodando mais testes e montando um novo relatório.

     

    Mas seria importante ouvir outras experiências.

     

    Cenários que estamos vislumbrando são:

    1) o pesquisador sobe seu(s) dataset(s)

    1.1) de casa

    1.2) de dentro da mesma rede onde está a Nuvem para o armazenamento elástico

    2)) o pesquisador abre um ticket para a TI responsável pela operação do Dataverse e solicita o upload do arquivo. Esse deverá ser feito pelo analista por linha de comandos.

     

    Estamos também planejando testes para investigar como soluções de conectividade podem auxixliar nos testes acima para o tal Big Data. Por exemplo, com conexão direta, ponto-a-ponto, de onde um dataset volumoso encontra-se até seu destino na Nuvem. Ai, a funcionalidade do Dataverse de verificação do dataset deve ser considerada, além do mecanismos de publicação usando um serviço externo com o DOI ou Handle.

     

    abcs a todos,

     Carol.

  • #129676

    Excelente, Prof. Eduardo!

     

    Pessoal, alguém do grupo conseguiu rodar testes de carga com o armazenamento elástico em Nuvem no Dataverse?

     

    Via interface web do Dataverse (URL) conseguimos subir um dataset de 15Gb. Quando testamos com 20Gb, deu erro. Estamos investigando, rodando mais testes e montando um novo relatório.

     

    Mas seria importante ouvir outras experiências.

     

    Cenários que estamos vislumbrando são:

    1) o pesquisador sobe seu(s) dataset(s)

    1.1) de casa

    1.2) de dentro da mesma rede onde está a Nuvem para o armazenamento elástico

    2)) o pesquisador abre um ticket para a TI responsável pela operação do Dataverse e solicita o upload do arquivo. Esse deverá ser feito pelo analista por linha de comandos.

     

    Estamos também planejando testes para investigar como soluções de conectividade podem auxixliar nos testes acima para o tal Big Data. Por exemplo, com conexão direta, ponto-a-ponto, de onde um dataset volumoso encontra-se até seu destino na Nuvem. Ai, a funcionalidade do Dataverse de verificação do dataset deve ser considerada, além do mecanismos de publicação usando um serviço externo com o DOI ou Handle.

     

    abcs a todos,

     Carol.

Log in to reply.