11
Aug
2020
Groups audience:
Prezados colegas,
Aproveito esse canal para compartilhar um tutorial para configuração do Dataverse para armazenamento de objetos compatível com S3. Produzimos esta documentação no contexto do GT-RDP sob coordenação da RNP. Validamos um piloto de repositório com os gerenciadores de objetos MinIO e Ceph. Relatamos algumas configurações adicionais que não estão na documentação oficial do Dataverse e podem ser úteis para quem está implantando Dataverse como solução tecnológica para repositórios de dados.
http://hdl.handle.net/20.500.11959/1270
Saudações,
Dr. Eduardo Nunes Borges
Professor do Centro de Ciências Computacionais
Membro do GT-RDP Brasil
Author: Carolina Felicissimo
Date: 13 Aug, 2020
Excelente, Prof. Eduardo!
Pessoal, alguém do grupo conseguiu rodar testes de carga com o armazenamento elástico em Nuvem no Dataverse?
Via interface web do Dataverse (URL) conseguimos subir um dataset de 15Gb. Quando testamos com 20Gb, deu erro. Estamos investigando, rodando mais testes e montando um novo relatório.
Mas seria importante ouvir outras experiências.
Cenários que estamos vislumbrando são:
1) o pesquisador sobe seu(s) dataset(s)
1.1) de casa
1.2) de dentro da mesma rede onde está a Nuvem para o armazenamento elástico
2)) o pesquisador abre um ticket para a TI responsável pela operação do Dataverse e solicita o upload do arquivo. Esse deverá ser feito pelo analista por linha de comandos.
Estamos também planejando testes para investigar como soluções de conectividade podem auxixliar nos testes acima para o tal Big Data. Por exemplo, com conexão direta, ponto-a-ponto, de onde um dataset volumoso encontra-se até seu destino na Nuvem. Ai, a funcionalidade do Dataverse de verificação do dataset deve ser considerada, além do mecanismos de publicação usando um serviço externo com o DOI ou Handle.
abcs a todos,
Carol.
Author: Carolina Felicissimo
Date: 13 Aug, 2020
Excelente, Prof. Eduardo!
Pessoal, alguém do grupo conseguiu rodar testes de carga com o armazenamento elástico em Nuvem no Dataverse?
Via interface web do Dataverse (URL) conseguimos subir um dataset de 15Gb. Quando testamos com 20Gb, deu erro. Estamos investigando, rodando mais testes e montando um novo relatório.
Mas seria importante ouvir outras experiências.
Cenários que estamos vislumbrando são:
1) o pesquisador sobe seu(s) dataset(s)
1.1) de casa
1.2) de dentro da mesma rede onde está a Nuvem para o armazenamento elástico
2)) o pesquisador abre um ticket para a TI responsável pela operação do Dataverse e solicita o upload do arquivo. Esse deverá ser feito pelo analista por linha de comandos.
Estamos também planejando testes para investigar como soluções de conectividade podem auxixliar nos testes acima para o tal Big Data. Por exemplo, com conexão direta, ponto-a-ponto, de onde um dataset volumoso encontra-se até seu destino na Nuvem. Ai, a funcionalidade do Dataverse de verificação do dataset deve ser considerada, além do mecanismos de publicação usando um serviço externo com o DOI ou Handle.
abcs a todos,
Carol.