O uso pesado de machine learning para treinar tecnologias abastecidas por sistemas de inteligência artificial tem como base, claro, um hardware de ponta para que isso seja possível. Geralmente este trabalho é feito por GPUs bombadas e que custam fábulas – não menos de US$ 100 mil. Mas isso pode estar a caminho de ser transformado: cientistas da Universidade Rice descobriram como treinar IA de modo mais rápido e barato utilizando apenas CPUs e algoritmos.
Os pesquisadores criaram um algoritmo chamado “mecanismo de aprendizado profundo sub-linear”, ou SLIDE, na sigla em inglês, capaz de executar o mesmo trabalho de implementação do deep learning, mas sem o hardware de aceleração especializado. A equipe então pegou uma carga de trabalho complexa e a distribuiu para uma GPU de primeira linha usando o software TensorFlow, do Google, e para uma CPU da classe Xeon de 22 núcleos e 44 threads usando o SLIDE. Foi descoberto que a CPU poderia concluir o treinamento em apenas uma hora, comparada a três horas e meia para a GPU.
O SLIDE funciona adotando uma abordagem fundamentalmente diferente para o deep learning. As GPUs aproveitam essas redes estudando grandes quantidades de dados – geralmente usando milhões ou bilhões de “neurônios” diferentes para reconhecer variados tipos de informações. A diferença é que não é necessário treinar todos os neurônios em todos os casos, pois o SLIDE seleciona apenas os relevantes para o treinamento em questão.
De acordo com Anshumali Shrivastava, professor assistente da Rice, o SLIDE também tem a vantagem de ser paralelo aos dados. “Se eu tiver duas instâncias de dados nas quais quero treinar e que uma seja a imagem de um gato e a outra de um ônibus, elas provavelmente ativarão neurônios diferentes, e o SLIDE pode atualizar ou treinar estes dois independentemente”, disse ele. “Esta é uma melhor utilização do paralelismo para CPUs”, completou.
Apesar dessa descoberta, ainda existem desafios, sobretudo quando comparamos o desempenho da GPU, que precisa de menos memória. “Existe uma hierarquia de cache na memória principal e, se você não for cuidadoso, poderá encontrar um problema chamado “thrashing de cache “, onde há muitas falhas de cache”, revelou Shrivastava.
Depois que a equipe publicou suas descobertas iniciais, a Intel entrou em contato para colaborar e fornecer recursos e hardware para solucionar este problema. “Eles nos disseram que poderiam trabalhar conosco para tornar o treinamento ainda mais rápido e estavam certos. Nossos resultados melhoraram em cerca de 50% com a ajuda deles”, revela.
origem: Canaltech
Sirlei Madruga de Oliveira
Editora do Guia do CFTV
sirlei@guiadocftv.com.br
Avalie esta notícia, mande seus comentários e sugestões. Encontrou alguma informação incorreta ou algum erro no texto?
Importante:
Todos os Conteúdos divulgados decorrem de informações provenientes das fontes aqui indicadas, jamais caberá ao Guia do CFTV qualquer responsabilidade pelo seu conteúdo, veracidade e exatidão. Tudo que é divulgado é de exclusiva responsabilidade do autor e ou fonte redatora.’
