AI

Aprendizado profundo alcançando limites computacionais, alerta para novo estudo do MIT

Aprendizado profundo alcançando limites computacionais, alerta para novo estudo do MIT


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Pesquisadores do Massachusetts Institute of Technology, do MIT-IBM Watson AI Lab, do Underwood International College e da Universidade de Brasília descobriram que estamos atingindo os limites computacionais para o aprendizado profundo. O novo estudo afirma que o progresso do aprendizado profundo veio com um "apetite voraz por poder de computação" e que o desenvolvimento contínuo exigirá métodos "dramaticamente" mais eficientes do ponto de vista computacional.

RELACIONADO: E-SKIN DE APRENDIZAGEM PROFUNDA PODE DECODIFICAR MOVIMENTO HUMANO COMPLEXO

“Mostramos que o aprendizado profundo não é caro do ponto de vista computacional por acidente, mas por design. A mesma flexibilidade que o torna excelente na modelagem de diversos fenômenos e desempenho superior aos modelos especialistas também o torna dramaticamente mais caro em termos computacionais ”, escreveram os co-autores.

Os pesquisadores analisaram 1,058 artigos de pesquisa encontrados no repositório de pré-impressão arXiv, bem como outras fontes de referência, para entender como o desempenho do aprendizado profundo depende do poder computacional nos domínios de classificação de imagens, detecção de objetos, resposta a perguntas, reconhecimento de entidades nomeadas e tradução automática. Para entender por que o aprendizado profundo é tão caro do ponto de vista computacional, os pesquisadores analisaram ainda mais sua escala estatística e computacional na teoria.

Eles fizeram isso conduzindo duas análises separadas de requisitos computacionais: (1) Computação por passagem de rede (o número de operações de ponto flutuante necessárias para uma única passagem na rede) e (2) carga de hardware (a capacidade computacional do hardware usado para treinar o modelo). Os pesquisadores descobriram que apenas três anos de melhoria algorítmica foi equivalente a um 10 vezes aumentam no poder de computação.

Eles concluíram que, se o progresso continuar nas mesmas linhas, os requisitos computacionais do aprendizado profundo rapidamente se tornarão técnica, econômica e ambientalmente proibitivos. No entanto, nem tudo está perdido.

“Apesar disso, descobrimos que a carga computacional real dos modelos de aprendizado profundo está aumentando mais rapidamente do que os limites inferiores (conhecidos) da teoria, sugerindo que melhorias substanciais podem ser possíveis”, escreveram os co-autores.

Os pesquisadores descobriram que há melhorias no aprendizado profundo no nível algorítmico ocorrendo o tempo todo. Alguns deles incluem aceleradores de hardware, matrizes de portas programáveis ​​em campo (FPGAs) e circuitos integrados de aplicativos específicos (ASICs). O tempo dirá se o aprendizado profundo se tornará mais eficiente ou será totalmente substituído.


Assista o vídeo: 12. Machine Learning for Pathology (Junho 2022).


Comentários:

  1. Reuben

    Tenho certeza que isso não combina comigo. Quem mais pode sugerir?

  2. Laheeb

    Eu penso que eles estão errados. Eu sou capaz de provar isso. Escreva para mim em PM, discuta isso.

  3. Mikazahn

    Isso é simplesmente incomparável :)

  4. Bordan

    Não leve na cabeça!



Escreve uma mensagem