Geleia de Menta

Blog/newsletter sobre tecnologia com perspectiva humana

Aprendizado auto-supervisionado e os caminhos da ciência

Última atualização em:

Como já falado outras vezes, pré-treinamento é uma prática extremamente comum para agilizar o treinamento de algoritmos usados em produção. Normalmente usando autoaprendizado para criar um “conhecimento” sobre os dados, isto é, conseguir processar os dados de forma a criar uma representação espacial deles com base em suas características, mas sendo ainda genérico o bastante para ser facilmente ajustado a qualquer necessidade.

Sendo uma prática bastante comum, até mesmo padrão em qualquer tutorial que se acha sobre as frameworks mais conhecidas e acessíveis para lidar com deep learning, é de se imaginar que se tenha um amplo conhecimento acerca do funcionamento interno dos processos envolvidos e de suas possibilidades. Só que a história não é bem assim, e grande parte disso é culpa do modelo de se fazer pesquisas orientadas a produtos, afinal são poucos os atores que têm recursos financeiros que investem de forma bastante pesada em pesquisa de ponta e o único interesse deles é criar e melhorar seus produtos.

Diante desse contexto não é de se estranhar que a esta altura existam pesquisas como as discutidas nas publicações do blog da universidade de Stanford:

É estranhamente comum que a produção acadêmica em IA seja tão exclusivamente focada em resultados que a validade de alguma teoria ou prática se prove unicamente através das métricas empregadas sem necessariamente se aprofundar em nenhum aspecto teórico. De tempos em tempos vemos como inovadoras técnicas que se você olhar bem, nasceram desses pontos cegos ou até óbvios só que completamente ignorados. As redes que seguem o modelo encoder-decoder são um bom exemplo disso, se valendo de camadas/representações espaciais internas em redes neurais para que no treinamento se crie uma correlação, como por exemplo, entre valor semântico de palavras em diferentes idiomas ou na descrição textual de uma imagem, o que o treinamento faz é em grande parte alinhar o conteúdo dessas camadas internas que estão em comunicação (um ano de referência para o problema sequence-to-sequence é 2014, enquanto se costuma ter como marco inicial da deep learning as redes convolucionais, no final dos anos de 1980).

É muito raro acontecer em IA o que ocorre em outras áreas de exatas onde décadas ou séculos depois de formulada e provada matematica/fisicamente uma teoria, a prova material surge em experimentos ou observações impossíveis para a época. Em grande parte, isso é consequência da indefinição da própria computação se ver como ciência ou engenharia, mas que claramente tem uma cultura que pende com bastante força para a engenharia.