AI Builder – Detecção de Objetos (Parte 1/3)

Olá pessoal,

Dando continuidade ao post introdutório sobre Ai Builder, irei agora criar uma série de posts para demonstrar como criar/treinar seu modelo, aplicá-lo em um cenário real e armazenar as detecções, utilizando o modelo de Detecção de Objetos!

 

Como podemos observar na imagem acima, temos 3 etapas que serão discutidas nesta série de posts:

1. Criação e treinamento do modelo de detecção de objetos – Iremos importar as imagens que contenham os objetos nos quais queremos que nosso modelo aprenda. Assim, uma a uma informamos onde o objeto esta em suas mais várias formas, quantidade e ângulos possíveis. Por fim, checaremos o quanto nosso modelo está pronto (qual a probabilidade) para identificar os objetos treinados.
2. Aplicação do modelo em uma PowerApp – Assim que ficarmos satisfeitos com o nosso modelo, podemos utilizá-lo em uma PowerApp.
3. Gravação das detecções em uma fonte de dados (CDS) – Com nossa detecção funcionando dentro de uma app, agora é hora de ir além e gravar os resultados das detecções no CDS.

Bom vamos aos detalhes deste post…

Criando e treinando um modelo de detecção de objetos

Primeiramente, vá em make.powerapps.com, selecione o ambiente em que deseja criar seu modelo (atenção para o período de preview, pois apenas ambiente nos EUA e Europa possuem acesso).

Agora, precisamos de uma entidade no CDS para armazenar os nomes e detalhes de nossos objetos. Nesse exemplo, irei utilizar frutas, assim, criei uma entidade chamada Fruits (frutas), sem nenhum campo customizado e com apenas três frutas: Apple (maça), Strawberry (morango) e Grapes (uvas):

Entidade e alguns registros criados, vamos ao AI Builder, clique em AI Builder > Build > Object Detection:

Dê um nome ao seu modelo e avance para a próxima etapa. Veja que temos quatro etapas para cumprirmos para gerarmos nosso modelo:

 

1 – Selecionar os nomes de nossos objetos

Selecione a entidade que acabamos de criar no CDS (Fruits) e o atributo que conterá os nomes dos objetos:

 

Em seguida selecione todos os objetos que estarão neste modelo: Apple (maça), Strawberry (morango) e Grapes (uvas).

2 – Adicionar as imagens

Adicione as imagens que nosso modelo irá conter, vale lembrar que quanto mais imagens (você precisa de ter no mínimo 15 de cada objeto), maior as chances de assertividade aumentar, use fotos em vários angulos, imagens que possuem mais do que um único objeto, objetos de tamanhos, cores e atributos diferentes (veja mais dicas aqui)

3 – Marcar (tag) onde os objetos estão em cada imagem que estamos treinando

Esta é a etapa que dá mais trabalho, temos que navegar imagem por imagem e dizer que determinada parte da imagem representa determinado(s) objeto(s). Porém, o AI Builder já ajuda um pouco sua vida, veja que ao passar o mouse sobre os objetos ele automaticamente individualiza os objetos na maioria dos casos de forma bem assertiva:

Como falei anteriormente, é bem interessante mesclar objetos, veja que nesta imagem, selecionei algumas uvas individualmente, depois selecionei o cacho inteiro. E na mesma imagem temos duas maças, veja a quantidade de objetos selecionado no menu lateral:

4 – Treinar o modelo

Treinar o modelo é a parte mais fácil (para nós), pois o AI Builder que faz todo o trabalho. Um resumo das imagens mapeadas é mostrado, para confirmar clique em Train (treinar):

Aguarde o treinamento ser concluído, ao término, um percentual contendo como o modelo se portou ao ser treinado será exibido:

Aqui temos que ter em mente que mesmo que os modelos resultem em 100%, não indicam que são perfeitos. Pois o percentual indica como o modelo foi interpretado segundo as tags que utilizamos. Novas imagens podem fazer o modelo não funcionar perfeitamente. Por tanto, quanto mais imagens, maiores as changes de um maior êxito (para maiores informações veja este link).

Para fazer um teste rápido do modelo, clique em Quick test e insira uma imagem que o modelo ainda não viu, assim o testamos por completo:

O modelo criado ficará à princípio em modo Rascunho (draft), mas apenas modelos publicados podem ser utilizados por outro componente da Power Platform. Assim, se estivermos satisfeitos com ele clique em Publish (publicar):

Pronto! Modelo criado e treinado, pronto para utilizarmos, vejam que após publicarmos o modelo, um botão contendo Create app (criar app) começa a aparecer, pois bem, este é o início no segundo post desta série, que em breve estará disponível. Volte neste blog para conferir!

[]’s,

Tiago