Nova IA da Meta consegue selecionar e mover objetos em vídeos

É comum ver editores de imagens com IA que conseguem identificar, selecionar e mover objetos dentro de uma foto. Agora, a Meta pretende fazer a mesma coisa em vídeos, graças ao modelo Segment Anything Model 2 (SAM 2). 

A Big Tech informa que o SAM 2 consegue segmentar qualquer objeto e acompanhá-lo em tempo real por todos os frames do vídeo. O modelo consegue resolver vários problemas existentes em outras IAs de segmentação, como o movimento rápido, mudanças de aparência e cenas em que outros elementos “bloqueiam” o objeto central.

Alguns dos exemplos publicados pela Meta incluem um vídeo de um skatista, no qual é possível recortar apenas a pessoa e trocar todo o fundo. Além disso, consegue concentrar em mais de um item, como controlar o movimento individual de cada bola durante um malabarismo. 

O SAM 2 poderia ser usado para coletar dados nos treinamentos de sistemas de computação visual, como aqueles usados em veículos autônomos. A princípio, a empresa liberou apenas uma demonstração da tecnologia, mas a novidade tem potencial para simplificar edições de vídeos.