Novos sistemas e tecnologias transformam o nosso entorno e como interagimos com o ambiente. Nos últimos anos, as smart homes, também conhecidas como casas conectadas, começaram a despontar e a virar tendência. São casas equipadas com sensores e mecanismos automáticos, para simplificar e tornar mais segura a nossa rotina.

Nesse contexto, pesquisadores do Departamento de Ciência da Computação (DCC) da Universidade Federal de Minas Gerais (UFMG) desenvolveram, em parceria com a Samsung, um software que identifica ações humanas em filmagens e por meio de sensores. São atividades como andar, correr, sentar, beber, comer ou escovar os dentes.

“Este software tem o objetivo de reconhecer essas ações para que seja possível traçar um perfil da pessoa de modo a auxiliá-la em sua rotina. Como indicar a necessidade de beber mais água ou mesmo a necessidade de fazer mais exercícios físicos”, explica William Robson Schwartz, professor do DCC.

Treinamento do sistema

O software deve ser associado a um dispositivo que captura vídeos, como uma câmera de celular ou um circuito de filmagens, e aprende a modelar a interação com o ser humano. O método proposto utiliza técnicas de inteligência artificial para a etapa de treinamento.

São determinados parâmetros que permitem ao método distinguir cada uma das atividades. Para isso, são apresentados diversos exemplos de ações humanas. Vídeos de pessoas bebendo água, andando, correndo e até caindo. “Ao final do processo, quando um novo vídeo contendo alguma das atividades consideradas durante o treinamento é apresentado, o método é capaz de reconhecer a atividade sendo executada”, conta Schwartz.

O algoritmo detecta conceitos de contexto nos vídeos, extrai relações espaciais e temporais entre pessoas e objetos e, assim, decifra a ação. Normalmente, é necessário que sejam usados vários exemplos de cada atividade para que a variabilidade das ações seja bem capturada pelo método. Caso contrário, o método fica especializado em apenas algumas variações das atividades executadas.

“Essa especialização ocorre muitas vezes em softwares de detecção e reconhecimento facial, em que o treinamento considera apenas pessoas de algumas etnias. Desta maneira, quando o software é executado em pessoas de etnias não vistas durante o treinamento, normalmente retorna resultados incorretos”, diz o pesquisador.

Smart homes

As smart homes têm em seu espaço dispositivos inteligentes, como fechaduras, câmeras de segurança e até mesmo lâmpadas. Os dispositivos são conectados à Internet e podem ser controlados à distância pelo celular.

Schwartz explica que sensores enviam dados para uma unidade de processamento que permite que ações sejam tomadas de acordo com objetivos pré-programados. “Por exemplo, a presença de uma pessoa em um ambiente poderia ligar as luzes ou mesmo ajustar a temperatura, de acordo com a identidade da pessoa. Ou seja, os sensores identificam o indivíduo que possui um perfil associado contendo informações como a intensidade da iluminação ou a temperatura predileta para cada ambiente”, exemplifica. A casa pode “aprender” as preferências de cada pessoa que frequente a casa, ao longo do tempo.

No caso do software desenvolvido na UFMG, há ainda uma preocupação com segurança e saúde. “Sensores instalados na casa poderiam tentar identificar a queda de um idoso em um cômodo, o que poderia acionar a emergência ou um familiar de forma automática. Também poderia emitir um alarme caso o software identificasse uma criança mexendo em um objeto pontiagudo, como uma faca”, diz o pesquisador.

Já existem métodos para reconhecimento de atividades humanas no mercado, cada um especializado em um subconjunto de atividades, com sensores específicos para captura dos dados. Um dos grandes diferenciais do mecanismo criado no laboratório do DCC é a possibilidade de somar informações capturadas a partir de câmeras de vídeos com medições de sensores no corpo da pessoa, como smartphones e smartwatches. “Experimentos mostram que essa combinação é capaz de obter um reconhecimento de atividades mais acurado”, afirma Schwartz.

Desenvolvimento do projeto

O sistema foi desenvolvido no Smart Sense Lab, vinculado ao DCC, entre 2016 e 2018, dentro de um projeto da Samsung, empresa sul coreana de tecnologia. O laboratório da UFMG trabalha em tópicos relacionados ao software desde 2013. Um dos grandes focos de pesquisa é o monitoramento de pessoas e de suas atividades.

O projeto envolveu professores e diversos alunos de iniciação científica, mestrado e doutorado. Além do depósito de duas patentes, gerou dissertações de mestrado, trabalhos de conclusão de curso e publicações em conferências e periódicos científicos.

Durante o projeto, foi desenvolvido um protótipo experimental para o método de reconhecimento de atividades, mas ainda não há previsão de estar disponível em forma de um produto específico.