Criar recursos GenAI em seu aplicativo geralmente significa navegar por vários modelos, APIs e escolhas de arquitetura:
- Localização da execução: Onde seu modelo roda? No dispositivo, na nuvem ou ambos?
- Complexidade: Quão complexa é sua configuração? Você está fazendo uma única chamada de inferência ou precisa de um fluxo mais agente?
- No aplicativo ou no sistema Android: Seu recurso deve ser construído em seu aplicativo Android ou se encaixa melhor como uma integração do sistema Android?
Nesta série de posts de blog, vamos navegar por essas escolhas com você. Levará você em uma jornada, começando com um aplicativo móvel básico e transformando-o em uma experiência personalizada, inteligente e agente.
Jetpacker: um aplicativo de viagem demonstrativo
O Jetpacker é um aplicativo de demonstração técnica que nossa equipe construiu do zero para o Google I/O deste ano (construído usando Antigravity). No seu núcleo, o Jetpacker ajuda os usuários a planejar, explorar e aproveitar sua próxima grande aventura. Ele mostra um resumo de suas viagens, o itinerário de cada viagem e detalhes de cada evento nessa viagem. Claro, seguindo todas as melhores práticas do desenvolvimento Android, incluindo uma bela interface Material UI expressiva.
E o melhor de tudo? Ele é totalmente aberto!
Hoje estamos publicando uma série de posts técnicos de blog, mergulhando profundamente em cada um desses recursos. Ofereceremos etapas detalhadas de implementação, trechos de código e insights arquitetônicos para ajudá-lo a construir seus próprios aplicativos Android inteligentes.
Recursos no dispositivo do Jetpacker: Resumindo itinerários de viagem, gerenciando despesas e notas de áudio
O uso de um modelo em dispositivo vem com não há custos adicionais de inferência na nuvem, significa que você não precisa se preocupar com conectividade à internet e permite que os usuários tenham certeza de que informações privadas serão processadas localmente, no dispositivo, sem nenhum dos seus dados sendo enviado para a nuvem.
No Jetpacker, escolhemos inferência em dispositivo para três de nossos recursos:
- A funcionalidade de resumo da viagem transforma um itinerário bagunçado e multidiária em uma sinopse concisa e açãoável. Ela aproveita o Gemini Nano através das APIs GenAI ML Kit para processar dados localmente no dispositivo. Consideramos essa uma funcionalidade legal onde não queremos incorrer em custos adicionais de nuvem, tornando a inferência em dispositivo a escolha certa.
- O rastreador de gastos extrai automaticamente dados estruturados de imagens de recibos para ajudar os usuários a rastrear seus gastos de viagem. Ele usa as capacidades multimodais do Gemini Nano 4 através das APIs GenAI ML Kit. Escolhemos uma solução em dispositivo para que qualquer informação confidencial nos recibos nunca deixe o dispositivo do usuário.
- O diário de áudio registra, transcreve e categoriza notas de voz em atividades relevantes da viagem. Ele é alimentado pela API de Reconhecimento de Fala ML Kit e pelas APIs GenAI Prompt. Escolhemos uma solução em dispositivo por razões de privacidade e conectividade.
Recursos em nuvem e híbridos no Jetpacker: Assistente de museu com base na web, revisão híbrida de restaurantes e suporte ao chat de hotel com tradução ao vivo personalizada.
Às vezes, seu caso de uso requer modelos de IA com mais conhecimento sobre o mundo ou uma janela de contexto muito maior e com maior capacidade para lidar com tarefas complexas. Nesse caso, podemos trocar de executar um modelo em dispositivo para usar um modelo em nuvem.
Ou, se você quiser o melhor dos dois mundos, pode usar inferência híbrida para escolher dinamicamente entre um modelo em nuvem ou em dispositivo durante a execução. Isso nos permite reduzir custos ao mover a inferência para o dispositivo quando disponível, mas ao mesmo tempo suportar todos os dispositivos Android que executam o aplicativo.
No Jetpacker, implementamos várias funcionalidades usando modelos em nuvem ou inferência híbrida:
- A funcionalidade de Perguntas e Respostas sobre Localização responde às perguntas dos usuários sobre locais específicos baseando-se em dados do mundo real. Ela usa o Firebase AI Logic integrado com Google Maps e contexto da web. O uso de um modelo em nuvem é necessário aqui por seu maior conhecimento sobre o mundo.
- A funcionalidade de rascunho de revisão ajuda os usuários a compor revisões detalhadas dos locais que visitaram. Ela aproveita tanto modelos em dispositivo quanto em nuvem através da nova API de inferência híbrida do Firebase AI Logic. Esta é uma funcionalidade que queremos tornar disponível para todos os usuários do aplicativo, então estamos usando um modelo em nuvem como fallback quando o modelo em dispositivo não está disponível.
- A tradução automática de mensagens de chat traduz dinamicamente as mensagens de chat em tempo real para facilitar a comunicação fluida, demonstrando lógica personalizada de inferência híbrida. Novamente, queremos que esta funcionalidade esteja disponível para todos os usuários do aplicativo, mas ao mesmo tempo temos algumas considerações específicas sobre quando escolher o dispositivo versus nuvem.
Embora não seja uma funcionalidade visível no próprio aplicativo, a integração com o sistema Android abre as capacidades principais do aplicativo diretamente para o sistema operacional Android. Ela usa o API AppFunctions para se integrar com inteligência de nível de sistema.
Fluxos agênticos no aplicativo (em breve!)
O assistente de reserva mostra várias reservas de voos em andamento, pedindo ao usuário que forneça entrada antes da reserva final.
A agência introduz um nível mais alto de autonomia, permitindo aos modelos atuar como agentes. Em vez de uma única chamada de inferência, um agente trabalha em direção a um objetivo específico através de um loop de orquestração que lhe permite racionar, usar ferramentas e adaptar seu caminho. Dependendo das suas necessidades, esses agentes inteligentes podem ser executados na nuvem, diretamente no dispositivo ou em uma configuração híbrida.
No Jetpacker adicionamos um assistente de reserva que automatiza fluxos de trabalho de reserva do início ao fim dentro do aplicativo para simplificar reservas. Ele é construído usando A2UI e ADK executando na nuvem. O aplicativo Android funciona como uma interface de usuário frontal para o sistema multiagêntico em execução na nuvem.
Saiba mais
Confira as outras partes desta série de posts do blog:
Parte 1 (este post!):Introdução ao aplicativo e visão geral de alto nível.
Parte 2:Inteligência em dispositivo. Profundidade sobre as APIs GenAI do ML Kit e Gemini Nano para construir recursos de privacidade como resumo de itinerário, análise de recibos e processamento local de áudio.
Parte 3:Raciocínio híbrido e em nuvem. Explore como usar o Firebase AI Logic para fundamentar respostas de LLM em dados do mundo real, como Google Maps e contexto da web.
Parte 4:Integração com o sistema. Integrando-se ao sistema de inteligência do Android usando AppFunctions.
Parte 5 (em breve): Fluxos agênticos no aplicativo. Estenda o aplicativo com um assistente de reserva end-to-end alimentado por A2UI e ADK.
Interessado em mais sobre Desenvolvimento Android? Siga o Android Developers no YouTube ou LinkedIn!