Acabei de receber um modelo com 27 bilhões de parâmetros. No mesmo dia, conectei-o ao meu rastreador alimentar no dispositivo — aqui está o que foi lançado e o que eu mediei.

Há um tipo de lançamento pelo qual aprendi a deixar tudo para depois: aqueles que movem o limite da inteligência por gigabyte para além do dispositivo que eu realmente possuo. Em 14 de julho, a PrismML lançou Bonsai 27B, e a afirmação principal é exatamente esse tipo de avanço: o primeiro modelo de classe 27B que cabe em um celular.

Não quis aceitar a afirmação de cara e não queria testá-la com uma caixa de chat. Meu aplicativo Android, SportsDietTracker, tem rodado um pequeno modelo linguístico totalmente no dispositivo há meses. Então a pergunta que realmente importa para mim é mais precisa do que “ele roda”: um modelo de 27B pode atuar como um segundo cérebro mais inteligente ao lado do pequeno — em hardware que as pessoas já possuem?

Até o final do dia eu tinha uma resposta, com números. Mas primeiro, sobre o lançamento em si.

O que foi lançado

Bonsai 27B é construído sobre Qwen3.6 27B e é disponibilizado em dois pontos de operação deliberadamente diferentes. A variante ternária armazena pesos como {−1, 0, +1} com escalonamento FP16 por grupo — 1,71 bits efetivos por peso — e é a versão orientada à qualidade. A variante 1-bit vai mais longe, para pesos binários {−1, +1} em 1,125 bits efetivos, chegando a 3,9 GB: pequeno o suficiente para caber nos aproximadamente 6 GB que um iPhone realmente disponibiliza para um aplicativo...