ORACLE · Metodologia
Um score de 0 a 100 que ninguém explica não é medição: é opinião com aparência de número. Esta página declara o método inteiro — o que é contado, quantas vezes, em quais motores, e em que condição a plataforma aceita dizer que algo subiu ou caiu.
Uma carteira fixa de perguntas de compra é feita, igual, a cada rodada. Em cada resposta a marca é procurada no texto, não no link: o que se mede é se a IA cita você quando alguém pergunta quem contratar — não a sua posição num buscador.
Perguntas que já trazem o nome da marca no enunciado ficam FORA da taxa principal: elas aparecem por construção e a inflariam. Elas continuam medidas e continuam na tela, com a taxa delas em separado.
Toda taxa aqui é publicada com um intervalo de confiança de Wilson a 95%. O intervalo é parte do número, não um enfeite ao lado dele: ele diz a faixa de valores compatíveis com o que foi observado, dado quantas medições houve.
É a diferença entre 3 de 4 e 300 de 400. As duas dão 75%; só a segunda sustenta a frase “setenta e cinco por cento”. Sem o intervalo, 3 de 4 vira “75%” na sua apresentação — e a próxima rodada, com as mesmas quatro perguntas, pode dar 50% sem que nada tenha mudado no mundo.
Cada pergunta é feita 1 vez(es) em cada motor, dentro da mesma rodada — e as repetições são uma rodada só na série, nunca vários pontos. É o valor que esta instalação declara em ORACLE_AMOSTRAS; o teto aceito é 10.
Repetir existe por um motivo medido: a concordância de menção de marca entre execuções repetidas do MESMO prompt no MESMO motor fica entre 45% e 59%, e a das fontes citadas entre 32% e 43% (Schulte et al., Don't Measure Once, 2026). Com uma amostra por célula, boa parte do que se veria como mudança é variação do próprio motor. Cada amostra a mais multiplica as chamadas pagas da carteira inteira — por isso o número é uma decisão declarada, e não um padrão escondido.
Esta instalação não declara ORACLE_MOTORES, então esta página não afirma quais motores a rodada consulta. Cada rodada registra com quais motores mediu, e o painel do cliente mostra isso rodada a rodada.
A plataforma implementa 5 dos 15 motores do catálogo de mercado que ela mantém — hoje perplexity, gemini, brave, openai, claude. Dizer “medimos os principais motores de IA” seria mais bonito e não seria verdade.
Quando um motor sai do ar, o denominador da rodada passa a ser outro conjunto de motores e a taxa se move sem que nenhuma resposta tenha mudado. Por isso cada rodada guarda com que motores foi medida, e a tela avisa quando duas rodadas não são comparáveis.
Quando uma pergunta não pôde ser medida, a tela escreve não medida e o motivo. Ela não escreve 0%. As duas coisas se parecem na tela e são opostas: uma é “a IA não citou você”, a outra é “não houve medição”. Confundi-las é o defeito que este produto existe para não cometer — 0 de 0 não é 0%.
Os motivos que a plataforma sabe declarar:
Falha de motor e recusa ficam fora do denominador da taxa, e dentro da conta do custo: elas foram chamadas pagas que não mediram nada.
Só quando os intervalos das duas rodadas não se sobrepõem, e só quando as duas foram medidas com o mesmo instrumento (os mesmos motores, sobre o mesmo conjunto de perguntas). Fora disso, a plataforma diz que não há mudança demonstrada — e não desenha seta.
Com amostras deste tamanho, uma seta desenhada por comparação direta de porcentagens seria desonesta: a diferença entre 45% e 59% em quatro perguntas cabe inteira dentro do erro amostral, e o cliente leria como resultado do trabalho dele o que é ruído do motor. Os vereditos possíveis são estes, e apenas dois autorizam uma seta:
Ressalva declarada: cada comparação é feita a 95% isoladamente; comparando muitos recortes na mesma rodada, alguns 'sustentados' aparecem por acaso. Não há correção de multiplicidade.
Este método produz menos manchete: taxas com faixa, meses sem seta, perguntas marcadas como não medidas. Em troca, todo número desta plataforma aguenta a pergunta “como você chegou nisso?” — feita por você, pelo seu cliente ou por quem estiver do outro lado da mesa.