SkillProdutoCriação
Planejador de Teste A/B
Desenha testes A/B estatisticamente rigorosos para features de produto, mudanças de UI, fluxos de onboarding e experimentos de pricing. Use quando precisar montar um experimento, calcular tamanho de amostra ou interpretar resultados.
Ações
PerfilProduto
ProfundidadeAlta
IdiomaInglês (skill original)
Objetivo
Em uma frase.
Produzir experimentos que geram resultados confiáveis, e não apenas sinais direcionais. Cada plano de teste entrega hipótese, métricas de sucesso, tamanho de amostra, duração e um guia de interpretação de resultados, evitando decisões precipitadas e p-hacking.
Aplicação
Quando
faz sentido.
Usar
- Você vai testar uma feature, mudança de UI, copy, pricing ou etapa de onboarding
- Precisa formular uma hipótese direcional antes de rodar o experimento
- Quer calcular o tamanho de amostra e a duração necessária para significância
- Precisa de um guia claro de quando dar ship, iterar ou rejeitar com base nos dados
Não usar
- O tráfego é muito baixo (<1.000 usuários/dia) e não há como atingir significância em tempo razoável — prefira pesquisa qualitativa
- A intenção é só "ver o que acontece", sem hipótese direcional
- A decisão não comporta a sobrecarga de um experimento controlado
Prompt
Instruções
para a IA.
### Entradas obrigatórias
Colete o que está sendo testado, a hipótese, a métrica primária, a taxa baseline, o efeito mínimo detectável (MDE) e o número de usuários elegíveis por dia. Sem isso, o cálculo de amostra e duração não fecha.
### Hipótese e desenho
Toda hipótese deve ser direcional, no formato "acreditamos que [mudança] fará [métrica] [subir/cair] em [X%] para [segmento], porque [razão baseada em dado]". Defina uma única métrica primária e até duas métricas de guardrail que não podem degradar.
### Amostra e duração
Calcule o tamanho de amostra a partir do baseline e do MDE (poder de 80%, significância de 95%). Estime a duração com mínimo de 2 semanas (para capturar sazonalidade semanal) e máximo de 4 (efeito novidade distorce além disso).
### Interpretação
Entregue um guia explícito: dar ship se houver lift significativo com guardrails estáveis; iterar se a direção for positiva mas não significativa; rejeitar se não houver lift. Sempre defina um gatilho de rollback com limite concreto e alerte contra espiar resultados antes de atingir a amostra planejada.
Colete o que está sendo testado, a hipótese, a métrica primária, a taxa baseline, o efeito mínimo detectável (MDE) e o número de usuários elegíveis por dia. Sem isso, o cálculo de amostra e duração não fecha.
### Hipótese e desenho
Toda hipótese deve ser direcional, no formato "acreditamos que [mudança] fará [métrica] [subir/cair] em [X%] para [segmento], porque [razão baseada em dado]". Defina uma única métrica primária e até duas métricas de guardrail que não podem degradar.
### Amostra e duração
Calcule o tamanho de amostra a partir do baseline e do MDE (poder de 80%, significância de 95%). Estime a duração com mínimo de 2 semanas (para capturar sazonalidade semanal) e máximo de 4 (efeito novidade distorce além disso).
### Interpretação
Entregue um guia explícito: dar ship se houver lift significativo com guardrails estáveis; iterar se a direção for positiva mas não significativa; rejeitar se não houver lift. Sempre defina um gatilho de rollback com limite concreto e alerte contra espiar resultados antes de atingir a amostra planejada.
Constelação
Onde
ela vive.
Execução
Como usar
com IA.
- 01Copie a skill (botão "Copiar skill para IA", no topo): o texto copiado já é a skill completa, não um resumo.
- 02Abra o Claude ou Claude Code e cole — a IA recebe todas as instruções e fica pronta para a tarefa.
- 03Prefere usar como arquivo reutilizável? Baixe o .zip e coloque o
SKILL.mdem.claude/skills/(Claude Code) ou anexe o arquivo no Claude (claude.ai).