Por que criar um programa de avaliação
Uma demonstração isolada pode misturar capacidade do modelo, qualidade do prompt, ferramentas e acaso. O programa HARNESS organiza experimentos para que essas partes sejam comparadas com critérios definidos antes de observar o resultado.
O papel do verificador
Um verificador externo confere se a saída atende ao protocolo, se os dados sustentam a conclusão e se a execução pode ser repetida. Resultados inválidos e inconclusivos também são registrados, pois ajudam a encontrar defeitos no instrumento e no procedimento.
Ferramenta e pesquisa são coisas distintas
DeepSeek Harness, abreviado DSH, é uma ferramenta de execução. HARNESS é o programa experimental que define perguntas e métodos. Um teste técnico bem-sucedido não demonstra uma melhora geral de inteligência nem substitui avaliação científica independente.