OpenRouter · 试验台 · 带答案
谁会退订？
我们从真实的电信数据集中抽取客户。每个模型拿到客户资料——但不知道结果——并估算退订概率。然后我们与现实对照。比赛在 AI 模型之间进行；一个在此数据上训练的逻辑回归作为经典方法的参照。
说明：任务本身以葡萄牙语进行（巴西新闻源、葡萄牙语单词，所有模型使用相同的提示词）。这样每一轮比赛都可比较，排行榜也保持统一。
1
从这里开始：先抽取客户样本
这个测试基于一份真实的电信数据集。我们随机抽取客户——在任何模型开口之前，你就能看到样本里都有谁。
位随机抽取的客户
每位客户会为每个模型生成一次独立的请求，依次进行——这是最公平的测量方式。模型只能看到客户画像（入网时长、合同、服务、费用），看不到客户编号，也看不到 Churn 结果列。哪个模型超过 20 秒还没完成？我们会把它从比赛中移除，报告会用它已经交出的结果继续。
2
接下来，开始比赛吧
先抽取一批客户样本，开始体验吧。
关于这份数据集
Telco Customer Churn，来自 IBM —— 机器学习领域的经典数据集之一，包含 7,043 位来自一家虚构的加州电信公司的客户。可在 Kaggle 上公开获取。这里我们只把 Churn 列当作标准答案使用：它永远不会发送给模型——点击任意模型的图标即可查看完整请求内容。参考用的逻辑回归模型每次会话都会在这份数据上重新训练；大语言模型则完全不会接触到这份人群数据。点击 Σ 可以查看它学到了什么。