61 個情境,兩個模型的結果
同一份程式碼,2026-11-09 把 61 個情境各跑一次,比較 gemini-3.8-flash 和便宜很多的 gpt-5.6-luna。
59/61 通過(gemini-3.8-flash)
- 18.4 s
- 中位時間
- $0.0165
- 每次請求
- 89% → 97%
- 評測找出的問題修好前後
| 設定 | 情境 | 通過 | 中位時間 | 每次成本 |
| gemini-3.8-flash | 原始 61 個 | 59 / 61 | 18.4 s | $0.0165 |
| gpt-5.6-luna | 原始 61 個 | 56 / 61 | 13.4 s | $0.0032 |
| gpt-5.6-luna | 第二批 25 個(較難) | 14 / 25 | 22.2 s | — |
| Team route(實驗) | 61 個中的 16 個,各 2 次 | 30 / 32 | 12.3 s | $0.0049 |
gpt-5.6-luna 的成本約五分之一、快 27%,通過率低 5 個百分點;沒過的多在需要判斷的地方:缺資訊時該先問、放不下時該拒絕、要守住指定的走道寬度。
「通過」指 Agent 做完後的房間符合確定性的幾何與權限檢查,不代表擺得好看,也不是整體準確率:每個情境只跑一次,3.8 的結果涵蓋 52 項能力中的 25 項。
每一列都是同一份程式碼(2026-11-09);成本已計入快取折扣。第二批只在 gpt-5.6-luna 上跑過。