How to calculate pass@k

pass@k本质上是计算组合数。标准公式是一个取反公式：\(1-\frac{\binom{n-c}{k}}{\binom{n}{k}}\), assuming \(\binom{n}{k}\) means choosing k from n. And c is the number of correct solutions.

理解取反公式

\(\frac{\binom{n-c}{k}}{\binom{n}{k}}\)算的是取到错误答案的概率，然后1减该数就是取到至少一个正确答案的概率。

\(\frac{\binom{n-c}{k}}{\binom{n}{k}}\)里面，分母是n取k的数量；分子是取k个，但是都取错的情况——从n-c个错误答案里取了k个。

直接计算

直接计算的公式为：

$$
\frac{\sum_{i=1}^{\min(k,c)} \binom{c}{i}\binom{n-c}{k-i}}{\binom{n}{k}}
$$

分母是一样的，我们来研究分子。

首先看\(\binom{{c}}{{\color{Red} i}}\binom{{n-c}}{{\color{Red} k-i}}\)。Choosing k solutions，k个里面有i个正确答案和k-i个错误答案，即二项式系数的红色部分。然后，i个正确答案是从c个正确答案里选的；k-i个错误答案是从n-c里选的。两者相乘表示步骤。