ポール・グレアム「偏見検出法」を翻訳しました。原題は A Way to Detect Bias で、原文はココです。英語に強い皆さま、メール(takeuchi19@mail.goo.ne.jp)でのアドバイスを、よろしくお願いいたします。

偏見検出法

A Way to Detect Bias

 

201510

October 2015

 

多くの人には驚きだろうが、場合によっては、候補者の集団について何も知らなくても、選抜時における偏見を検出できる。他のものの中では、第三者がこの技術を使って、選抜している人が意図的にしているかに関わらず、偏見を検出できるので、これは興味深い。

This will come as a surprise to a lot of people, but in some cases it's possible to detect bias in a selection process without knowing anything about the applicant pool. Which is exciting because among other things it means third parties can use this technique to detect bias whether those doing the selecting want them to or not.

 

このテクニックは

  a)候補者の、少なくともランダムに選んだサンプルがあり

  b)選抜後の能力が測定されており

c)比較している申請者のグループも、能力がおおむね同等に分布している

なら、いつでも使える。

You can use this technique whenever (a) you have at least a random sample of the applicants that were selected, (b) their subsequent performance is measured, and (c) the groups of applicants you're comparing have roughly equal distribution of ability.

 

なぜうまく行くのだろうか? 「偏見」とは何を意味しているのか考えよう。選抜方法がタイプxの候補者に偏見を持つとは、選抜されにくくなるということだ。つまり、タイプxの候補者は、選抜されるときにタイプx以外の選抜された人たちよりも良くなければならない、ということだ。 [1] これは、タイプxの選抜者は、他の選抜者よりも優れていることを意味する。そして、選抜された全応募者の成績を測定すれば、選抜時に偏見があったかどうかを測定できる。

How does it work? Think about what it means to be biased. What it means for a selection process to be biased against applicants of type x is that it's harder for them to make it through. Which means applicants of type x have to be better to get selected than applicants not of type x. [1] Which means applicants of type x who do make it through the selection process will outperform other successful applicants. And if the performance of all the successful applicants is measured, you'll know if they do.

 

もちろん、成績を測定するのに使うテストは、意味のあるテストである必要がある。 特に、測定しようとしている偏見によって無効になってはいけない。だが成績を測定できる分野もいくつかあり、その場合はこれらの偏見を検出するのは簡単だ。選抜プロセスが何らかのタイプの候補者を差別しているか知りたい? 選抜された彼らが、他の選抜された人より優れているかどうかを調べよう。これは偏見を検出するための経験則ではない。それは偏見の定義そのものだ。

Of course, the test you use to measure performance must be a valid one. And in particular it must not be invalidated by the bias you're trying to measure. But there are some domains where performance can be measured, and in those detecting bias is straightforward. Want to know if the selection process was biased against some type of applicant? Check whether they outperform the others. This is not just a heuristic for detecting bias. It's what bias means.

 

例えば、「ベンチャーキャピタルは女性の起業家を差別しているのでは?」と多くの人が考えている。これは簡単に検出できる。投資先企業の中で、女性が起業家のベンチャーは、女性以外の起業家のベンチャーよりも投資の成果が上がっているだろうか? 数ヶ月前、あるVC会社は研究成果を出版したが、そこには(ほぼ確実に)このタイプの偏見が見られる。ファーストラウンドキャピタル社は、投資先企業の中で、女性が起業家のベンチャーの成績は、そうではないベンチャーの63%よりも上回っていることを発見した。 [2]

For example, many suspect that venture capital firms are biased against female founders. This would be easy to detect: among their portfolio companies, do startups with female founders outperform those without? A couple months ago, one VC firm (almost certainly unintentionally) published a study showing bias of this type. First Round Capital found that among its portfolio companies, startups with female founders outperformed those without by 63%. [2]

 

この手法は多くの人々にとって驚きだろうと私が最初に述べた理由は、こういった分析をめったに見ないからだ。それを測定したファーストラウンドキャピタル社も驚いたに違いない。サンプルを自分たちの投資先に限定すると、ベンチャーの傾向ではなく、企業を選ぶ際の偏見について測ることになると、誰も気づいてないんじゃないか。自分たちが公開した数字の意味を理解していれば、そんな風には公開しなかっただろう。

The reason I began by saying that this technique would come as a surprise to many people is that we so rarely see analyses of this type. I'm sure it will come as a surprise to First Round that they performed one. I doubt anyone there realized that by limiting their sample to their own portfolio, they were producing a study not of startup trends but of their own biases when selecting companies. If they'd understood the implications of the numbers they were publishing, they wouldn't have presented them the way they did.

 

将来、このテクニックはもっと使われるようになるだろう。こういった研究を実施するために必要な情報は、どんどん入手しやすくなっている。何かに応募した人のデータはふつう、選抜した組織によって厳重に管理されるが、今日では、選抜された人に関するデータは、集める手間さえいとわなければ、一般に公開されることがよくある。

I predict we'll see this technique used more in the future. The information needed to conduct such studies is increasingly available. Data about who applies for things is usually closely guarded by the organizations selecting them, but nowadays data about who gets selected is often publicly available to anyone who takes the trouble to aggregate it.

 

 

注釈

Notes

 

[1] 雇用者が男性は能力に基づいて、女性はルックスに基づいて採用した場合など、選択時に異なるもので選抜した場合、この手法はうまくいかない。

[1] This technique wouldn't work if the selection process looked for different things from different types of applicants—for example, if an employer hired men based on their ability but women based on their appearance.

 

ポール・ブッフハイトが指摘したように、First Round社は最も成功した投資であるUberを研究から除外した。外れ値を除外することが合理的な研究もあるが、ベンチャー企業のリターンの研究のように、大成功の外れ値を引き当てることがすべてのような研究は、その限りではない。

[2] As Paul Buchheit points out, First Round excluded their most successful investment, Uber, from the study. And while it makes sense to exclude outliers from some types of studies, studies of returns from startup investing, which is all about hitting outliers, are not one of them.

 

サム・アルトマン、ジェシカ・リビングストン、ジェフ・ラルストンに感謝する。

Thankto Sam Altman, Jessica Livingston, and Geoff Ralston for