同樣 分數 的 程度 ， 也 表示 同 一 事件 在 不同 測驗 可以 得到 同樣 分數 的 程度 。 效度 表示 測量 方法 確實 測量到 需要 測量 內容 的 程度 。 測驗 方法 可能 擁有 無懈可擊 的 信度 ， 可是 又 同時 毫無 效度 可 言 。 兩 位 占星師 可能 會 口徑 一致 地 說 雙魚座 比 雙子座 還要 外向 ， 可是 同時 ， 我們 又 幾乎 可以 肯定 這 種 說法 不 具 效度 。 越 容易 編碼 的 事件 就 越 容易 得出 正確 的 相關 判斷 。 有 些 事情 編碼 起來 可 說 是 輕而易舉 （ 是否 有 能力 做 某 事 ） ， 這時 我們 就 能夠 精準 判斷 不同 情境 下 的 相關 程度 。 在 「 某 種 事件 可能 會 受到 某 種 能力 影響 」 的 情況 下 ， 與 其 透過 某 個 單一 事件 去 預測 另 一 個 單一 事件 ， 更 精準 的 方法 是 透過 事件 的 多 次 平均 去 預測 類似 事件 的 多 次 平均 。 即便 是 在 能力 預測 上 ， 多 次 的 預測力 也 會 大大 勝過 單 次 的 預測力 。 不過 ， 面對 像是 人格 特質 這 類 難以 編碼 的 事物 時 ， 相關 程度 的 評估 結果 很 可能 會 錯 得 超乎 我們 想像 ， 這時 ， 大量 觀察 會 遠 比 少量 觀察 更 適合 作為 未來 行為 的 指標 ， 可惜 的 是 我們 往往 沒 能 注意到 這 點 ， 或者 是 根本 完全 沒有 意識到 這 點 。 除非 已經 擁有 數量 龐大 的 行為 樣本 ， 而且 抽樣 涵蓋 多元 情境 ， 否則 試圖 從 某人 過去 顯露 性格 的 行為 去 預測 未來 他 顯露 性格 的 行為 時 ， 我們 需要 格外 謹慎 與 謙卑 。 我們 唯有 認清 有些 行為 難以 編碼 ， 才 會 意識到 預測 這 類 行為 時 ， 我們 非常 容易 出錯 。 若 我們 能 時時 將 基本 歸因 謬誤 放 在 心 上 ， 便會 明白 自己 有 多 容易 會 以偏概全 。 PART 4　 實驗 __UNDEF__ 事實 看似 確鑿 ， 卻 不敵 細究 。 — 哲學家 威爾 ． 杜蘭 Will Durant __UNDEF__ 現在 有 越來越 多 的 機構 開始 借助 實驗 這 種 方式 來 獲取 資訊 。 這 是 好事 ， 因為 如果 某 個 問題 可以 藉由 實驗 找到 答案 的話 ， 這樣 一定 會 比 利用 其他 各 種 相關 分析 方法 得到 的 答案 要好 。 例如 醫學 、 社會 科學 常用 的 多元 迴歸 （ multiple regression ） 這 種 相關 分析 方法 ， 基本 上 是 探討 多 個 自變項 （ independent variable ， 又 稱為 預測 因子 ） 在 同 時間 內 和 一 個 特定 依 變項 （ dependent variable ， 又 稱為 結果 或 輸出 ） 之間 的 相關性 。 它 問 的 是 ： 「 撇開 其他 變項 的 影響 ， 自變項 A 會 如何 影響 依 變項 ？ 」 雖然 這 種 統計 方法 備受 大家 喜愛 ， 先天 上 卻 有 弱點 ， 而且 所 導出 的 結果 經常 會 誤導 人 。 問題 就 在於 「 自我 選擇 偏誤 」 。 如果 我們 沒有 指定 每 個 個案 去 接受 什麼 樣 的 實驗 處置 ， 那麼 這些 個案 就 可能 會 因為 非常 多 不同 的 因素 ， 導致 它們 和 依變項 之間 的 關係 出現 差異 。 我們 之所以 能夠 判斷 多元 迴歸 分析 提供 的 答案 是 錯 的 ， 是 因為 隨機 控制 實驗 （ randomized cont rol experiments ） — 又 經常 被 稱作 黃金 準則 的 研究 方法 — 得到 的 結果 可能 會 不同於 多元 迴歸 的 分析 結果 。 就算 不 是 真正 「 隨機地 」 去 分派 個案 接受 實驗 處置 ， 有 些 時候 還是 會 出現 「 自然 實驗 」 （ natural experiment ） 。 自然 實驗 發生 的 時機 是 當 個案 群體 （ 像是 人 、 農地 、 城市 等 ） 與 自變項 之間 存在 著 值得 玩味 的 差異 ， 但 群體 的 組成 又 沒有 偏誤到 無法 讓 我們 把 各 個 群體 拿去 和 依變項 比較 。 我們 的 社會 曾 因為 該 做 而 未 做 的 實驗 而 付出 慘痛 代價 ， 導致 數十萬 人 喪生 ， 數百萬 次 犯罪 出現 ， 大量 金錢 耗損 ， 全 都 是 因為 僅 憑 假定 就 貿然 行事 ， 未 經 測試 就 貿然 引進 人為 干預 措施 。 若 我們 研究 的 對象 是 人 ， 我們 會 傾向 採用 口語 報告 （ verbal report ） 做為 研究 依據 。 問題 是 這 類 口頭 報告 錯誤 百出 。 如果 我們 能夠 將 人類 的 行為 盡量 予以 具體 量測 ， 而 非 依賴 口頭 描述 ， 就 更 能 正確 回答 研究 問題 。 不妨 想想 ： 哪些 因素 會 影響 你 的 健康 和 幸福 ？ 比起 隨意 的 觀察 ， 實驗 更 能夠 告訴 你 正確 的 答案 。 第9 __UNDEF__ 章 __UNDEF__ 多 做 實驗 ， 答案 自 現 __UNDEF__ 二○○七年 秋天 歐巴馬 宣布 參選 總統 後 不久 ， 谷歌 執行長 施密特 （ Eric Schmidt ） 在 一 大 群 谷歌 員工 面前 訪問 歐巴馬 。 1 施密特 開玩笑 問 了 個 科技 難題 ： 「 現在 有 一百萬 個 32 位元 的 整數 ， 如何 把 它們 做 最 有效 的 排序 ？ 」 歐巴馬 想 了 一下 沒有 立即 說話 ， 於是 施密特 打算 認真 提下 一 個 問題 ， 不料 歐巴馬 突然 回答 ： 「 這 個 嘛 ， 絕對 不能 用 氣泡 排序 法 吧 （ 按 ， 氣泡 排序 法 是 效率 最 差 的 排序法 ） 。 」 這樣 答 並 沒有 錯 。 只 見 施密特 詫異 地 拍 了 拍 前額 ， 台 下 響起 熱烈 掌聲 。 稍後 在 群眾 的 問答 時刻 ， 歐巴馬 對 台 下 觀眾 說 ： 「 我 堅信 理性 分析 ， 講求 事實 、 證據 、 科學 和 反饋 。 」 並且 承諾 會 按照 這 種 方式 治國 。 產品 經理 丹．席洛克 （ Dan Siroker ） 當天 坐 在 台 下 ， 當場 就 決定 效力 於 歐巴馬 陣營 。 他 說 ： 「 我 被 氣泡 排序法 那 句 話 打動 了 。 」 席洛克 加入 歐巴馬 陣營 ， 提供 一些 科學 建議 ， 例如 訓練 競選 工作 人員 進行 AB 測試 — 進行 實驗 時 ， 如果 不 曉得 哪 種 程序 或 處置 最 有助於 達到 目的 的話 ， 就 擲 銅板 來 決定 誰 接受 A 實驗 處置 ， 誰 接受 B 實驗 處置 ， 接著 針對 你 想 探究 的 問題 開始 蒐集 相關 資料 ， 進一步 利用 統計 檢定 法 來 比較 A 的 平均值 與 B 的 平均值 。 本 章 將 詳細 說明 AB 測試 是 什麼 ， 以及 如何 在 職場 與 日常 生活 中 運用 AB 測試 。 只要 知道 如何 設計出 優良 的 實驗 ， 你 將 更 有 能力 去 判讀 媒體 上 各 種 所謂 的 科學 知識 。 AB 測試 __UNDEF__ 席洛克 加入 歐巴馬 競選 網站 團隊 前 ， 多 年 來 許多 網路 公司 的 網頁 開發 工程師 早 就 在 線上 測試 各 種 網頁 版本 。 他們 做 決策 時 的 依據 不 是 看 誰 的 官大 ， 而是 根據 確鑿 事實 所 得 出 的 最佳 方案 。 例如 工程師 們 想要 蒐集 「 用戶 的 點擊 百分比 」 這 項 資訊 ， 就 會 給 一定 比例 的 網路 用戶 觀看 藍色 為主 的 首 頁 設計 ， 其餘 用戶 觀看 紅色 為主 的 設計 ， 而且 會 對 隨機 挑選出來 的 用戶 同時 施測 顏色 、 版型 、 圖案 、 文字 等 各 種 可能 的 頁面 面向 。 一 項 事物 該不該 出現 在 網頁 上 ， 不 是 取決 於 高層 意見 ， 而是 取決 於 證據 。 競選 網站 需要 用到 AB 測試 的 理由 很 簡單 ： 該 如何 設計 網頁 ， 才 能 取得 最多 金主 的 電子 郵件 地址 。 比方說 ， 以下 哪 種 按鈕 能 吸引 最多 人 訂閱 ： 「 了 解 更多 」 、 「 立即 加入 」 ， 還是 「 立即 訂閱 」 ？ 哪 種 圖片 最 能 吸引人 訂閱 ： 明亮 綠松色 的 歐巴馬 獨照 、 歐巴馬 黑白 全家福 照片 ， 還是 歐巴馬 在 造勢 場合 的 演說 影片 ？ 你 八成 猜 不 到 ， 最 有效 的 組合 是 「 了解 更多 」 加上 全家福 照片 。 而且 還 不光 是 「 更 有效 」 而已 ； 這 個 組合 比起 「 最 不 有效 」 的 組合 ， 足足 多 吸引 了 百分之一百四十 的 金主 。 這 對 政治 獻金 和 票數 而言 都 造成 極 大 差別 。 社會 心理學家 早 在 數十 年 前 就 發現到 ， 在 新 的 情境 中 ， 他們 對 人類 行為 的 直覺 多半 是 錯 的 。 這 個 道理 ， 如今 網頁 設計師 也 懂 了 。 從 二○○七年 起 ， 歐巴馬 各式各樣 的 選戰 決策 都 仰賴 AB 測試 。 曾 任 社會 心理學家 的 選戰 專家 陶德．羅傑斯 （ Todd Rogers ） 就 曾經 替 歐巴馬 做 過 數十 項 實驗 ， 有些 在 結果 出來 之前 只 能 瞎猜 。 像是 ： 究竟 是 請 柯林頓 用 電話 錄音 的 方式 打給 民眾 拉 贊助 比較 有效 ， 還是 請 能言善道 的 志工 打給 選民 比較 有效 ？ （ 結果 顯示 是 後者 的 效果 遠勝 柯林頓 ） 迄 今 發現 最 有效 的 刺激 投票率 單一 方式 ， 就 是 在 選舉 前 一 天 請 選戰 工作 人員 親自 拜票 。 關於 如何 刺激 投票 ， 至今 已 有 許多 研究 成果 。 以下 哪