Benchmark基準與可靠性

reliability 問的是「換個亂數種子、換條 replica，這個數字還在不在」；validity 問的是「這個數字跟真實世界的量對不對得上」。順序不能顛倒的理由是數學的：一個不穩的量，它跟任何外部真值的相關係數會被自己的雜訊按 √r_xx 的量級打折，所以可重現性直接封死了效度的天花板。實務上這代表兩件事：先做 reliability 是因為它便宜（只要 WT 軌跡，不用任何實驗資料），也因為它能救你 —— 一個 CV 59% 的量跟實驗相關性差，你根本無法分辨是描述符沒用還是太吵，而先量了 CV 你就知道那是後者。

因為 baseline 的功能是排除平凡解釋，不是展示你贏過誰。在 off-target 這件事上那個免費的對照叫 CFD score：純序列、不用跑任何模擬、一秒出答案。它之所以不能被更強的計算方法取代，是因為只有它能回答那個真正被問的問題 —— 「這一整條要燒 GPU 的流程，到底有沒有必要存在」。如果你的對照本身就要跑 MD，那不論輸贏，你都證明不了成本值得付；而在算力配額是硬約束的前提下，成本本來就是這條路線的現實限制，不是一句客氣話。更強的計算方法可以擺第二層，用來回答「同樣花這筆錢，有沒有更好的花法」，但它排不掉第一層要排的那個解釋。順序是：先跟免費的比，贏了再跟貴的比。

最現成的一個是 eSpCas9(1.1) 在 on-target 底物上結構性地就是 null —— 這個變體的設計是把正電溝槽裡的殘基中性化，削弱對 non-target 股（R-loop 裡被頂開、沒有跟 sgRNA 配對的那一股）的靜電抓握，而在完全配對的底物上根本沒有東西可削。所以 null 不是模擬失敗，是預期中的正確答案；要看到效應，底物一定要帶 mismatch，尤其是 PAM-distal 那一段。 它的價值在於它是你流程的體溫計：如果你在這個條件下量到了「顯著差異」，那代表你的流程在製造訊號，而不是在偵測訊號。一個設計良好的研究會主動安排一個「如果這裡出現訊號就代表我錯了」的條件，而不是只安排會出現訊號的條件。

應該不安。實驗資料本身也有雜訊、偏差與定義問題：不同的 off-target 偵測方法測量的物理事件不同（細胞內的雙股斷裂痕跡、體外的裸 DNA 切割），read count 不等於切割速率，跨方法比較 off-target 的絕對數目沒有意義。而且不同論文的變體是在不同的 guide、細胞株與量測平台上做出來的，數字不能直接放進同一張散布圖。可防守的用法只有兩種：只用同一篇論文內部的相對排序，或者向實驗合作者要求一組在同一批條件下重測的 panel。把 ground truth 當成「另一個帶誤差棒的量」而不是「答案」，你的統計處理才會是對的。

會。在極端不平衡的情況下，一個幾乎沒有實用價值的排序器也可以有看起來不錯的 AUROC，因為大量的真負例讓分母膨脹。這一題的正確回答是換指標並說明理由：報 precision–recall 曲線下的面積、或報「前 k 名裡命中幾個」這類 early enrichment 指標，因為那才對應到真正的使用情境（你只會拿排序最前面的少數幾個去做實驗）。同時要報盲猜的基線值，否則讀者無法判斷你的數字算好還是算差。

這是循環驗證的問題，而它非常容易在不知不覺中發生：如果你挑描述符的時候看過那批變體的實驗排序、或者你的候選變體本身就是從那批文獻挑出來的，那麼後面的「驗證」就是自我實現的。可防守的做法是把資料切乾淨並且明講：哪些資料用來建立與調整流程、哪些資料從頭到尾沒被看過。在這種規模下，誠實的做法是承認文獻變體通常在挑描述符的階段就已經被看過，因此那是 retrospective 校準而不是 blind test，真正的盲測必須留給下一批資料。

不足，而且必須主動說。已知的高保真變體只有少數幾個，即使全部拿來排序，樣本數也小到任何相關係數都帶著很寬的信賴區間。這一題的正確處理不是把 n 藏起來，而是事先誠實承認檢定力不足，並把結論的形式改成與檢定力相稱的形式 —— 例如報「排序方向與符號」加上 permutation null 的比較，而不是報一個聽起來很硬的相關係數。在小樣本下宣稱強結論，是這類論文最常見的死法。

如果答不出「哪一段」，那多半就是沒寫。這道落差很具體：你的輸出是 Å、nm²、接觸數；實驗的輸出是 read count、editing efficiency、速率常數。中間那條假設（例如「介面 engagement 的下降單調對應到切割速率的下降」）沒有人會替你寫，而它會是審稿人攻擊的第一個點。可防守的作法是把它寫成方法段裡一個獨立、明文、可被否證的段落，並且說明它在什麼情況下會失效。一條被寫出來的假設可以被討論；一條藏起來的假設只會被當成錯誤。

講成算力與對照品質的取捨。要排序 off-target 位點，每一個位點都是不同的 DNA 序列，等於每一個都要重新建系統、重新平衡、重新取樣，而且你需要幾十個位點才有統計；在算力配額是硬約束的前提下，這條路的成本量級直接出局。排序變體則是在同一個底物、同一套建模流程上做點突變比較，系統性偏差在雙差裡大幅抵消，對照乾淨得多。代價要一起講：變體 panel 的樣本數天生就小，而且它們的實驗數字來自不同論文，所以你買到的是乾淨的對照，賣掉的是樣本數與外推性。

凍結錯了的代價是這一輪的結論比較弱，但這個代價是有界的，而且是可以在論文裡誠實交代的：報凍結版本的結果當主結果，把事後想到的更好版本當成探索性分析、明確標示、留給下一批資料驗證。不凍結的代價則是無界的 —— 你永遠無法向自己或別人證明那個漂亮的相關不是從十幾種組合裡挑出來的。兩種錯誤的量級不對等，這就是為什麼凍結是預設值。

因為你的模型裡沒有染色質、沒有 DNA 修復、沒有遞送效率，而細胞內的 off-target 譜是這三件事疊在切割傾向上的結果。拿細胞資料去驗證一個不含這些機制的模型，即使對得上也解釋不了為什麼對得上，對不上更無從歸因。正確的策略是驗證的層級要跟模型的層級對齊：優先用體外資料與功能速率，把細胞內的落差寫進 limitations，並在向實驗端提需求時明確要求體外的、逐 replicate 的原始速率資料。代價是你的結論離「臨床上有用」還隔一層，這一點不要迴避。

在，但它會是另一篇論文，而且你必須現在就決定是不是接受那一篇。可防守的形態是：主張從「我們提出一個有預測力的專一性描述符」退到「我們界定了便宜的平衡態 MD 描述符在這個問題上的可用邊界，並給出跨 replica 的可靠性基準與起始結構的污染效應」。這一退看似示弱，實際上把論文從一個押注賭局變成一個必然有結果的研究 —— 因為可靠性分層與起始結構對照這兩塊資料已經在你的硬碟上了，它們不依賴預測力成不成立。真正該害怕的不是沒有預測力，是做完之後連「有沒有預測力」都答不出來。