週五下午三點，3號會議室。
白板上已經畫滿了架構圖和公式，不同顏色的馬克筆交織在一起，像一幅抽象畫。林晨站在白板前，手裡拿著紅色馬克筆，正在給損失函式的三個權重係數標註含義。
張明遠和陸小溪坐在對面，各自面前攤著筆記本。這是透明蒸餾專案組的第二次正式會議，距離上次組會已經過了四天。
我把這幾天調研的成果快速過一遍，林晨放下馬克筆，走到投影幕前，然後我們討論實驗設計。
他點開PPT，第一頁是架構總覽圖。三角形框架：效果保真、模型壓縮、可解釋性保持，中間是核心損失函式。
這部分大家上次都看過了，直接跳到更新。他翻到下一頁，是三部分損失函式的詳細設計。
輸出蒸餾損失，用傳統的KL散度就行，這塊沒有爭議。特徵蒸餾損失，我們用E對齊中間層表示，這也是成熟方案。關鍵在第三部分——可解釋性蒸餾損失。
他切換到下一頁，上面畫著兩個分支。
Transforr架構走注意力權重歸因路線，非Transforr架構走FastSHAP路線。兩條路線統一在一個介面下，執行時按模型型別自動選擇。
張明遠舉手：注意力權重歸因那條線，多注意力頭的情況下怎麼處理？直接平均還是加權？
好問題。林晨切換到一張新幻燈片，上面是他畫的注意力頭聚合方案，我的初步想法是——不做平均，而是保留所有頭的歸因資訊，讓學生模型學習教師的頭級歸因分佈。但這樣資訊量太大，可能需要先做頭選擇，挑選對歸因貢獻最大的幾個頭。
頭選擇的依據是什麼？陸小溪推了推眼鏡，第一次在會議上主動提問。
教師模型中每個頭的注意力熵。林晨解釋，熵越低的頭，說明它越專注於某些特徵，歸因能力越強。我們只保留這些低熵頭的資訊，丟棄高熵頭的噪聲。
這本身就是一個實驗點。陸小溪說，需要驗證頭選擇策略的有效性。
沒錯。林晨點頭，所以我設計的實驗方案裡，第一組實驗就包含了這個驗證。
他翻到實驗設計頁面，上面是一張實驗矩陣表格。
實驗分為三組，他指著表格，逐行解釋。
第一組：基線對比實驗。教師模型使用T廠現有的推薦大模型，學生模型分別用三種蒸餾方法訓練——純軟標籤蒸餾（Baseline-A）、軟標籤+特徵蒸餾（Baseline-B）、以及我們的透明蒸餾（Ours）。三個模型在相同資料集上評估效果指標（CTR、AUC）和可解釋性指標（歸因一致性、歸因穩定性）。
第二組：消融實驗。在透明蒸餾的框架下，分別去掉可解釋性蒸餾損失和特徵蒸餾損失，觀察效果和可解釋性的變化。這組實驗的目的是驗證每個損失項的貢獻。
第三組：超引數搜尋。α、β、γ三個權重係數，我們用網格搜尋在驗證集上找到帕累託前沿。這組實驗的計算量最大，但也是最有價值的——它會告訴我們效果、壓縮和可解釋性之間的真實權衡曲線。
張明遠看著表格，眉頭微皺：三組實驗加起來，訓練量不小吧？
不小。林晨沒有迴避，教師模型本身就有幾十億引數，每個學生模型從零開始訓練需要幾個小時。三組實驗加起來，我估算大概需要訓練二十多個模型變體。
那計算資源怎麼辦？陸小溪問出了關鍵問題。
我昨天已經跟陳博確認過了，林晨切換到最後一頁，上面寫著一行字：GPU叢集資源申請——透明蒸餾專案專用，8卡A100，為期兩週。
陳博已經批了？張明遠有些驚訝。
批了。林晨的語氣平淡，但眼神里有一絲被信任的底氣，這是專案的核心資源保障。8卡A100跑兩週，足夠我們完成所有實驗。但時間緊，每一輪訓練都要精確規劃，不能浪費。
他回到白板前，拿起藍色馬克筆，畫了一個時間線：
第一週：
）責負溪小陸（建搭境環和備準料資：2-1 yaD
）責負溪小陸（練訓B-enilesaB和A-enilesaB：4-3 yaD
）責負晨林（練訓本版始初餾蒸明：7-5 yaD
：週二第
）估評標指釋解可責負遠明張（驗實融消：9-8 yaD
）同協人三（尋搜數引超：21-01 yaD
