第1991章
他把載入改成流式,每次只讀當前批次需要的部分,記憶體佔用降了七成。
然後是計算圖。
原來的實現裡,特徵融合那一段反覆呼叫了三次相同的矩陣運算,結果每次都重新算一遍。
他把中間結果快取起來,只算一次,後面直接查表,推理時間從零點八秒降到零點三秒。
最後是訓練迴圈。
原來的程式碼每迭代一步就更新一次權重,梯度波動大,收斂慢。
他把梯度累積加進去,每四步更新一次權重,等效批次增大四倍,收斂速度直接上去了。
整個重構花了他將近一個月。
白天調程式碼,晚上看文獻。
週末也不休息,把測試集反覆跑。
跑完一輪,記錄資料。
再改,再跑。
第二個月初,他把重構後的版本提交到核心組的共享倉庫。
跑了一整輪完整訓練,訓練時間從十二小時降到六小時四十分鐘。
推理延遲從零點八秒降到零點二九秒,精度還漲了零點三個百分點。
核心組的人看到結果時,沒人說話。
周盯著螢幕上的對比表,看了很久。
然後他站起來,走到陸遠工位旁邊。
“你那個流式資料載入,能不能給我也用一下。”
“可以。在共享倉庫裡,你自己拷。”
周點頭,走回自己工位,開啟倉庫開始看程式碼。
看了一會兒,他回頭又看了陸遠一眼。
什麼也沒說,轉回去了。
第二週,趙博士來核心組開內部會。
他看了重構前後的對比資料,把表從頭翻到尾。
“訓練效率提升將近一倍。推理延遲降到原來的三分之一。精度還有提升。”他合上表,看著陸遠,“你重構的時候,按什麼原則走的。”
陸遠說:“先找瓶頸。哪一個環節最慢,就改哪一個。改完了再看下一個。”
”。哪在頸瓶道知麼怎你“
”。頸瓶是就,個幾那的面前在排。錄記有都時耗的組模個每,來下一跑。誌日看“
。頭點士博趙








