
Google研究團隊近日發布創新演算法TurboQuant,能將大型語言模型(LLM)的記憶體使用量平均降低六倍,運算速度提升八倍,並可減少企業逾五成的雲端運算成本。這項訓練免訓練的軟體技術,將有助於AI模型在消費級硬體上更高效運行,縮小本地端AI與雲端服務的差距。
Google研究團隊近日發布突破性演算法TurboQuant,旨在大幅降低大型語言模型(LLM)的記憶體使用量,同時提升運算效能並降低營運成本。這項技術平均能使LLM的關鍵值快取(key-value cache)記憶體使用量減少六倍,運算速度提升八倍,並可為企業節省逾五成的雲端運算開支。
根據《Ars Technica》及《Venturebeat》報導,傳統的量化(quantization)技術雖然能縮小模型,但往往會犧牲輸出品質。TurboQuant則不同,它被描述為一種無需額外訓練、與數據無關(data-oblivious)的解決方案,能維持AI模型的智慧表現,且適用於既有模型。
TurboQuant的核心在於兩階段的數學框架:PolarQuant與量化式約翰遜-林登斯特勞斯(Quantized Johnson-Lindenstrauss, QJL)。首先,PolarQuant將高維度向量從標準笛卡爾坐標轉換為極坐標,這種新表示法能更緊湊地儲存和處理數據,並省去傳統方法中昂貴的正規化常數。接著,QJL則針對殘餘誤差數據應用1位元轉換,將每個誤差數值簡化為一個符號位(+1或-1),以確保其統計特性與高精確度原始數據一致,從而實現精準的錯誤修正,最終提高注意力分數的計算精確度。
該演算法已在Gemma與Mistral等開源模型上,透過長上下文基準測試進行驗證,成功將關鍵值快取量化至3位元,在某些案例中甚至可達2.5位元,仍能維持甚至達成百分之百的召回率(recall score)。在NVIDIA H100加速器上的測試顯示,4位元TurboQuant在計算注意力對數(attention logits)方面的速度,比32位元未量化的密鑰快上八倍。
Google以開放研究框架的形式發布這些方法論,演算法及相關研究論文皆已公開且可免費取得,包括企業用途。此舉縮小了本地端AI與昂貴雲端訂閱服務之間的差距,使得AI模型更容易在消費級硬體上運行。例如,配備MLX(適用於Apple Silicon)的Mac Mini即可處理長達十萬個Token的對話,而不會損害模型品質。這不僅對AI開發者和企業而言是重要突破,也為資料隱私敏感的組織提供了在自有硬體或邊緣設備上運行大型模型的可能性。
這項研究成果將在今年稍晚於巴西里約熱內盧舉行的國際學習表徵大會(ICLR 2026)以及摩洛哥丹吉爾舉辦的人工智慧與統計年會(AISTATS 2026)上發表。市場對於這項技術的反應已顯現,記憶體供應商如美光(Micron)和威騰電子(Western Digital)的股價便出現下跌趨勢,顯示演算法效率的提升可能影響對高頻寬記憶體(HBM)的市場需求。

和美分局塗厝派出所員警於日前受理一名姚姓男子詢問,姚男日前加入名為「天堂經典版:火神赫發斯特斯交易討論群」的LINE公開社群,並在群組內結識了一位LINE 暱稱為「陳韋延」的手遊帳號賣家。雙方私訊討論「天堂經典版」的遊戲帳號交易細節後,達成交易共識。姚民不疑有他,依對方要求以一卡通iPASS MONEY轉帳方式,將新臺幣全數匯給該名自稱「陳韋延」之人。豈料,姚民在完成轉帳並取得帳號密碼準備登入時,卻發現該組遊戲帳號根本「無法正常使用」。姚民隨即向該名賣家反應,並表示希望對方能進行退款處理,然而該名自稱「陳韋延」之人不僅當場拒絕退款,隨後更直接對訊息「不讀不回」並將被害人封鎖,姚民這才驚覺自己落入詐騙陷阱,警方表示可先在天堂官方網站申訴或至消保官反映。 和美警分局呼籲鄉親:民眾若不慎遭遇類似詐騙,請務必完整截圖對話紀錄、交易明細,並立即撥打165反詐騙專線打詐儀表版(https://165dashboard.tw/)或前往鄰近派出所報案。警方將持續針對網路詐欺進行強力打擊,守護民眾的財產安全。 圖/彰化縣警察局提供
《圖說》海山警於轄區溪頭里舉辦社區治安會,針對近期常見詐騙手法、防竊觀念及交通安全重點進行說明。〈海山分局提供〉 【記者葉柏成/新北報導】新北市海山警分局為強化社區整體治安與交通安全意識,日前於轄區溪頭里舉辦社區治安會,由副分局長陳嘉鵬率員出席,並與里長余柏緯共同主持,吸引多位里民到場參與。會中針對近期常見詐騙手法、防竊觀念及交通安全重點進行說明,期望提升民眾自我防護能力。 陳嘉鵬指出,當前詐騙集團手法日益翻新,常見如「假冒公務員」與「假投資」等類型,歹徒假借司法或警察機關名義,謊稱帳戶涉及不法需監管,要求繳交保證金,或透過社群平台成立投資群組,誘導被害人投入資金甚至面交現金。警方提醒,凡涉及金錢交付應提高警覺,並可撥打165反詐騙專線查證。 在防竊宣導方面,警方呼籲民眾外出時務必檢查門窗是否上鎖,避免將貴重物品留置家中或車內,並建議加裝監視設備或照明設施,以降低遭竊風險。 《圖說》海山警社區治安會,民眾踴躍搶答。〈海山分局提供〉 交通安全部分,警方亦針對行人路權、酒後駕車危害,以及大型車輛內輪差與視線死角進行說明,並透過實際事故影片加深印象。警方強調,酒駕零容忍已為社會共識,仍有少數駕駛心存僥倖而釀成悲劇,呼籲民眾切勿以身試法。 陳嘉鵬強調,治安與交通安全需警民攜手合作,未來將持續結合里長及校園資源,推動多元宣導活動,透過深入社區的方式,打造更安全、安心的生活環境。
南亞技術學院昨(23)日發布新聞稿表示,該校教師吳國輝對校方相關指控與事實有明顯落差,校方並非針對個人打壓,而是依據校內排課規範、授課時數不足處理辦法、教評會審議及人事程序依法行政。圖 / 南亞技術學院提供 【記者 / 李林戈綜合報導】 針對高教工會23日召開記者會,指控南亞技術學院涉有霸凌、逼退教師等情事,南亞技術學院發布新聞稿表示,相關說法與校內實際處理情形明顯不符,若僅憑單方濫訴的說法即對外定性,不僅混淆視聽,也對學校聲譽及第一線教學、行政同仁造成傷害。校長張仁家強調,吳國輝講師相關案件,自排課、安置、授課時數折抵、行政提醒、教評會審議到人事程序,均依教育部法規與校內制度循序辦理,絕非外界所稱霸凌或惡意逼退。 校方指出,依本校「排課作業實施要點」,排課須兼顧教學單位專業核心課程及教師資績排序。吳師近年在系上資績排序居後,連續兩學年度、四個學期未排得課程;即便如此,學校仍持續全額支給薪資與學術研究費,每月84,545元,從未扣減待遇,至今累計已逾300萬元。校方表示,若真有打壓情事,學校不可能長期在授課不足情況下,仍持續全額支薪並保留協助空間。 南亞表示,張仁家校長到任後,即要求相關單位盤點可行方案,希望以最大善意協助吳師回到正常教學軌道。除曾研議優退方案外,也依規範召開多次安置討論,盡可能安排課程或行政工作,惟受限於其專業領域較為狹窄,且行政能力與現有職務需求難以銜接,始終未能找到適配職缺。其後,114學年度第1學期學校更增訂授課不足折抵措施,鼓勵教師透過USR計畫、課業輔導或社團指導折抵鐘點;當時共有3位教師提出申請,唯獨吳師未辦理,經人事單位多次提醒仍未提出。 校方指出,吳師基本授課時數不足,又未申請折抵,行政單位多次提醒均未獲回應,對認真配合制度的教職員並不公平,因此依規定提送教評會審議記過處分。校方並表示,校級教評會召開時,已事先提醒不得攜出書面資料及不得錄音,但吳師仍違反相關規定,擅自將資料帶離會場,並拿出手機錄下會議內容,經主席制止仍不停止,甚至表示「我要錄音,不然大家都不要開會」、「歡迎你們來告我啊!」等言論,致使會議受阻。校方表示,相關情節經教評會依議事規則及程序審議後,委員投票通過記過處分,並非行政單位片面決定。 南亞進一步表示,114學年度第2學期,吳師授課鐘點僅2小時,依「專任教師基本授課時數不足處理辦法」,本即應送人事程序;即使如此,學校仍再次通知其申請折抵鐘點,本學期雖已申請折抵4小時,但每週仍未達基本授課時數標準。校方強調,吳師已連續6學期未達基本授課鐘點,學校不僅未扣減薪資,且始終盼其善用時間培養第二專長,相關處理可見校方係以輔導、安置、補救在前,依法處理在後。 張仁家校長表示,校方對所有教職員一視同仁,從無刻意針對。連今年過年期間教職員期末研習後發放開運紅包時,吳師也與其他同仁相同受領,足見校方並無外界所稱刻意打壓情事。對於外界未經完整查證,即將制度性、程序性的處理扭曲為霸凌與逼退,甚至進一步出現要求撤換校長等說法,實乃真心換絕情,深感遺憾。南亞技術學院重申,學校珍惜教師過往付出,但當校方已多次提供安置、提醒與補救機制,仍無法改善授課時數長期不足的客觀事實時,依法依程序辦理,乃維護教學品質、學生受教權益及校務公平運作的基本責任。