
Google研究團隊近日發布創新演算法TurboQuant,能將大型語言模型(LLM)的記憶體使用量平均降低六倍,運算速度提升八倍,並可減少企業逾五成的雲端運算成本。這項訓練免訓練的軟體技術,將有助於AI模型在消費級硬體上更高效運行,縮小本地端AI與雲端服務的差距。
Google研究團隊近日發布突破性演算法TurboQuant,旨在大幅降低大型語言模型(LLM)的記憶體使用量,同時提升運算效能並降低營運成本。這項技術平均能使LLM的關鍵值快取(key-value cache)記憶體使用量減少六倍,運算速度提升八倍,並可為企業節省逾五成的雲端運算開支。
根據《Ars Technica》及《Venturebeat》報導,傳統的量化(quantization)技術雖然能縮小模型,但往往會犧牲輸出品質。TurboQuant則不同,它被描述為一種無需額外訓練、與數據無關(data-oblivious)的解決方案,能維持AI模型的智慧表現,且適用於既有模型。
TurboQuant的核心在於兩階段的數學框架:PolarQuant與量化式約翰遜-林登斯特勞斯(Quantized Johnson-Lindenstrauss, QJL)。首先,PolarQuant將高維度向量從標準笛卡爾坐標轉換為極坐標,這種新表示法能更緊湊地儲存和處理數據,並省去傳統方法中昂貴的正規化常數。接著,QJL則針對殘餘誤差數據應用1位元轉換,將每個誤差數值簡化為一個符號位(+1或-1),以確保其統計特性與高精確度原始數據一致,從而實現精準的錯誤修正,最終提高注意力分數的計算精確度。
該演算法已在Gemma與Mistral等開源模型上,透過長上下文基準測試進行驗證,成功將關鍵值快取量化至3位元,在某些案例中甚至可達2.5位元,仍能維持甚至達成百分之百的召回率(recall score)。在NVIDIA H100加速器上的測試顯示,4位元TurboQuant在計算注意力對數(attention logits)方面的速度,比32位元未量化的密鑰快上八倍。
Google以開放研究框架的形式發布這些方法論,演算法及相關研究論文皆已公開且可免費取得,包括企業用途。此舉縮小了本地端AI與昂貴雲端訂閱服務之間的差距,使得AI模型更容易在消費級硬體上運行。例如,配備MLX(適用於Apple Silicon)的Mac Mini即可處理長達十萬個Token的對話,而不會損害模型品質。這不僅對AI開發者和企業而言是重要突破,也為資料隱私敏感的組織提供了在自有硬體或邊緣設備上運行大型模型的可能性。
這項研究成果將在今年稍晚於巴西里約熱內盧舉行的國際學習表徵大會(ICLR 2026)以及摩洛哥丹吉爾舉辦的人工智慧與統計年會(AISTATS 2026)上發表。市場對於這項技術的反應已顯現,記憶體供應商如美光(Micron)和威騰電子(Western Digital)的股價便出現下跌趨勢,顯示演算法效率的提升可能影響對高頻寬記憶體(HBM)的市場需求。

圖/本報資料庫 商傳媒|葉安庭/綜合外電報導 Atlassian 近年來大力投入人工智慧領域,為彌補企業導入 AI 的落差,該公司旗下的 Forward Deployed Engineering(前線部署工程師,簡稱 FDE)團隊扮演關鍵角色。這些工程師與客戶及跨部門團隊合作,將模糊的業務問題轉化為清晰的技術解決方案,例如利用 Rovo 工具開發 AI 代理程式、自動化流程、連接器及可重複部署的模式。過去一年,科技業對 FDE 職位的需求成長高達 729%,顯示大型 AI 公司普遍認為,越接近客戶的工程師將越能定義 AI 應用的成功。 Atlassian 為全球超過 35 萬家公司提供協作及生產力軟體解決方案,旗下產品包含專案管理工具 Jira、團隊協作平台 Confluence、視訊訊息工具 Loom 和看板型企畫管理網頁程式 Trello。FDE 團隊的成員不僅深入了解客戶的工作流程,找出高影響力的使用案例,並將這些洞察回饋給產品開發團隊。Atlassian 的前線部署工程師與傳統的客戶工程師或諮詢角色不同,他們更貼近核心程式碼與客戶需求,屬於研發部門的一部分,並肩負深度技術工作。 該公司 Lead Principal Forward Deployed Engineer Hülya Pamukcu Crowell 指出,透過與客戶工作流程的緊密結合,FDE 能夠識別出具高價值的應用場景,並將這些經驗帶回產品團隊。FDE 負責人 Sri Ramya Mallipudi 也提到,每位客戶的需求都不同,這促使工程師必須緊密追蹤產品的最新功能,並專注解決客戶面臨的實際問題。 FDE 團隊的實際應用成果顯著。例如,Atlassian 的 FDE 曾協助線上旅遊集團 Expedia 歸檔 60 萬個 Confluence 頁面,節省超過 6,700 小時的人力時間,此成功案例促使雙方擴大合作。Abhinav Thomas 是一名於今年 3 月加入的 Forward Deployed Engineer,他已與數家客戶合作,客戶回報其解決方案帶來顯著價值,其中一個案例更節省了約 80% 的時間。此外,當某位 FDE 為 Rovo 代理程式開發出沙盒(Sandbox,模擬真實環境的測試平台)到正式環境的匯出與匯入路徑時,一次性解決了包括網路設備龍頭思科(Cisco)在內,超過 15 個企業帳戶面臨的部署障礙。 Atlassian 運用其深厚的數據基礎打造 Teamwork Graph(團隊協作圖譜),該圖譜累積超過 20 年的數據和 1,500 億個獨特連接,為工程師建構 AI 工作流程提供共享知識層,並協助客戶更快地看到業務成果。成為 FDE 被視為一種職涯加速器,讓工程師具備客戶視角與跨職能判斷能力,進而影響產品策略。Sri Ramya Mallipudi 表示,FDE 的學習與經驗累積速度,是其他職位無法比擬的。FDE 被定義為 AI 應用者(AI practitioners),而非 AI 工程師,他們是使用 AI 並理解其產品應用適配性的專家,能為客戶提供最適切的解決方案,快速從發現問題到實現實際效益。
為因應人口高齡化及照顧人力短缺,台中市政府勞工局持續辦理照顧服務員訓練課程,鼓勵有意投入照顧服務工作的民眾培養專業技能。115年度目前尚有5班招生中,歡迎年滿16歲以上民眾踴躍報名,透過系統化訓練習得照顧專業,為長照服務注入新血。 核心課程-人際關係與溝通技巧 勞工局長林淑媛表示,照顧服務員是長照服務第一線不可或缺的專業人力,不僅協助長者日常生活,更是長者及其家庭面對老化與失能時的重要支持。市府希望透過系統化專業培訓,將願意照顧的心轉化為實際照顧能力,讓每位投入長照領域的夥伴都能具備專業與自信,提供長輩安心且有溫度的照顧服務。 勞工局表示,40歲的陳先生因年邁父母需要照顧,一度無法外出工作;母親辭世後,為兼顧父親照護與重返職場,決定參加照顧服務員訓練。51歲的蔡小姐長期陪伴罹癌女兒接受治療,女兒康復成家後,她考量自身體力已難繼續負荷醫院清潔等高勞力工作,也選擇轉換跑道。兩人完成訓練後,均順利進入居家長照服務機構任職,將照顧家人的經驗轉化為專業能力,走出職涯新方向。 勞工局說明,照顧服務員課程內容涵蓋身體照顧、生活支持、失智症照顧、急救實務以及家屬溝通技巧等多個面向,除了嚴謹的學科訓練外,更安排學員前往機構進行實地實習,確保每位學員都能將理論完美結合實務。另為降低參訓負擔,參訓期間符合特定對象身分者,訓練費用全額補助,而一般身分者亦可享80%的補助。 核心課程-感染管制及隔離措施 勞工局補充,為協助結訓學員順利就業,中市就業服務處提供「缺工就業獎勵方案」,凡經就業服務站推介媒合至日照中心或居服單位從事照顧服務工作者,依受僱期間每月可領取5,000元至7,000元之缺工就業獎勵,最長發給18個月。又於在職期間取得照顧服務員單一級技術士證照者,可申請勞工局勞工藝級棒獎勵2,000元,實質鼓勵及促進有意願從事照顧服務工作之失業、待業者投入長照產業並穩定就業。相關課程資訊,請至中市勞工局網站(網址:http://www.labor.taichung.gov.tw/1229008/1229015/1247865/1303561/1303569/1350985/post)或台灣就業通網站(網址:https://www.taiwanjobs.gov.tw)查詢或電洽 04-22289111 分機 35600。
日本規模達七兆美元的債券市場正積極導入區塊鏈技術,目標是讓股票與政府公債交易能全天候即時結算,大幅縮短目前一至兩天的結算時間,以提升市場效率並活化閒置資金;該計畫預計在2030年代初期上線。 日本規模高達七兆美元的債券市場正邁向區塊鏈轉型,以實現股票與日本政府公債(JGBs)的全天候即時結算。這是日本首次為全國性的區塊鏈試點計畫訂定明確的推動時程。 目前,東京的股票交易需要兩個工作天才能完成結算,而日本政府公債則需一個工作天。未來,透過區塊鏈技術,結算時間可望縮短至趨近於零,這意味著賣方幾乎可以立即將資金再投資,有效將閒置資金轉化為運作資本。 儘管更快結算機制無法解決由通膨、債務和貨幣政策所影響的殖利率與日圓匯率問題,但高利率環境下,即時結算的重要性日益凸顯。日本銀行(Bank of Japan)下個月升息的機率高達八成,而目前十年期日本政府公債殖利率接近2.9%,三十年期則超過4%,日圓兌美元匯率約在159水準。 此數位轉型計畫的進程已展開。今年四月,日本四大銀行已針對日本政府公債的區塊鏈抵押品進行試驗。思佰益(SBI)與Solana Foundation也正積極推動以日圓穩定幣為基礎的鏈上金融應用。此外,根據《CryptoSensei》報導,有大型日本企業正利用Canton Network測試代幣化的日本政府公債抵押品轉移,目標是在2026年前實現全天候的債券交易。 這並非日本首次升級其結算系統。早在2018年,日本政府公債的結算時間就已縮短至一天,股票結算則在2019年縮短至兩天。美國也在2024年將股票結算時間縮短至一天。日本這項計畫仍在等待正式批准,預計將於2027年初發布開發計畫,並可能在2030年代初期正式上線。日本此舉可能為全球其他金融市場,包括台灣在內,提供借鏡,思考如何透過數位轉型提升金融基礎設施的效率。