文/薩摩耶云科技集團數據業務部副總經理 易小華

自2022年11月上線后，ChatGPT就一路開掛，不僅 5 天時間便突破百萬用戶，月活用戶突破 1 億更是僅用時 2 個月，成為史上增速最快的消費級應用，遠超Tktok、Facebook、Google等全球應用，可謂來勢洶洶。ChatGPT表現出很高的人機交互水平，以及自然語言大模型具備面向通用人工智能的特征，在眾多行業領域有著廣泛的應用潛力。ChatGPT大熱之下，其背后技術的原理是什么?AIGC的興起給金融、跨境電商等眾多行業帶來怎樣的機遇與挑戰?AI又將如何賦能商業決策?

 

真正 與 人類 進行交流

ChatGPT是由OpenAI團隊開發和訓練的一個人工智能聊天機器人程序，使用了Transformer架構，它擁有語言理解和文本生成能力，尤其是通過連接大量的語料庫來訓練模型，這些語料庫包含了真實世界中的對話，使得ChatGPT具備上知天文下知地理，還能根據聊天的上下文進行互動的能力，做到與真正人類幾乎無異的聊天場景進行交流。

2020年5月的GPT-3，參與數量達到了1750億，堪稱“大力出奇跡”。ChatGPT 作為基于GPT-3.5架構開發的大規模對話AI模型，剛一問世就令全球為之震動，而其很可能是GPT-4 正式推出之前的演練。

不過，在薩摩耶云科技集團云科技研發中心數據業務部副總經理易小華看來，從技術角度來說，ChatGPT本身使用到的技術在過去5年已被業界反復驗證，并不存在非常大的突破。有著多年AI研發工作的感嘆“OpenAI多年的厚積為現在的薄發打下了基礎，它所積累的模型規模已經把競爭對手甩在身后。”

ChatGPT的 數據飛輪開始轉動

從GPT1.0到GOT3.0，再到目前ChatGPT所使用的GPT3.5 , 在過去5年的時間，OpenAI投入了大量的人力、財力、算力，將其模型規模積累壯大。

 

2018 年 OpenAI 采用 Transformer Decoder 結構在大規模語料上訓練了 GPT1 模型，橫掃了各項 NLP 任務，自此邁入大規模預訓練時代 NLP 任務標準的預訓練+微調范式。2019 年，OpenAI 提出了 GPT2，GPT2 擁有和 GPT1 一樣的模型結構，但得益于更高的數據質量和更大的數據規模有著驚人的生成能力。

由于 GPT 采用 Decoder 單向結構天然缺陷是無法感知上下文，Google 很快提出了 Encoder 結構的 Bert 模型可以感知上下文，效果上也明顯有提升，同年 Google 采用Encoder-Decoder 結構，提出了 T5 模型。從此大規模預訓練語言模型兵分三路。

易小華認為，2020 年 OpenAI 提出 GPT3 將 GPT 模型提升到全新的高度，其訓練參數達到了 1750 億，自此GPT系列模型的數據飛輪便轉動起來，超大模型時代開啟，走上了 NLP 任務新范式預訓練+提示學習技術路線。由于 GPT3 可以產生通順的句子但是準確性等問題一直存在，出現了InstructGPT、ChatGPT 等后續優化的工作，實現了模型可以理解人類指令的含義，會甄別高水準答案，質疑錯誤問題和拒絕不適當的請求。

強大的 ChatGPT 如何 訓練 而成？

 

圖片來自于OpenAI官網

ChatGPT使用了類似InstructGPT 的方法來訓練模型，該方法也叫做RHLF( 人工反饋強化學習能力)，它分三步來訓練：

第一步：訓練監督策略模型。為了讓GPT 3.5初步具備理解指令的意圖，首先會在數據集中隨機抽取問題，由人類標注人員，給出高質量答案，然后用這些人工標注好的數據來微調 GPT-3.5模型，經過微調的模型已經具備在對話場景初步理解人類意圖的能力。

第二步：訓練獎勵模型。這個階段主要是通過人工標注訓練數據，來訓練回報模型。在數據集中隨機抽取問題，使用第一階段生成的模型，對于每個問題，生成多個不同的回答。人類標注者對這些結果綜合考慮給出排名順序。這一過程類似于教練或老師輔導。

接下來，使用這個排序結果數據來訓練獎勵模型。對多個排序結果，兩兩組合，形成多個訓練數據對比。RM模型接受一個輸入，給出評價回答質量的分數。

第三步：使用PPO強化學習來增強第一步生成的微調模型。首先初始化 PPO 模型，采樣一批和前面用戶提交 prompt 不同的集合，使用 PPO 模型生成答案。利用第二步回報模型對答案打分，通過產生的策略梯度去更新 PPO 模型。這一步利用強化學習來鼓勵 PPO 模型生成更符合獎勵模型判別高質量的答案。

通過第二和第三步的迭代訓練并相互促進，使得 PPO 模型能力越來越強。

瑕不掩瑜，新技術革命風暴襲來

盡管ChatGPT表現出出色的上下文對話能力甚至編程能力，完成了大眾對人機對話機器人從“人工智障”到“有趣”的印象改觀。我們也要看到，ChatGPT技術仍然有一些局限性，還在不斷地進步。比如，其未經大量語料訓練的領域缺乏“人類常識”和引申能力，甚至會一本正經的“胡說八道”;ChatGPT無法處理復雜冗長或者特別專業的語言結構;需要非常大量的算力(芯片)來支持其訓練和部署;無論是訓練時間或訓練成本，都是普通訓練者難以接受的;ChatGPT仍然是黑盒模型，目前還未能對內在算法邏輯進行分解。

從辯證的角度來看，ChatGPT雖不完美，但它提升了理解人類思維的準確性，帶來了里程碑式的技術革命。它將帶動AI殺手級應用出現，代替大量低端人力，將給世界帶來新的產業革命;使用大模型(或LLM)可以接近人類的思考能力;科技領先的馬太效應會越來越明顯。

ChatGPT在全球迅速掀起浪潮，中信證券研究院報告認為，中短期內產業化的方向，主要為文字模態的AIGC應用、代碼開發相關、圖像生成領域、智能客服四大板塊。而業內普遍認為，ChatGPT引領的大模型正在讓AI技術從五年前的“能聽會看”，走到今天的“能思考、會創作”，未來有望實現“會推理、能決策”的重大進步，其在決策智能領域有著廣闊的應用潛力。

薩摩耶云科技集團在決策智能技術攻堅已取得重要原始性突破，在金融和跨境電商物流、電信領域積累了豐富的經驗。“我們認為，ChatGPT可在營銷客服，風險控制，代碼編寫、跨境電商內容生成等業務場景中產生顛覆性的價值。”易小華說。

重新賦能金融與跨境電商決策

營銷和客服是金融領域不可缺少的兩個環節，當前的營銷渠道主要有廣告投放，短信，外呼，app推送，資源位個性化展示、微信公眾號等。“如果結合個性化推薦、實時計算能力以及AutoML等技術，ChatGPT可解決線上線下協同營銷過程中的自動化斷點問題，實現營銷策略自動生成和迭代、自動AB實驗、渠道自動分流，達到千人千面的精準營銷效果。同時，結合金融機構語料進行適應性訓練，會促進營銷內容生成和用戶轉化效率的提升，提升營銷和客服效率以及用戶體驗。”

 

薩摩耶云科技集團嘗試以 ChatGPT作為自動客服系統的核心技術，并利用NLP和對話生成技術，訓練類似于ChatGPT的語言模型，再疊加個性化推薦模型，結合業務知識庫以及業務流程API，打造營銷和客服機器人，旨在幫助金融機構進行營銷獲客提升客戶服務質量。易小華表示，把機器學習、知識圖譜、決策引擎人工智能技術和LLM模型技術融合，會進一步優化模型的智能性，改變信貸服務的人機交互體驗，使得金融服務更有溫度。

“我們試圖在營銷和客服場景中建立新的人機協作模式。一方面，ChatGPT類機器人在營銷上承擔人群和標簽劃分以及個性化推薦工作，在客服上執行問題理解、對話管理、問題推薦、答案生成。另一方面，人工客服則專注于話術推薦和會話摘要生成。”

而在金融風險控制方面，利用知識圖譜引擎原有的隱性集團識別、深度鏈擴散、子圖篩選等能力基礎上，ChatGPT可擴展出更高維度、更大范圍的隱性關系識別。薩摩耶云科技集團給出的方案是，探索接入類ChatGPT能力，通過對用戶信用數據、歷史借款記錄、還款記錄等數據分析，評估用戶風險等級，實現對關鍵要素提取、資料自動化審核、風險點提示等風控領域的業務流程自動化水平的提升，向金融機構提供全方位智能風險管理服務，大幅提高風險識別能力。

當前，在跨境電商領域的應用方面，雖然ChatGPT可以直接幫助賣家生成內容，但是效果還是需要進一步改進。OpenAI提供了對GPT模型進行微調然后生成自定義GPT模型的接口能力，薩摩耶云科技集團通過調用接口，實現上傳自己的訓練語料對GPT模型進行微調，達到定制化模型的效果。未來，其可幫助跨境電商賣家在產品編寫/優化listing、提升跨境電商平臺店鋪和產品排名、輸出豐富優質的郵件營銷內容、提供即時客戶服務改善客戶體驗、開展智能廣告投放提升轉化率等層面進行降本增效。

 

人工智能已在多領域廣泛應用，ChatGPT高超的人機交互水平、通用人工智能的特征，讓世界為之驚嘆。“不斷進化的ChatGPT將為識別、生成和決策重新賦能，會對社會經濟發展產生滲透性、顛覆性的作用。如何應對人工智能會是件有意思的事情，但AI的未來肯定超酷。”易小華對ChatGPT的應用前景充滿期待。

(新媒體責編：wa12)