曲速未來 發布：GPT-3來了，加密貨幣需要害怕嗎？

區塊鏈安全諮詢公司 曲速未來 表示：過去幾年來，新推出的文本生成器模型GPT-3在加密貨幣社區引起了熱議。一些人表達了對GPT-3的好奇心，另一些人卻有些極端，聲稱加密貨幣社區應該對此感到恐懼。

如此熱烈的反響難免會讓人覺得有些奇怪，因為GPT模型已經不新鮮了。過去一年來，機器學習社區都在積極討論這一話題。首個GPT模型的研究發表於 2018年6月。之後，2019年2月，GPT-2模型發布，最後就是3個月前的GPT-3模型。

什麼是GPT-3？

GPT-3是一個龐大的自然語言理解（NLU）模型，使用多達 1750 億個參數來處理多項語言任務。因此，GPT-3成了全球最大的NLU模型，超過了微軟的Turing-NLG模型及其前身GPT-2模型。

GPT-3模型能夠執行多項語言任務，例如，機器翻譯、回答問題、語言分析以及文本生成。GPT-3生成的偽造文本甚至能夠以假亂真，引起了新聞媒體的注意。

這與加密貨幣有什麼關係？想像一下，如果有人能定期生成虛假的新聞稿來影響小幣種的價格，聽起來是不是很可怕？但是這並不是GPT-3最主要的功能。

GPT-3是一種基於語言的模型，因此在文本數據集合的基礎上運行。從加密貨幣市場的角度來看，這種功能雖然很酷，但是肯定沒那麼有趣。我們真正應該關注的是GPT3背後的技術。

GPT-3背後的秘密

GPT-3是在深度學習架構Transformer的基礎上開發的。Transformer架構的主要創新之處是「注意力機制」概念。注意力機制通常用來解決Seq2Seq問題。所謂的Seq2Seq問題，指的就是將一個序列（單詞、字母、數字）處理後，輸出另一個序列的問題。這類問題常見於文本生成、機器翻譯和回答問題等語言智能場景。

每當你看見一個Seq2Seq場景，你都應該將它與編碼器-解碼器架構聯繫起來。編碼器會捕獲輸入序列的語境，並將它傳遞給解碼器，由解碼器生成輸出序列。通過識別輸入中應該「注意」的關鍵部分，注意力機制解決了傳統神經網路架構的局限性問題。

想像一下從西班牙語到英語的機器翻譯場景。通常來說，解碼器會將西班牙語文本輸入到一個名為「虛構語言」的中間表示內，然後利用這個中間表示將其翻譯成英語。傳統的深度學習架構需要編碼器和解碼器之間持續進行反饋，導致效率極其低下。

從概念上來說，注意力機制會觀察輸入序列，並在每個步驟中決定輸入序列中比較重要的部分。例如，在機器翻譯場景中，注意力機制會聚焦於那些編碼器「應該注意的」單詞，以便執行翻譯。

支持GPT-3模型的Transformer架構是傳統的編碼器-解碼器架構，通過插入注意力塊來提高效率。注意力塊的作用是完整查看全部的輸入和當前輸出，推斷相關性，從而優化最終輸出的生成過程。

由Transformer架構生成的模型可以經過海量數據集的訓練，並實現高效並行化。果不其然，在論文發表後，各公司競相構建超大模型來處理不同的語言任務。

當初，包含15億個參數的GPT-2模型震驚了全世界。短短一年之內，這一紀錄先是被微軟的Turing-NLG打破，又被包含1750億個參數的GPT-3碾壓。簡而言之，就Transformer架構而言，大即是好。

第一代Transformer架構聚焦於語言任務。但是部分公司最近已經發表了將Transformer應用於圖像分類的相關研究。有人或許認為此舉只是在嘗試偽造圖像。但是這一研究的意義遠不止如此。

在沒有大型已標記數據集的情況下，圖像造假對於簡化圖像分類模型的訓練來說至關重要。已經有人嘗試將Transformer架構應用於金融時間序列數據集，希望可以改進量化交易策略。

Transformer和加密貨幣

既然我們已經介紹了Transformer架構和GPT-3的背景知識，不妨再來思考一下文章開頭的問題：GPT-3真的不利於加密貨幣嗎？

當然了，GPT-3模型確實可以生成虛假新聞，從而影響幣價，這並非玩笑。但是我認為，就目前的情況而言，GPT-3不會威脅到加密貨幣行業。更有趣的是，Transformer架構可能對下一代加密貨幣智能解決方案產生影響。以下是一些值得考慮的場景：

交易策略。顯然，如果事實證明Transformer架構可應用於金融數據集，這類架構可能會對加密貨幣的量化策略產生重大影響。總的來說，深度神經網路為量化交易開拓了新的領域。從線性回歸和決策樹等基礎機器學習模型來看，量化基金正在研究複雜的深度學習策略。

作為原生數字資產，加密貨幣最適合採用量化策略。循環神經網路（RNN）和卷積神經網路（CNN）等技術在量化投資領域大受歡迎，而且在密碼學技術中發揮了很好的作用。就像在語言分析方面那樣，Transformer架構可能優於CNN和RNN，尤其是在將「注意力」集中到一個數據集的某些部分（例如，2020年3月的比特幣崩盤），以及處理海量交易（例如，區塊鏈交易）方面。

區塊鏈分析。相比現有方法，Transformer架構可以更加高效地檢測區塊鏈中的模式。Transformer架構的優勢之一是，能夠將注意力集中到輸入集的特定部分，並推斷潛在的輸出。想像這樣一個場景，我們在分析比特幣挖礦交易或交易所的流量，試圖推斷訂單簿採用的模式。Transformer架構似乎更能勝任這個任務。

去中心化的Transformer架構。目前，人們在努力將Transformer模型應用到SingularityNet等去中心化的AI架構中。此舉將拓展Transformer模型的應用場景。迄今為止，GPT-3等Transformer模型都是大公司的特權。只有大公司的AI實驗室才有足夠的數據和資源來構建並運行如此大規模的神經網路。去中心化AI為我們提供了另一種方案，可以在基於激勵機制運行的去中心化網路中訓練、執行並監控Transformer架構。

就像那些已經在去中心化基礎設施中運行的神經網路架構那樣，我們很快就能看見GPT-3之類的模型運行在去中心化AI平台上。

GPT-3和Transformer架構是深度學習發展史上的巨大突破。在接下來的幾年，我們可能會看到Transformer架構滲透進深度學習的方方面面，而且這種影響力可能會擴散至金融市場。加密貨幣會成為受益者。

沒錯，GPT-3確實令人矚目，但是沒必要懼怕它。相反，我們應該利用這些AI技術，將加密貨幣變成史上最智能的資產。

猜你喜歡

• XRP過去兩周上漲超30%，新增30隻持幣巨鯨

• Web3.0×區塊鏈3.0，數字公民的時代機遇

• 近期最火爆的NFT項目Top 10匯總，NFT會引領新的流行趨勢嗎？

文章評論

請先 登錄 後評論