1. 
    
        1. 首頁 > 企業IT頻道 > 數字化建設

          讓數字人出圈的技術秘籍,華為率先公開了

          2022年11月08日 09:26:42   來源:微信公眾號:量子位

            在剛剛結束的2022華為開發者大會(HDC2022)上,升級版的手語數字人再次亮相,為大會的主題演講進行了實時翻譯。

            相較去年HDC,手語數字人不僅在形象上有了優化,覆蓋手語詞匯量更是提高到了2萬+,還能支持多達26種面部表情和準確的口動,在需要的時候實現恰當的情緒化表達,大大提高了手語的可懂度。

            這樣一個會手語的數字人,已不僅限于連續兩年在華為開發者大會上“嶄露頭角”了。其實在政府網站、學校和移動應用等場景,手語數字人也已經逐漸上崗。

            實際上,制作一個精良的數字人并不簡單,如果要求高度定制化,技術門檻只會更上一個臺階。

            這也導致當下數字人頗有種大廠“奢侈品”的味道。

            畢竟,并非所有人都能承擔起如此高昂費用和制作復雜度,以手語數字人為例,需求很大一部分來自于學校、公益機構等。

            而在這些現象背后,其實還隱藏著數字人在制作、應用落地方面的一連串難題。

            大廠競速,降低數字人落地門檻

            想要探尋數字人的落地瓶頸,還需從它的生產制作流程看起。

            制作數字人的流程,可以分為建模、驅動和渲染三個階段。

            建模即搭起數字人的“基礎骨架模型”,驅動負責讓模型“動起來像人”,渲染則負責讓模型“看起來像人”。

            聽起來不難,但在傳統的數字人制作流程中,每一階段都面臨操作繁雜、算法門檻高、開發周期長的問題,成本更是大型企業才負擔得起。

            極高的制作門檻,和數字人主打的“服務場景”卻并不匹配。

            像銀行、政務服務、直播間、景點導覽、學校等需求方,往往不具備獨立開發制作數字人的技術能力,能承受的制作成本更是相對有限。

            這種情況下,不少科技廠商如華為競相涉足數字人領域的研發,力圖降低每個制作階段的技術門檻。

            在建模上,傳統方式往往要利用多方位攝像頭,對模特們打點掃描,采集說話時唇部、表情、面部肌肉、肢體細節和姿態等身體數據,隨后按照需求設計建模,如卡通風、超寫實風格等。

            BUT,這背后需要的工作量非常大,而且需要專業人員操作。

            相比之下,目前已經有更多AI算法來降低3D建模門檻,也適配不同的數字人風格。

            在本次HDC上,華為就展示了一套高效的3D卡通數字人建模服務,能夠幫助開發者快速構建自定義的3D卡通數字人資產;跇I界前沿的全屬性特征識別和多模態基模融合兩大核心技術,只需要1張照片,AI算法1秒鐘就能生成一個活靈活現的卡通風格數字人,甚至連身體都能建模好。

            全屬性特征識別技術能夠對發型、眼形、眉形、胡子和眼鏡等面部主要屬性迅速而精準地識別,每個部分又可細化到常見的特征,如單雙眼皮、卷直發等,實現美與像的平衡。

            值得一提的是,這樣的神經網絡模型非常輕量,大小僅在KB級別(不到1MB),推理時間更是達到毫秒級,大部分情況下識別準確率超90%;

            而如何在毫秒級時間內,僅憑一張照片就“拼”出最合適的卡通化人臉,同時換上最合適的風格,則是多模態基模融合技術的能力。

            依托大量基礎幾何(1k+)和形狀素材(100+),配合百萬級的AI訓練數據,高效建模得以輕松實現。

            通過3D卡通數字人建模服務和HMS Core手語服務的配合——無論是熱情活潑的手語老師,還是端莊親和的手語直播主持人,都能快速搞定。

            建模完成后就是驅動和渲染了,讓模型不僅能像人一樣表情自然、肢體動作流暢,還能具備一定語言理解表達能力。

            傳統平臺雖然有動作庫、降低人工制作難度,但最復雜的往往是兩個動作之間的過渡、以及將語音文本和表情逐幀對應的過程。

            目前有大廠已經試圖在用算法搞定動作過渡,至于語音文本和表情對應則可以用AI算法來降低工作量。

            此次HDC,華為正式發布的HMS Core 3D Engine,不僅能進行超大規模數字世界的實時渲染,對于數字人的驅動也專門提供了一套能搞定實時骨骼動畫、表情動畫、腳步/全身IK、布娃娃系統、動畫重定向、多重動畫融合的“工具包”。

            3D Engine的動畫編輯器不僅支持創建多個動作狀態機,而且還能對多個角色的動作進行平滑過渡,解決數字人動作之間“不流暢”的問題。

            除了單純的動作驅動,讓數字人具備理解表達能力,同樣是決定驅動真實性的一環。

            HMS Core的手語服務,用AI算法給數字人打開了“手語表達與理解”能力。

            基于大量深度學習算法,讓模型學習語音、唇形、表情參數間的潛在映射關系,手語服務通過HMS Core 3D Engine驅動模型在接收到輸入信號時,自動做出對應的動作。

            建模和驅動之后,就來到最終的渲染部分。

            傳統方法往往計算量極高,更別提直播場景中常見的實時渲染。

            尤其是寫實數字人,為避免高時延,實時渲染往往選擇犧牲數字人的真實感,包括皮膚、頭發和眼睛等部位,想要打造真實感難度非常高,最后往往只能采用3D卡通數字人來完成實時直播。

            在這種背景下,HMS Core的3D Engine在實現在實時渲染的同時,還盡可能還原寫實數字人真實的效果。利用3D Engine呈現出來的數字人,不僅能與場景進行實時交互,在皮膚材質、發絲仿真、眼球材質等渲染上也足夠細致,這些細節直接影響了數字人的逼真程度。

            皮膚材質上通過次表面反射、雙葉高光對皮膚的光澤度和通透感實現了增強,呈現出了更自然的皮膚效果。

            在發絲上,則是通過實時物理模擬完成10萬+發絲運動,來增強頭發的陰影、半透明和高光渲染效果。

            眼球還原上甚至精確到了虹膜、瞳孔、鞏膜、晶狀體折射率等,根據參數進行調整。

            整體來說,相較于傳統數字人制作流程,從降低門檻、提高易用性等維度出發, HMS Core提出了一個更為簡易的數字人全流程解決方案。

            背后技術能力并不簡單

            其實,面臨數字人落地的難題和機遇,國內外不少公司都在投入這一賽道角逐。

            這其中既包括蘋果、Meta和英偉達等科技巨頭,也有Neon和DATAGRID等初創公司,憑借自身軟硬件優勢“擴張”在數字人行業的版圖。

            在賽道玩家云集的情況下,華為降低用“人”成本的底氣何在?

            一方面,在AI等技術上,華為這些年也在不斷地進行研究和積累。

            據華為介紹,在NeurIPS近五年來引用最多的50篇論文、以及ACL近五年來應用最高的20篇論文中,都各自有一篇華為諾亞方舟實驗室的論文,同時ACL引用最高的30篇論文中,更是有3篇相關論文。

            華為輪值董事長徐直軍,此前也透露過華為的AI研發數據:僅2018一年,華為的AI研發投入就達到15億美元,研發團隊更是超過5000人。

            具體到內容上,這些論文中就有不少像多模態技術這類與數字人息息相關的研究。

            被ACM Multimedia 2022收錄的一篇新論文中,華為泊松實驗室就聯合人大高瓴人工智能學院提出了一種名叫MMTG的新模型,意圖讓AI看到圖文混雜的輸入時能理解它們的關聯,并創作出新的文本,進一步提升數字人的表達能力。

            另一方面是獨特的應用場景優勢,作為鴻蒙生態的重要組成部分,HMS Core提供的一系列全面的端、云開放能力,為數字人在移動端乃至鴻蒙生態上的落地提供了有力的支持。

            通過HMS Core 3D Engine和手語服務打造的手語數字人,已經開放給暢聽無礙、知音等第三方App集成接入,實現在手機上的直接使用,為聽障人群帶來生活的便利。

            2700億市場如何把握?

            事實上,不止手語數字人,目前更多場景都面臨著使用數字人的情況。

            據《量子位虛擬數字人白皮書》預測,2030年我國虛擬數字人市場規模將快速增長至2700億。

            按需求場景劃分,主要有身份型虛擬人和服務型虛擬人。

            身份型虛擬人即虛擬偶像、真人人偶分身等,服務型虛擬人的常見應用場景有銀行、政務大廳、播音室等。

            比如在銀行數字化轉型趨勢下,數字人銀行客服通過語音交互,就能以更貼近于傳統柜臺的方式,提供更加人性化便捷的服務;

            還有手語翻譯場景,我國聽障人群數量達到2700萬,但專業手語翻譯師的數量恐怕還不到1萬。3D手語數字人在彌補專業人才缺口的同時,也能快速普及國家通用手語。

            目前,我們已經能看到越來越多的數字人開始上崗工作,隨著華為等大廠的技術投入,其成本和使用門檻也在進一步降低。

            如果你對數字人制作和應用場景感興趣,可以戳【閱讀原文】到HMS Core官網,了解相關圖形服務的進一步信息。

            文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據此操作,風險自擔。

          [編號: ]
          分享到微信

          即時

          新聞

          騰訊前三季研發投入454.75億元 前沿科技加速落地服務

          11月16日,騰訊控股(HK.00700)發布2022年Q3財報,騰訊實現營業收入1400.93億元,非國際會計準則凈利潤(Non-IFRS)322.54億元,同比恢復增長,多個主營業務板塊收入亦呈現環比企穩跡象。

          企業IT

          今日影像,今日推送!星圖地球今日影像正式發布,開

          每一次火箭升空、衛星發射都能引起全國人民的關注,那你可曾想過,有朝一日每個人都能召喚衛星為自己服務?

          研究

          IDC發布中國數字政府IT安全軟硬件市場份額報告

          IDC《中國數字政府IT安全硬件市場份額,2021》報告顯示,中國數字政府IT安全硬件市場的規模達到64.9億元人民幣,同比增長31.5%。

          女性做私密按摩,浪货再浪奶好大夹得好紧,妓女影院妓女网妓女AAA

          1.