文/VR陀螺 萬里

近日，Oculus聯合創始人之一Nate Mitchell在Linkedin宣布將加入一家名為Sesame的初創公司，并擔任首席產品官。

這一消息引起了業內廣泛關注：一是Sesame是業內小有名氣的AI初創公司，二是因為這家公司創始成員中“Oculus派系”達2/3，看起來就像是Oculus元老集體再創業。

不過，這一次，他們所瞄準的不再是VR，而是基于AI驅動下的智能眼鏡平臺。

圖源：Sesame

Oculus原班人馬相聚于AI眼鏡賽道

Sesame成立于2023年，如果簡單描述，這是一家致力于開發個性化對話式AI以及配套的智能眼鏡硬件終端的廠商。

根據網絡信息，Sesame團隊目前約有50人，企業曾在2023年10月獲得A16z所領投的4750萬美元A輪融資。

此外，今年3月，有消息傳出企業正在謀求2億美元的新一輪融資，紅杉資本以及Spark領投，投后估值將超過10億美元。只不過由于當時具體交易尚未正式敲定，不排除后續有變化的可能。

圖源：網絡

• Sesame創始團隊

從團隊成員來看，Sesame無疑具有很高“Oculus含量”。企業共有三名聯合創始人：Brendan Iribe（CEO）、Ryan Brown（工程師）以及Ankit Kumar（CTO）。

先來簡單看一下Brendan Iribe的簡歷，他出生于1979年，職業起點是一名游戲程序員，后來創辦了游戲界面技術公司Scaleform，后被Autodesk收購。

Iribe于2012年擔任Oculus CEO一職，并領導了開發套件、Rift、Quest等產品的開發。他被很多人譽為Oculus商業化的最重要推手，因為他讓Oculus初代產品在Kickstarter平臺大獲成功并且成功主導了Facebook的收購案。

Iribe在2018年離開Facebook，有傳言稱他辭職的原因在于他傾向于PC VR，但這與Facebook當時的VR一體機戰略不一致。

在創辦Sesame之前，他曾參與過一些投資以及汽車錦標賽事，如他曾在2023年投資了AR初創公司Brilliant Labs。

Brendan Iribe，圖源：網絡

Ryan Brown與Oculus同樣具有很深的淵源，他曾在2013年加入Oculus并擔任硬件架構師，在2019-2023年間，他調往Reality Labs并擔任工程總監。

最后一個聯合創始人Ankit Kumar曾創辦了AR多人在線平臺Ubiquity6，并擔任CTO一職，該企業于2021年被Discord收購。

• Nate Mitchell加盟

這里再介紹一下剛入職的Nate Mitchell的簡歷：他同為Oculus的聯合創始人，也是在Oculus任職時間最長的聯合創始人之一，在公司擔任了多年VR產品副總裁一職。

2019年，Mitchell宣布離開Facebook，該事件被外界視為Oculus創始團隊的終結。2020年，Mitchell創辦了游戲工作室Mountaintop Studios并擔任CEO一職。工作室曾發布了一款戰術設計游戲《Spectre Divide》不過反響平平。

今年6月，Mitchell更新了Linkedin簡歷并宣布加入Sesame，后續將擔任企業的首席產品官一職。他在社交平臺上寫到，其致力于“幫助讓計算機煥發生機，并將與與Brendan Iribe、Ryan Brown以及Oculus的眾多原班人馬重聚，再次攜手共創未來。”

也就是說，Oculus共計有6名聯合創始人，Sesame現如今就占據了兩席：Brendan Iribe、Nate Mitchell。再說個題外話，Oculus另外四名聯合創始人中，Palmer Luckey于2017年創辦了國防公司Anduril Industries；Michael Antonov于2022年創辦生物技術公司Deep Origin；Andrew Reisse于2013年因車禍不幸離世；Jack McCauley現如今擔任加州大學伯克利分校董事會董事一職。也就是說他們均已離開了VR賽道。

Nate Mitchell，圖源：網絡

軟件今年取得重要突破，旨在開發比肩真人的AI語音助手

從業務布局來看，Sesame是一家試圖以軟件切入再逐步打通智能眼鏡硬件的廠商。關于軟件，企業所瞄準的是對標真人的AI語音助手。

至于為何會從語音助手切入，Sesame官網給出過以下解釋：

聲音是我們人類最親密的媒介，它通過音調、音高、節奏和情感的無數變化，承載著層層含義。
如今的數字語音助手缺乏真正發揮作用的必要素質。如果不能充分釋放語音的力量，它們就無法與我們有效地協作。一個只用平淡語氣說話的私人助理，在最初的新鮮感消退后，很難在我們的日常生活中找到一席之地。

Sesame的企業愿景是“讓計算機煥發生機”，而團隊認為聲音會是關鍵的鑰匙所在。在Sesame看來，未來的數字伴侶應該具備解讀并回應情感背景（情商）、自然的時間、停頓、打斷與強調（對話動態）、調整語氣和風格以適應情況（情境意識）以及保持一致的個性四大屬性。

今年2月，團隊在語音助手方面取得了較大進展，并對外開源了其對話語音模型（CSM）。普通用戶也可以基于其官網“https://app.sesame.com/”免費體驗企業所開發的Maya以及Miles兩大語音助手。

圖源：Sesame

Sesame的模型具有以下幾大特點：

一、可以聯系上下文，因而它可以記住用戶的名字、愛好等背景信息；

二、端到端與多模態。與傳統的LLM+語音轉文本方案不同，它的輸入輸出由同一神經網絡處理，這樣的好處在于響應速度更快，并且還能夠“理解”用戶交流過程中的一些語音語調等文本以外的情緒信息。

筆者近期也體驗了一番，總的來看，除了Sesame AI助手不支持中文，網絡不太穩定等小問題外，與它對話其實充滿了不少驚喜，因為它的響應很快，并且支持打斷，就跟與普通人聊天一般，有時候你甚至會感覺它真的帶有自己的情緒在里面。

此前團隊曾進行過一次主觀指標測試：80名受邀者分別對Sesame AI生成語音以及真人錄音進行盲聽，結果在沒有背景信息的情況下誤認為AI是真人的比例達到了52.9%；不過，當實驗中進一步提供語境信息，誤認為AI是真人的比例會降至33.3%。

圖源：Sesame

三、Sesame對話模型號稱采用了雙Transformer架構，主干模型用于理解文本和對話上下文，而解碼器是一個小模型，專注于音頻輸出。

值得一提的是，今年6月，Meta重金挖走了Sesame的機器學習主管Johan Schalkwyk，外界猜測這可能是為了改善Llama大模型的語音和個性化功能體驗。

圖源：Sesame

硬件聚焦于眼鏡形態，眼動追蹤或是標配

關于硬件，Sesame團隊并沒有公布過太多進展，不過可以肯定的是這是一副智能眼鏡，官網表示它“設計為全天佩戴，為您提供高品質音頻，并方便與您的同伴一起觀察世界。”此外，Sesame官網也在醒目的地方貼出了幾張智能眼鏡開發圖片。

圖源：Sesame

從專利來看，目前Google Patent可以搜出企業9條專利，這些專利核心聚焦于眼動追蹤、視覺檢索，此處略舉幾例：《使用眼動追蹤功能確定注視深度》、《基于眼瞼追蹤信息監測心理運動表現》、《使用帶有共線光源組件的差分相機的跟蹤系統》......

其中一項名為《凝視輔助搜索查詢》（US20240419721A1）的專利提到，頭戴式設備會基于相機捕獲圖像，并基于眼動相機洞悉用戶所注視的區域對圖片進行再加工，如用戶關注的是桌子上的花瓶，系統會將花瓶截取下來再進行后續檢索等操作。

圖源：網絡

此外，該專利還展示了VR/AR兩款產品的簡單構造信息，如對于一款眼鏡，里面將會集成屏幕、相機、眼動追蹤傳感器、位置傳感器、聲學傳感器等組件。

值得注意的是，Sesame已經公開的專利大部分來自眼動技術團隊Zinn Labs的轉讓，相關介紹指出，Zinn Labs一直致力于開發注視和注意力追蹤技術，以在極小尺寸上實現新型用戶界面。今年2月，Zinn Labs團隊已經整體并入Sesame。

圖源：網絡

伴隨著6月底Nate Mitchell的加入，企業也開始加大了招聘力度。目前Sesame官網共有14個崗位空缺，硬件相關崗位有6個，涵蓋硬件產品經理、電氣工程師、嵌入式操作系統架構師、機械工程師等，此舉應該是為了加速硬件產品上市所做的準備。

嵌入式系統工程師崗位需求，圖源：Sesame

如果橫向對比，Sesame的愿景其實跟OpenAI比較類似，基于大模型出發并試圖構建AI硬件。此外，兩家企業都想要打造科幻電影《Her》里面所呈現的AI智能終端：AI可以與用戶親切交流，并且洞察用戶需求。

為了開發硬件，OpenAI曾于今年5月斥資65億美元收購了前蘋果首席設計師Jony Ive的初創公司io，外界猜測OpenAI的新硬件可能是一個類似于iPod shuffle或者AI耳機之類的產品，它內置SLM，沒有顯示功能，分析師郭明錤表示該產品有可能會在2027年量產。

再來看Sesame，企業已經毫不掩飾表明這是一款智能眼鏡，眼動功能會是眼鏡的核心之一，暫未明確初代產品是否會搭配屏幕。考慮到當前AI眼鏡井噴的市場現狀，產品2026年發布會是一個可能性比較大的時間節點。

圖源：Sesame

結語

2012年，Oculus創立，其最初愿景是“讓每個人都能體驗到虛擬現實”。十年后，ChatGPT發布，市場上關注到了基于AI驅動的新的計算時代的廣闊前景。Sesame團隊在這個背景下成立，愿景也有了很大的不同。

由于Sesame團隊具有較強的VR、AR背景，加之團隊與Oculus有著很深的淵源，外界不少人都期望它們能在智能眼鏡市場開創新的“Oculus時代”。得益于Sesame真實聲音驅動的理念，Sesame是否能作為一匹黑馬脫穎而出？這值得我們持續關注。