京準電鐘：分布式系統對NTP網絡授時服務器的依賴

京準電鐘：分布式系統對NTP網絡授時服務器的依賴

一、分布式測控系統和實時仿真系統簡介

分布式測控系統通常由多個子系統組成，他們之間協調工作，共同完成測控任務，分布式測控系統可緩解單機測控系統的負擔。隨著測控技術的日益發展和成熟，現代工程試驗，尤其是大型軍工試驗中，需要測試、控制的項目種類越來越多，對各種測控項目的實時性、同步性和測控精度等都提出了更高的要求。

分步式實時仿真系統采用一致的結構、標準和算法，通過網絡將分散在不同地理位置的不同類型的仿真應用和真實世界互聯，支持異地分布的真實的、虛擬的和異構的平臺級仿真應用之間的數據交換和互操作，建立一種人可以參與交互的綜合仿真環境。由于試驗場地面積有限，各大型仿真非標設備常分布于不同樓宇的試驗室內，完成仿真試驗需要多樓宇、多試驗室跨域聯合進行。這對多試驗室遠程互連及并行試驗提出了迫切的需求，而遠程協同仿真技術中的數據實時交互技術是解決上述問題的關鍵。

二、分布式實時仿真系統對遠程時間同步的需求

分布式仿真技術結合了計算機網絡技術與虛擬現實技術，采用協調一致的結構、標準、協議和數據庫，通過局域網/廣域網將各個仿真節點的軟件、硬件和仿真環境整合為一體，共同完成仿真任務。隨著虛擬現實技術的不斷發展和完善，分布式仿真技術對連接各仿真節點的通信網絡在實時性、傳輸速率、傳輸數據多樣性等方面提出了更高的要求。

1、系統時間同步

在分布式實時仿真系統中，系統的各部分之間的遠程時間同步非常重要。例如圖形工作站、驅動控制系統、仿真機、主控機、轉臺控制計算機等設備之間的時間同步，以及如何確定仿真開始時間、如何確定圖形生成開始時間、如何確定數據傳輸時間、如何及時讀取數據等都是需要面臨的問題。

2、仿真時間同步

統一的時間周期起始點是保證仿真正常推進，數據真實可靠的基礎。仿真同步性要求仿真各個節點在統一的時間周期起始點，并且按照規定的仿真步長向前推進。統一的時間周期起始點是指系統運行仿真各個子節點需要采用統一的時刻作為仿真起始時間戳，之后各節點的仿真步長均在這個仿真起始時間戳的基礎上累加。

三、分布式實時仿真系統的解決方案

在現代測試系統中，怎樣保證各個模塊之間的同步以及測量的實時性是一個非常重要的課題，光纖反射內存網絡（RMN，Reflective Memory Network）因為內在的延遲確定、延遲時間短、支持跨平臺等特點在實時系統中得到了廣泛的應用?？刹捎霉饫w集線器（光纖HUB）進行實時光纖反射內存網絡硬件平臺搭建，實現多試驗室協同試驗仿真。

光纖反射內存網是一種共享存儲器數據的高速實時計算機網絡。光纖反射內存網實際上是在每臺被連接的計算機里都安裝一塊反射內存卡，各反射內存卡通過光纖進行連接。

基于光纖反射內存網進行遠程異地協同仿真，很好解決了試驗室設備互聯及高速實時數據共享的問題，大大地提高了半實物仿真試驗室光纖組網及布線的靈活性，可以實現20km級的跨區域的低延遲實時數據共享，使試驗室具備了多試驗室遠程協同并行開展多項試驗的能力，同時具備單一試驗室同時服務于多個試驗的能力。

1、光纖反射內存網的工作原理

基于內存共享技術的光纖反射內存網是由計算機節點互聯構成的實時網絡。組成光纖反射內存網，需要在每臺計算機中插入反射內存卡，這樣計算機和反射內存卡就構成了光纖反射內存網的各個節點。各個節點之間通過光纖等傳輸介質連接而成。為了節省成本，距離較近的(300m以內)設備采用多模光纖連接到本地光纖HUB，相距較遠的(300m～20Km)設備采用單模光纖連接。

每個節點的反射內存卡的存儲器中都有其他節點的反射內存卡的共享數據的拷貝。每個節點包括一個反射內存板，每個反射內存板配備一個大容量的雙口存儲器。雙口存儲器的一端連接到計算機的本地總線，另一端經過FIFO、編碼/解碼、并/串變換等處理后，連接到光纖。網絡上每個反射內存板都占有一段內存地址，任何時刻網上任何計算機向本地反射內存板寫數據時，該數據和相應的內存地址將在極短時間內被廣播到網上其他所有反射內存板并存儲在相同的位置。并且，所有節點的更新時間與網絡上實際連接的節點數量無關。每個節點的光纖接口板的板載存儲器都可由其他節點共享，因此在邏輯上全網的所有節點共享同一塊存儲器。數據一點寫入，多點同時更新，通過這種廣播式方式實現了數據的高速傳輸與共享。反射內存網具有確定的非常小的數據延遲。兩個節點之間的數據傳輸延遲只有400ns。因此，在一個節點數目固定的環形網絡上，任意兩個節點之間的數據傳輸延遲都是確定的，并且是可以計算的。

光纖反射內存網的核心器件是光纖反射內存網絡接口板，可采用VME、PCI、CPCI、PMC等總線構架，負責連接計算機與光纖網絡。整個光纖網絡通過光纖和光纖反射內存網絡接口板連接在一起。計算機通過對接口板的操作來完成對共享存儲器的寫入和讀取。以GE公司PCI5565型接口板為例，最大可支持共享內存256MB，網絡可容納256個節點，理論最大傳輸速率可達到170MB／s，實際的點對點測試結果高達80MB／s。

在光纖反射內存網絡中,反射內存在物理上分布于各個計算機中(反射內存卡中)，邏輯上共享同一段內存地址。任何一臺計算機都可以像訪問普通內存一樣方便地訪問共享的反射內存。由于反射內存網絡采用了簡化的網絡協議，所以具有非常高的傳輸速度，完全滿足如紅外圖像實時生成系統等對實時性要求很高的仿真系統的要求。

2、光纖反射內存網的拓撲結構

光纖反射內存網的物理拓撲結構主要有兩種：一種為環形拓撲；另一種為星型拓撲。如果選用環型拓撲連接，網上所有的反射內存板將通過光纖串聯起來。如果采用星型拓撲連接，網上所有的反射內存板將連接到光纖HUB上的自動光纖旁路板。這種星型連接只是物理上的星型連接，從邏輯上看還是環形連接。

圖1環型光纖反射網示意圖

圖2星型光纖反射網示意圖

環型反射內存網絡的優點是整個網絡不需要額外的集線器資源，并且光纖使用數量比星型少一半左右，成本很低。其缺點是當環型網絡中的一個節點發生故障，則整個反射內存網絡都會癱瘓。星型連接則采用光纖集線器（也稱為光纖交換機）作為數據中繼轉發設備，網絡中每個節點先將數據傳輸到集線器，集線器將數據進行相應處理后，再同時轉發給其他節點。光纖集線器的使用，可以對數據流進行實時監視，旁路錯誤節點，并且數據更新時間大大縮短。總體來講，環形拓撲比星形拓撲更適合反射內存網。

四、遠程時間同步解決方案

為了解決分布式測控系統和實時仿真系統遠程時間同步的問題，公司提出在基于光纖反射內存網絡的基礎上，采用TFT系列高精度光纖時間頻率傳遞設備和時統信號接收子板（PCI或PCIe）的方式，實現分布式測控系統和實時仿真系統的時間同步。

整個時統設備由主站時鐘、從站時鐘、光纖集線器、時統信號接收子板（PCI或PCIe）和配套連接光纜構成，如圖3所示。

時統設備通過高性能的原子鐘和光纖交換傳遞，給出精確的時間或確定的時間基準，滿足系統內部各用戶之間的高精度時間同步要求，另外通過北斗/GPS衛星授時手段實現可實現與系統其它部門、單元之間的遠距離時間同步和協同。

主站時鐘輸出高精度時頻信號的參考源，經過光纖傳輸給從站時鐘，再經光纖傳送到時統信號接收板卡。時統信號接收子板獲取、解析主站時鐘下發的時頻信息，通過計算處理，為用戶提供標準的時間信息和用戶設定的時鐘同步中斷信號，供用戶實時仿真系統數據同步使用。光纖集線器主要用于實時仿真系統中多塊光纖反射內存網絡接口板進行組網。此外，公司還提供專用的便攜式檢測調試設備，用于復現主時鐘信號，供給平時檢測、調試使用。

圖3時統設備組網示意圖

采用遠程時間信號同步解決方案，實現的測控系統和仿真系統在時統性能方面可以達到以下技術指標：

1.時鐘同步精度優于±10ns；

2.幀時鐘（0.2ms）傳輸延遲小于10μs；

3.授時設備主站時鐘源穩定性優于1×10-11/日（衛星信號鎖定）；

4.時標同步網絡上，各個時統信號接收板卡生成的本地同步中斷或同步脈沖之間的誤差不超過40ns；

5.同步時鐘信號最小輸出間隔周期不大于10μs；

6.時統信號接收板卡支持的實時光纖網絡通訊速率不小于2.125Gbps；

7.時鐘信號最大傳輸距離不小于5km（不考慮時鐘信號傳輸延時）。