本稿では、深層強化学習に基づくvRANのリソースオーケストレータであるvrAInを、次の順に紹介します。最初に、オートエンコーダーを使用して、高次元コンテキストデータを潜在表現を介して構築します。次に、アクタークリティックのニューラルネットワーク構造とクラシファイアに基づくDDPG（深層決定方策勾配）アルゴリズムを使用して、コンテキストをリソース制御決定にマッピングします。その結果として、（1）CPUに依存しない方法に比べて、コンピューティング容量を最大30％削減、（2）静的ポリシーに比べて、QoSターゲットを達成する確率を25％改善、（3）コンピューティング容量のプロビジョニングが少ない場合、最先端スキームに比べて25％のスループット向上、（4）最適なオフラインオラクルに匹敵する性能を発揮、の4つを紹介します。

1. はじめに

vRAN（仮想化無線アクセスネットワーク）は、移動体通信事業者がモバイルサービスの増え続ける需要に低コストで対応するため、鍵となる技術として広く認識されています。vRANは、ソフトウェア化されたRAP（リモートアクセスポイント）^*のスタックを、クラウドのコンピューティングインフラに集中させます。この処理は、通常CPUリソースが不足することがあるエッジで行われます。図1は、信号変調やエンコードなどの無線処理タスクを実行するために、共通のCPUプールを共有するvRAPのセットを示しています（赤矢印）。セット化されることにより、リソースのプーリング（集中化による）、簡単なアップデート実施（ソフトウェア化による）、安価な管理と制御（コモディティ化による）などのいくつかの利点がもたらされます。

したがって、vRANが学界や産業界の注目を集めているのは、驚くべきことではありません。公表されているRANソリューションの取り組みの例としては、主要通信事業者（AT&T、Verizon、China Mobileなど）、メーカー（Intel、Cisco、NECなど）、そして主要研究機関（スタンフォード大学など）によって主導されるO-RANや楽天モバイルのvRANなどがあります。これらは、汎用プロセッシングプラットフォームとデカップリングされたBBU（ベースバンド装置）とRRU（リモート無線ユニット）に基づいた、完全にプログラマブルで仮想化されたオープンなRANソリューションに向けた取り組みになっています。

そうした状況にもかかわらず、現在のvRANが実現できるメリットは最適なものからほど遠く、そしてこれが大規模な展開を妨げています。特に、リアルタイムの負荷によるピーク需要に対応するため、現在実装されているvRANのほとんどが過剰なコンピューティング能力を持っているため、計算リソースのプーリングは効率的に行われていません。

vRANにおける動的なリソース割り当てには、次のような本質的な課題があります。

NECは、計算リソースと無線リソースの割り当てを統括する、AI制御のvRANオーケストレータであるvrAInを提案します（図1、青矢印）。

2. vrAInのデザイン

vrAInを活用したvRAN全体像（図1）は、フィードバック制御ループで構成されており、そこでは次のことが行われます。

こうしたことから、NECはリソース制御問題を、CB（文脈的バンディット）問題として定式化しました。これは順次意思決定問題で、そこでは、各タイムステージn∈Nにおいて、任意の特徴空間x⁽ⁿ⁾から抽出されたコンテキストまたは特徴ベクトルをエージェントが観測して、アクションa⁽ⁿ⁾を選択し、フィードバックとして報酬信号r(x⁽ⁿ⁾, a⁽ⁿ⁾)の受信が行われます。

コンテキスト空間：各ステージで、T個のコンテキストサンプルが収集されます。各サンプルには、すべてのvRAP上の全ユーザーのバッファサイズ、平均SNR、及びSNRの分散が含まれます。

アクション空間：NECのアクション空間は、CPU及び無線スケジューリングポリシーのすべてのペアから構成されます。、及びは、ステージnにおいてvRAPiに許可される最大計算時間共有（CPUスケジューリングポリシー）、及び最大MCS（無線スケジューリングポリシー）をそれぞれ示します。また、は、コスト削減ために割り当てられていないCPUリソースの量を示します。したがって、vRAPiにおけるリソース割り当てアクションは、ペアa_i:= {c_i,m_i}で構成され、システムアクションはとなります。

報酬：vrAInのデザインには次の2つの目標があります。

この目的を達成するために、報酬関数を次のようにデザインしました。q_i,xi,aiは、任意のスロットにおける与えられたコンテキストx_i及びアクションa_iに対して、vRAP_iのすべてのユーザーの集約バッファの占有状況をとらえるランダムな変数としました。QoS（クオリティオブサービス）基準として、各vRAPの目標バッファサイズQ_iを設定しました。この基準は、エンドユーザーが経験するレイテンシ（バッファ占有率が低いとレイテンシが小さくなる）とスループット（スループットが高いとバッファ占有率が低く保たれる）に密接に関連していることに注意してください。したがって、通信事業者はQ_iを設定することにより、ネットワークスライス間での差別化を実現するためなど、所望のQoSを選択することができます。q_i,xi,aiがvRAP_iに対して目標値以下である確率をとし、報酬を次のように定義します。

ここで、ε_iはvRAP_iのデコーディングエラー確率（局所的に測定可能）であり、Mとλはそれぞれ、デコーディングエラーの重み、及びリソース使用量とパフォーマンスとの間のトレードオフを決定するパラメータです。低い割り当てによるデコーディングエラーを避けるためにMを大きな値に設定し、QoS要件を満たしながら（コンピュートリソースの使用を最小限に抑えることが目的）λを小さな値に設定します。

こうしたCB問題を解決するために、NECは、図2に示されるシステムを設計しました。まず、SAE（スパースオートエンコーダー）を用いて、各コンテキストx⁽ⁿ⁾を潜在表現にエンコードし、より低次元のベクトルy⁽ⁿ⁾を生み出します。次に、両方のアクションポリシーを、CPUと無線の2つのオーケストレータにデカップリングします。無線オーケストレータは、エンコードされたコンテキストy⁽ⁿ⁾が与えられた場合、計算リソースポリシーをc⁽ⁿ⁾として高い信頼性をもって処理できる最大のMCSを提供する単純な分類器 として構築されます。それとは逆に、CPUオーケストレータの設計は、図に示されるようにモデルフリーのアクタークリティックニューラルネットワーク構造を使用して、DDPG（深層決定方策勾配）アルゴリズムを用いて行われます。

3. 評価

現実世界のシナリオでvrAInの性能を評価するために、図3（a）に示すように、197個のアクセスポイントが配置された欧州のある都市における、本番RANの配備に対してvrAInのシミュレーションを行いました。図からわかるように、中心部（大都市）にRAPがより密集しており、RANは周辺部で疎になっています（主に高速道路や小規模通勤圏郊外をカバー）。一般性を失うことなくトレーニングデータを活用するために、すべてのRAPにSISO 10-MHz LTE vRAPが使用され、第1章で紹介したLTE vRAPと同じ動作をするものと仮定しました。

NECがカスタムしたシミュレータは、LTEのパフォーマンス評価のための3GPPガイドラインに従っており、そのパラメータの詳細は表の通りです。UE（ユーザー装置）が感知するSINR（信号対干渉雑音電力比）は、すべてのアクティブなRAPの干渉を集約して得られます。あるSINRに対して、UEのCQI（チャネル品質指標）を計算し、3GPP仕様に従ってこのCQIに関連する最大許容MCSを計算します。更に、UEに対しては、3GPPが推奨する通りUEとRAP間の最小距離35mを確保するように、ランダムモビリティモデルを実装しています。最後に、シミュレーション用に扱いやすいモデルでvRAPのコンピューティング動作を補足することが困難なため、データセットを使用してトレーニングされたDNN（ディープニューラルネットワーク）を実装して、コンピューティングリソース不足に起因するデコーディングエラーが発生する時期を判断しました。

表　シミュレーションパラメータ

実際の大規模RANの動作を模倣した合成トラフィックパターンを用いて、通常の1週間のシミュレーションを行いました。分析を簡素化するため、以下では平日の24時間に焦点を当て、図3（b）に示されるトラフィックプロファイル（システムの容量に関連する）を使用します。更に、vRAN全体で集約したコンピューティング能力は、vrAInを使用しない場合の一日の負荷ピーク時にCPU不足によるエンコーディングデッドライン違反を起こさない最低限のCPUリソース量に合わせてあると仮定しています。これを「100％プロビジョニング」と呼びます。また、システムがそのコンピューティング能力の70％および85％に抑えてプロビジョニングされた場合に、vrAInの動作を調査し、資本コストの節約を可能にします。

3.1 ピーク時におけるコンピューティング能力のプロビジョニング

最初に、コンピューティング能力がピーク負荷に対応できるようにプロビジョニングされた場合のスループット性能、バッファ状態、コスト削減の変化に焦点を当ててみます（図4、図5右端のグラフ「100％プロビジョニング」）。図4から、vrAInは従来の手法である「Legacy」とほぼ同じスループット性能を達成し、バッファサイズがわずかに大きい（最大5％）ことがわかります。これは、vrAInがこのわずかに大きな遅延を、大幅なOPEX（運用費）の節約で相殺しているからです。これは図5（右端のグラフ「100％プロビジョニング」）で示されており、ここではvrAInが10％から20％のOPEXの節約を実現しています。ただし、vrAInがOPEXの節約よりも性能を優先するように設定された場合、遅延の差は消失することに注意してください。

3.2 コンピューティング能力のアンダープロビジョニング

次に、アンダープロビジョニング（プロビジョニングの割合を下げる）によって、積極的なCAPEX（資本的支出）削減を実現するケースについての分析を行います。ここでは、前述の区別方針についてコンピューティング能力の可用性を85％と70％へ下げてみます。これらはそれぞれ、「85％プロビジョニング」と「70％プロビジョニング」として、図4と図5に示されています。これら2つのシナリオのスループットとバッファ状態の進化を図4に示します（左端と中央のプロット）。この図から、vrAInは、従来の計算非依存アプローチと比較して、高い性能を維持しながら積極的なCAPEX削減を実現することが明らかになります。具体的には、平均して、またピーク需要（18時〜0時）の間に、コンピューティング能力をピーク負荷時の85％と70％へとアンダープロビジョニングする場合に、vrAInは従来のスキームに比べてそれぞれ最大で50％と55％のスループット向上をもたらします。その理由は、vrAInが無線と計算のスケジューリングポリシーを共同で最適化できる能力を持つために、計算能力不足によるエンコーディングデッドライン違反がほぼ発生しないことと遅延をトレードオフにして、vrAInが時間軸に沿って需要によりよく対応できるようになるためです。これとは対照的に、従来の手法によるコンピューティング能力の可用性に依存しない動作では、瞬間的なピーク需要の際にエンコーディングデッドライン違反が頻繁に起こるため、大幅なスループットの低下が生じます。これにより再送信に大量の時間が浪費され、感知されるレイテンシがより大きくなるという連鎖効果が生じます。平均的には、85%及び70%のコンピューティングプロビジョニングに対して、vrAInに比べて160％及び73％以上のバッファ占有率が同じピーク需要期間に発生することになります。

4. むすび

本稿の最後に、vrAInは制約のあるコンピューティング環境に適応すること、つまり性能を最大化することを述べておきます。これは、「70％プロビジョニング」と「85％プロビジョニング」の性能指標を「100％プロビジョニング」の指標と比較することによって明らかになります。特に、前述の同じピーク需要期間中、vrAInは「85%プロビジョニング」ではスループット性能に損失がなく、平均して「70%プロビジョニング」でも最大でスループット損失が10％以下になります。これに対して、従来の手法では、同じ条件下で最大で65％から80％という相当なスループット損失が生じます。レイテンシの観点で見ると、vrAInでは「100%プロビジョニング」のバッファ占有率に対して「85%プロビジョニング」の場合に平均バッファ占有率が1％増加するだけであり（従来の手法では282％増加）、また75%プロビジョニングの場合に平均バッファ占有率が73％増加するだけです（従来の手法では337％増加）。

執筆者プロフィール