Barren Plateau まとめ

量子ビット数を $n$ とする。

• Barren plateaus in quantum neural network training landscapes [29 Mar 2018]
  • $n$ の関数として指数関数のオーダーで勾配が消える
  • 回路の深さが $\mathcal{O}(\log(n))$ では BP が起こる。
• Cost Function Dependent Barren Plateaus in Shallow Parametrized Quantum Circuits [2 Jan 2020]
  • BP の発生はコスト関数依存
  • グローバルな観測量の期待値(要全量子ビットの測定)によるコスト→ BP
  • ローカルな観測量の期待値(単一量子ビットの測定の合算で OK)によるコスト → 深さ $O(\log(n))$ ならno-BP
  • 化学計算では Bravyi-Kitaev がローカルなPauli項を導きやすいのでBPを避けやすい
• Large gradients via correlation in random parameterized quantum circuits [25 May 2020]
  • ランダムな初期化をするPQC (RPQC) では BP が発生する。
  • 空間的、時間的に相関のあるゲート層を含む回路モジュールを利用することで BP を軽減・回避できる。
• Layerwise learning for quantum neural networks [26 Jun 2020]
  • 層別学習戦略(最適化の過程で回路の深さを段階的に増加)を用いる → 大きい勾配: BP 回避
  • 2 つのフェーズで訓練する。
    • フェーズ1 (事前訓練):
      • 層の数をsとして、最初はs=2くらいから開始。数エポック訓練して、層をq層追加。この時前の層のパラメータは固定。
    • フェーズ2:
      • 事前訓練結果を元に、より大きな(全体の1/4)区切りでパラメータを切り出して再訓練。
      • パラメータのランダム性が減るので BP を回避しやすくなる。
  • 深いRPQCは初期値によらず似たり寄ったりの期待値を算出: 小さな平均と分散 → BP
  • 2-designはBPの影響を受けやすい
  • 回路が深くなると近似的に2-designになる。
• Noise-Induced Barren Plateaus in Variational Quantum Algorithms [28 Jul 2020]
  • ノイズとBPの関係を見る。脱分極ノイズとPauliノイズを含む局所ノイズモデルを想定。
  • 回路の深さの指数関数で勾配を抑制。
  • ノイズなし想定のBP回避策でも回避できない。
  • 回避策はH/Wのノイズを下げるとか回路を深くしないなど。
• Higher Order Derivatives of Quantum Neural Networks with Barren Plateaus [17 Aug 2020]
  • 高階導関数 (e.g. 2階導関数Hessian)はBP回避に役立つか？ → NO。指数関数精度が必要。
  • BP は高階にまで根深い影響を及ぼす現象
  • よってBPの出現時点でアウトなので、BPの出現を完全に避ける戦略の開発をするほうが良い
• Variational Hamiltonian Diagonalization for Dynamical Quantum Simulation [5 Sep 2020]
  • ハミルトニアンダイナミクスのシミュレーションの効率化
  • ハミルトニアン $H$ のトロッター展開は回路が深くなるので、変分法で近似的に対角化を求めて $\exp(-itH)$ を作る
  • BPが起こらない手法 (ハミルトニアンの局所性による): $W(\theta)$ と $H$ の局所性
  • 対角化については正確には射影演算子の重み付き和ではなく $\bigotimes Z$ の重み付き和。$\bigotimes Z$ の指数化は CNOT ladders で実装できる (文献 [37, 38])。
• Absence of Barren Plateaus in Quantum Convolutional Neural Networks [5 Nov 2020]
  • QCNN は独特なアーキテクチャ: 先行研究の結果が当てはまらない。
  • 導関数の評価は式(9)で通常の回路は、分散部分が指数関数減少 → BP
  • QCNN では分散部分が多項式程度減少 → no-BP
  • QCNN は右の層ほど実質的な量子ビット数が少ない(という意味だと理解した)
• Effect of barren plateaus on gradient-free optimization [24 Nov 2020]
  • BPを数理的に定義
  • 勾配を使う最適化は BP の影響を受ける (Chebyshevの不等式)
  • 勾配を使わない最適化でも BP は解決しない(主結果)
  • 最適化に必要な shots が量子ビット数の指数関数 (指数的精度の要求)

• Layer VQE: A Variational Approach for Combinatorial Optimization on Noisy Quantum Computers [10 Feb 2021]

  • HE ansatzの欠点: 多パラメータで BP の影響を受けやすい。※ オーバラーパラメトライぜーションの話の内容と反対に見えるけどよく分からない。
  • アイデア元の 1 つである層化学習論文の方法は回路深度に応じて訓練過程が遷移する可能性。
  • 従来型の前層収束で層を追加ではなく、一定回数で打ち切って追加。
  • VQEより基底状態を見つけやすそう。ノイズにも比較的頑健そう。

• Beyond Barren Plateaus: Quantum Variational Algorithms Are Swamped With Traps [11 May 2022]

  • 訓練を進めるには問題のサイズに対して指数関数的なクエリが必要
  • 変分回路のオーバーパラメトライゼーションと良い local minima について言及 (文献 [41, 56])。
  • 少なくともパラメータ数がヒルベルト空間 $H$ の次元と共に (指数関数的に) 増えないと訓練可能ではなさそう。
• Laziness, Barren Plateau, and Noise in Machine Learning [19 Jun 2022]
  • 古典NNの勾配消失は連鎖率でどんどん小さな因子が掛け合わさってパラメータ変動が小さくなる動的な性質のもの
  • 量子回路の不毛の台地は量子ビット数、即ちヒルベルト空間の次元数によりパラメータ変動が抑制される静的な性質のもの
  • オーバーパラメトライゼーション (大量パラメータ) 状態であれば、変分回路の角度の訓練が遅くても、沢山の局所最適解が大域最適解に一致するので学習は可能
• On the practical usefulness of the Hardware Efficient Ansatz [2 Nov 2022]
  • HEA を使うべきか否か → VQA では否定的。∵適切な準備が容易。/ QML はまだ可能性あるかも。
  • HEA(主目的:ノイズ低減)は有名かつ悪名高し。元々VQAで提案され、QMLでも使用。
  • 弱点:苦手なタスクあり。深い HEA は表現力が高くて逆に BP の影響を受ける。