Journal of Machine Learning Research Papers: Volume 27の論文一覧

Journal of Machine Learning Research Papers Volume 27に記載されている内容を一覧にまとめ、機械翻訳を交えて日本語化し掲載します。

論文

The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks

The surrogate Gibbs-posterior of a corrected stochastic MALA: Towards uncertainty quantification for neural networks / 補正された確率的MALAの代理ギブス事後分布：ニューラルネットワークの不確実性定量化に向けて

MALA is a popular gradient-based Markov chain Monte Carlo method to access the Gibbs-posterior distribution. Stochastic MALA (sMALA) scales to large data sets, but changes the target distribution from the Gibbs-posterior to a surrogate posterior which only exploits a reduced sample size. We introduce a corrected stochastic MALA (csMALA) with a simple correction term for which distance between the resulting surrogate posterior and the original Gibbs-posterior decreases in the full sample size while retaining scalability. In a nonparametric regression model, we prove a PAC-Bayes oracle inequality for the surrogate posterior. Uncertainties can be quantified by sampling from the surrogate posterior. Focusing on Bayesian neural networks, we analyze the diameter and coverage of credible balls for shallow neural networks and we show optimal contraction rates for deep neural networks. Our credibility result is independent of the correction and can also be applied to the standard Gibbs-posterior. A simulation study in a high-dimensional parameter space demonstrates that an estimator drawn from csMALA based on its surrogate Gibbs-posterior indeed exhibits these advantages in practice.



MALAは、ギブス事後分布にアクセスするための一般的な勾配ベースのマルコフ連鎖モンテカルロ法です。確率的MALA（sMALA）は大規模なデータセットに拡張できますが、ターゲット分布をギブス事後分布から、縮小されたサンプルサイズのみを利用する代理事後分布に変更します。私たちは、スケーラビリティを維持しながら、結果として得られる代理事後分布と元のギブス事後分布の間の距離が完全なサンプルサイズで減少する単純な補正項を持つ補正確率的MALA（csMALA）を紹介します。ノンパラメトリック回帰モデルでは、代理事後分布のPAC-ベイズオラクル不等式を証明します。不確実性は、代理事後分布からサンプリングすることで定量化できます。ベイジアンニューラルネットワークに焦点を当て、浅いニューラルネットワークの信頼できるボールの直径と範囲を分析し、深いニューラルネットワークの最適な収縮率を示します。我々の信頼性結果は補正とは独立しており、標準的なギブス事後分布にも適用できます。高次元パラメータ空間におけるシミュレーション研究は、csMALAからその代理ギブス事後分布に基づいて導出された推定値が、実際にこれらの利点を示すことを実証しています。

Online Detection of Changes in Moment–Based Projections: When to Retrain Deep Learners or Update Portfolios?

Online Detection of Changes in Moment–Based Projections: When to Retrain Deep Learners or Update Portfolios? / モーメントベース射影における変化のオンライン検出：ディープラーナーの再学習とポートフォリオの更新はいつ行うべきか？

Training deep learning neural networks often requires massive amounts of computational ressources. We proposeto sequentially monitor network predictions to trigger retraining only if the predictions are no longer valid. This can reduce drastically computational costs and opens a door to green deep learning. Our approach is based on the relationship to projected second moments monitoring, a problem also arising in other areas such as computational finance. Various open-end as well as closed-end monitoring rules are studied under mild assumptions on the training sample and the observations of the monitoring period. The results allow for high-dimensional non-stationary time series data and thus, especially, non-i.i.d. training data. Asymptotics is based on Gaussian approximations of projected partial sums allowing for an estimated projection vector. Estimation of projection vectors is studied both for classical non-$\ell_0$-sparsity as well as under sparsity. For the case that the optimal projection depends on the unknown covariance matrix, hard- and soft-thresholded estimators are studied. The method is analyzed by simulations and supported by synthetic data experiments.



深層学習ニューラルネットワークの学習には、しばしば膨大な計算資源が必要です。我々は、ネットワーク予測を逐次監視し、予測がもはや有効でなくなった場合にのみ再学習をトリガーすることを提案します。これにより計算コストを大幅に削減し、グリーンな深層学習への道が開かれます。我々のアプローチは、計算金融などの他の分野でも発生する問題である、投影された秒モーメント監視との関係に基づいています。学習サンプルと監視期間の観測値に関する緩やかな仮定の下で、様々なオープンエンドおよびクローズドエンドの監視規則が研究されます。その結果、高次元の非定常時系列データ、特に非独立同値学習データが可能になります。漸近解析は、推定射影ベクトルを許容する射影部分和のガウス近似に基づいています。射影ベクトルの推定は、古典的な非$\ell_0$-スパース性とスパース性の両方について研究されています。最適な射影が未知の共分散行列に依存する場合については、ハード閾値推定値とソフト閾値推定値が研究されています。この手法はシミュレーションによって解析され、合成データ実験によって裏付けられています。

Efficient frequent directions algorithms for approximate decomposition of matrices and higher-order tensors

Efficient frequent directions algorithms for approximate decomposition of matrices and higher-order tensors / 行列と高階テンソルの近似分解のための効率的な頻繁方向アルゴリズム

In the framework of the FD (frequent directions) algorithm, we first develop two efficient algorithms for low-rank matrix approximations under the embedding matrices composed of the product of any SpEmb (sparse embedding) matrix and any standard Gaussian matrix, or any SpEmb matrix and any SRHT (subsampled randomized Hadamard transform) matrix. The theoretical results are also achieved based on the bounds of singular values of standard Gaussian matrices and the theoretical results for SpEmb and SRHT matrices. With a given Tucker-rank, we then obtain several efficient FD-based randomized variants of T-HOSVD (the truncated high-order singular value decomposition) and ST-HOSVD (sequentially T-HOSVD), which are two common algorithms for computing the approximate Tucker decomposition of any tensor with a given Tucker-rank. We also consider efficient FD-based randomized algorithms for computing the approximate TT (tensor-train) decomposition of any tensor with a given TT-rank. Finally, we illustrate the efficiency and accuracy of these algorithms using synthetic and real-world matrix (and tensor) data.



FD（頻繁方向）アルゴリズムの枠組みにおいて、まず、任意のSpEmb（スパース埋め込み）行列と任意の標準ガウス行列、または任意のSpEmb行列と任意のSRHT（部分標本化ランダム化アダマール変換）行列の積で構成される埋め込み行列の下での低ランク行列近似のための2つの効率的なアルゴリズムを開発します。また、標準ガウス行列の特異値の境界と、SpEmb行列およびSRHT行列の理論的結果に基づいて理論的結果も得られます。与えられたタッカーランクを用いて、T-HOSVD（切り捨て高階特異値分解）とST-HOSVD（逐次T-HOSVD）の効率的なFDベースのランダム化変種をいくつか得ることができます。これらは、与えられたタッカーランクを持つ任意のテンソルの近似タッカー分解を計算するための一般的な2つのアルゴリズムです。また、与えられたTTランクを持つ任意のテンソルの近似TT（テンソル列）分解を計算するための効率的なFDベースのランダム化アルゴリズムについても検討します。最後に、合成データと実世界の行列（およびテンソル）データを用いて、これらのアルゴリズムの効率と精度を示します。

Identifying Weight-Variant Latent Causal Models

Identifying Weight-Variant Latent Causal Models / 重み変数潜在因果モデルの識別

The task of causal representation learning aims to uncover latent higher-level causal variables that affect lower-level observations. Identifying the true latent causal variables from observed data, while allowing instantaneous causal relations among latent variables, remains a challenge, however. To this end, we start with the analysis of three intrinsic indeterminacies in identifying latent variables from observations: transitivity, permutation indeterminacy, and scaling indeterminacy. We find that transitivity acts as a key role in impeding the identifiability of latent causal variables. To address the unidentifiable issue due to transitivity, we introduce a novel identifiability condition where the underlying latent causal model satisfies a linear-Gaussian model, in which the causal coefficients and the distribution of Gaussian noise are modulated by an additional observed variable. Under certain assumptions, including the existence of a reference condition under which latent causal influences vanish, we can show that the latent causal variables can be identified up to trivial permutation and scaling, and that partial identifiability results can still be obtained when this reference condition is violated for a subset of latent variables. Furthermore, based on these theoretical results, we propose a novel method, termed Structural caUsAl Variational autoEncoder (SuaVE), which directly learns causal representations and causal relationships among them, together with the mapping from the latent causal variables to the observed ones. Experimental results on synthetic and real data demonstrate the identifiability and consistency results and the efficacy of SuaVE in learning causal representations.



因果表現学習の課題は、低レベルの観測に影響を与える潜在的な高レベルの因果変数を発見することを目指しています。しかしながら、潜在変数間の瞬間的な因果関係を許容しながら、観測データから真の潜在的因果変数を特定することは依然として課題です。この目的のために、我々は観測から潜在変数を特定する際の3つの本質的な不確定性、すなわち推移性、順列不確定性、およびスケーリング不確定性の分析から始めます。その結果、推移性が潜在的因果変数の識別可能性を阻害する上で重要な役割を果たしていることが分かりました。推移性による識別不能な問題に対処するため、我々は、基礎となる潜在的因果モデルが線形ガウスモデルを満たすという新たな識別可能性条件を導入します。この線形ガウスモデルでは、因果係数とガウスノイズの分布が追加の観測変数によって変調されます。潜在的因果的影響が消失する参照条件の存在を含む特定の仮定の下で、潜在的因果変数は自明な順列とスケーリングまで識別可能であり、潜在変数のサブセットでこの参照条件が破られた場合でも部分識別可能性の結果が得られることが示せます。さらに、これらの理論的結果に基づいて、構造的因果変分オートエンコーダ（SuaVE）と呼ばれる新しい手法を提案します。この手法は、因果表現とそれらの間の因果関係、および潜在的因果変数から観測された因果変数へのマッピングを直接学習します。合成データと実データを用いた実験結果は、識別可能性と一貫性の結果、そして因果表現の学習におけるSuaVEの有効性を実証しています。

Classification Under Local Differential Privacy with Model Reversal and Model Averaging

Classification Under Local Differential Privacy with Model Reversal and Model Averaging / モデル反転とモデル平均化を用いた局所差分プライバシー下での分類

Local differential privacy has become a central topic in data privacy research, offering strong privacy guarantees by perturbing user data at the source and removing the need for a trusted curator. However, the noise introduced by local differential privacy often significantly reduces data utility. To address this issue, we reinterpret private learning under local differential privacy as a transfer learning problem, where the noisy data serve as the source domain and the unobserved clean data as the target. We propose novel techniques specifically designed for local differential privacy to improve classification performance without compromising privacy: (1) a noised binary feedback-based evaluation mechanism for estimating dataset utility; (2) model reversal, which salvages underperforming classifiers by inverting their decision boundaries; and (3) model averaging, which assigns weights to multiple reversed classifiers based on their estimated utility. We provide theoretical excess risk bounds under local differential privacy and demonstrate how our methods reduce this risk. Empirical results on both simulated and real-world datasets show substantial improvements in classification accuracy.



ローカル差分プライバシーは、データプライバシー研究の中心的なトピックとなっており、ユーザーデータをソースで撹乱し、信頼できるキュレーターの必要性を排除することで強力なプライバシー保証を提供します。しかし、ローカル差分プライバシーによって導入されるノイズは、多くの場合、データの有用性を大幅に低下させます。この問題に対処するため、我々はローカル差分プライバシー下でのプライバシー学習を転移学習問題として再解釈します。転移学習問題では、ノイズの多いデータがソースドメイン、観測されていないクリーンなデータがターゲットとなります。我々は、プライバシーを損なうことなく分類性能を向上させるため、ローカル差分プライバシー向けに特別に設計された以下の新しい手法を提案します。(1)データセットの有用性を推定するためのノイズ付きバイナリフィードバックベースの評価メカニズム、(2)決定境界を反転することで性能の低い分類器を救済するモデル反転、(3)推定された有用性に基づいて複数の反転分類器に重みを割り当てるモデル平均化。我々は、ローカル差分プライバシー下での理論的な過剰リスク境界を示し、我々の手法がどのようにこのリスクを軽減するかを示す。シミュレートされたデータセットと実際のデータセットの両方で実験した結果、分類精度が大幅に向上した。

Stochastic Gradient Methods: Bias, Stability and Generalization

Stochastic Gradient Methods: Bias, Stability and Generalization / 確率的勾配法：バイアス、安定性、汎化

Recent developments of stochastic optimization often suggest biased gradient estimators to improve either the robustness, communication efficiency or computational speed. Representative biased stochastic gradient methods (BSGMs) include Zeroth-order stochastic gradient descent (SGD), Clipped-SGD and SGD with delayed gradients. The practical success of BSGMs motivates a lot of convergence analysis to explain their impressive training behaviour. As a comparison, there is far less work on their generalization analysis, which is a central topic in modern machine learning. In this paper, we present the first framework to study the stability and generalization of BSGMs for convex and smooth problems. We introduce a generalized Lipschitz-type condition on gradient estimators and bias, under which we develop a rather general stability bound to show how the bias and the gradient estimators affect the stability. We apply our general result to develop the first stability bound for Zeroth-order SGD with reasonable step size sequences, and the first stability bound for Clipped-SGD. While our stability analysis is developed for general BSGMs, the resulting stability bounds for both Zeroth-order SGD and Clipped-SGD match those of SGD under appropriate smoothing/clipping parameters. We combine the stability and convergence analysis together, and derive excess risk bounds of order $O(1/\sqrt{n})$ for both Zeroth-order SGD and Clipped-SGD, where $n$ is the sample size.



確率的最適化の最近の発展は、堅牢性、通信効率、または計算速度のいずれかを向上させるために、バイアス勾配推定器を提案することが多い。代表的なバイアス付き確率的勾配法(BSGM)には、ゼロ次確率的勾配降下法(SGD)、Clipped-SGD、遅延勾配付きSGDなどがあります。BSGMの実用的な成功により、その優れたトレーニング動作を説明する収束解析が盛んに行われています。一方、現代の機械学習の中心的なトピックである一般化解析に関する研究ははるかに少ないです。本稿では、凸問題と滑らかな問題に対するBSGMの安定性と一般化を研究する初のフレームワークを紹介します。勾配推定値とバイアスに関する一般化Lipschitz型条件を導入し、その下で、バイアスと勾配推定値が安定性にどのように影響するかを示すためのかなり一般的な安定性境界を展開します。この一般的な結果を適用して、妥当なステップ サイズ シーケンスによるゼロ次SGDの最初の安定性境界と、Clipped-SGDの最初の安定性境界を展開します。我々の安定性解析は一般的なBSGMを対象に開発されているが、結果として得られるゼロ次SGDとClipped-SGDの安定性境界は、適切な平滑化/クリッピングパラメータを適用したSGDの安定性境界と一致しています。安定性解析と収束解析を組み合わせ、ゼロ次SGDとClipped-SGDの両方について、$O(1/\sqrt{n})$のオーダーの過剰リスク境界を導出します。ここで、$n$はサンプルサイズです。

Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation

Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation / エントロピー正則化による平均場変分推論の拡張：理論と計算

Variational inference (VI) has emerged as a popular method for approximate inference for high-dimensional Bayesian models. In this paper, we propose a novel VI method that extends the naive mean field via entropic regularization, referred to as $\Xi$-variational inference ($\Xi$-VI). $\Xi$-VI has a close connection to the entropic optimal transport problem and benefits from the computationally efficient Sinkhorn algorithm. We show that $\Xi$-variational posteriors effectively recover the true posterior dependency, where the likelihood function is downweighted by a regularization parameter. We analyze the role of dimensionality of the parameter space on the accuracy of $\Xi$-variational approximation and the computational complexity of computing the approximate distribution, providing a rough characterization of the statistical-computational trade-off in $\Xi$-VI, where higher statistical accuracy requires greater computational effort. We also investigate the frequentist properties of $\Xi$-VI and establish results on consistency, asymptotic normality, high-dimensional asymptotics, and algorithmic stability. We provide sufficient criteria for our algorithm to achieve polynomial-time convergence. Finally, we show the inferential benefits of using $\Xi$-VI over mean-field VI and other competing methods, such as normalizing flow, on simulated and real datasets.



変分推論（VI）は、高次元ベイズモデルの近似推論手法として広く普及しています。本稿では、エントロピー正則化を介してナイーブ平均場を拡張する新しいVI手法、$\Xi$変分推論（$\Xi$-VI）を提案します。$\Xi$-VIはエントロピー最適輸送問題と密接な関係があり、計算効率の高いシンクホーンアルゴリズムの恩恵を受ける。$\Xi$変分事後分布は、尤度関数が正則化パラメータによって重み付けを下げられることで、真の事後依存性を効果的に回復することを示す。パラメータ空間の次元が$\Xi$変分近似の精度と近似分布の計算量に及ぼす影響を分析し、統計精度の向上にはより大きな計算量が必要となる$\Xi$-VIにおける統計的・計算的トレードオフの大まかな特徴づけを行う。また、$\Xi$-VIの頻度論的特性を調査し、一貫性、漸近正規性、高次元漸近性、アルゴリズムの安定性に関する結果を確立します。本アルゴリズムが多項式時間収束を達成するための十分な基準を提供します。最後に、シミュレーションおよび実データセットにおいて、平均場VIや正規化フローなどの他の競合手法よりも$\Xi$-VIを使用することの推論上の利点を示す。

skwdro: a library for Wasserstein distributionally robust machine learning

skwdro: a library for Wasserstein distributionally robust machine learning / skwdro：分布的にロバストなWasserstein機械学習用ライブラリ

We present skwdro, a Python library for training robust machine learning models.The library is based on distributionally robust optimization using Wasserstein distances, popular in optimal transport and machine learnings. The goal of the library is to make the training of robust models easier for a wide audience by proposing a wrapper for PyTorch modules, enabling model loss’ robustification with minimal code changes. It comes along with scikit-learn compatible estimators for some popular objectives. The core of the implementation relies on an entropic smoothing of the original robust objective, in order to ensure maximal model flexibility. The library is available at https://github.com/iutzeler/skwdro and the documentation at https://skwdro.readthedocs.io



堅牢な機械学習モデルのトレーニングのためのPythonライブラリであるskwdroを紹介します。このライブラリは、最適輸送および機械学習で人気のあるワッサースタイン距離を用いた分布的に堅牢な最適化に基づいています。このライブラリの目標は、PyTorchモジュールのラッパーを提案し、最小限のコード変更でモデル損失の堅牢化を可能にすることで、幅広いユーザーが堅牢なモデルのトレーニングを容易にすることです。いくつかの一般的な目的関数に対するscikit-learn互換の推定量が付属しています。実装の中核は、モデルの柔軟性を最大限に高めるために、元の堅牢な目的関数のエントロピー平滑化に依存しています。ライブラリはhttps://github.com/iutzeler/skwdroで、ドキュメントはhttps://skwdro.readthedocs.ioで入手できます。

Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent

Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent / スケール勾配降下法による保証付き非凸低ランクテンソル推定

Tensors, which give a faithful and effective representation to deliver the intrinsic structure of multi-dimensional data, play a crucial role in an increasing number of signal processing and machine learning problems. However, tensor data are often accompanied by arbitrary signal corruptions, including missing entries and sparse noise. A fundamental challenge is to reliably extract the meaningful information from corrupted tensor data in a statistically and computationally efficient manner. This paper develops a scaled gradient descent (ScaledGD) algorithm to directly estimate the tensor factors with tailored spectral initializations under the tensor-tensor product (t-product) and tensor singular value decomposition (t-SVD) framework. With tailored variants for tensor robust principal component analysis, (robust) tensor completion and tensor regression, we theoretically show that ScaledGD achieves linear convergence at a constant rate that is independent of the condition number of the ground truth low-rank tensor, while maintaining the low per-iteration cost of gradient descent. To the best of our knowledge, ScaledGD is the first algorithm that provably has such properties for low-rank tensor estimation with the t-SVD. Finally, numerical examples are provided to demonstrate the efficacy of ScaledGD in accelerating the convergence rate of ill-conditioned low-rank tensor estimation in a number of applications.



テンソルは、多次元データの本質的な構造を忠実かつ効果的に表現するものであり、信号処理や機械学習における様々な問題において重要な役割を果たしています。しかし、テンソルデータには、欠落エントリやスパースノイズといった、様々な信号破損が伴うことがよくあります。根本的な課題は、破損したテンソルデータから統計的かつ計算効率の高い方法で、意味のある情報を確実に抽出することです。本論文では、テンソル-テンソル積（t-product）およびテンソル特異値分解（t-SVD）フレームワークに基づき、調整されたスペクトル初期化を用いてテンソル因子を直接推定する、スケールド勾配降下法（ScaledGD）アルゴリズムを開発します。テンソルロバスト主成分分析、（ロバスト）テンソル補完、テンソル回帰といった様々な手法を用いて、ScaledGDが勾配降下法の反復ごとのコストを低く抑えつつ、真の低ランクテンソルの条件数に依存しない一定速度で線形収束を達成することを理論的に示す。我々の知る限り、ScaledGDはt-SVDを用いた低ランクテンソル推定においてこのような特性を証明できる最初のアルゴリズムです。最後に、様々なアプリケーションにおいて、悪条件の低ランクテンソル推定の収束速度を加速するScaledGDの有効性を示す数値例を提示します。

A Data-Augmented Contrastive Learning Approach to Nonparametric Density Estimation

A Data-Augmented Contrastive Learning Approach to Nonparametric Density Estimation / ノンパラメトリック密度推定へのデータ拡張対照学習アプローチ

In this paper, we introduce a data-augmented nonparametric noise contrastive estimation method to density estimation using deep neural networks. By leveraging the idea of contrastive learning, our density estimator exhibits efficiency with a one-step and simulation-free evaluation process, imposes no constraints on the neural network, and is shown to be consistent and asymptotically automatically normalized. A novel data augmentation procedure allows us to mitigate the influence of the choice of reference distribution on our method. Non-asymptotic upper bounds for the expected $L_{2}$-risk and the expected total variation distance have been established, which achieve minimax optimal rates. Moreover, our new method exhibits inherent adaptivity to low dimensional structures of data with a faster convergence rate under a compositional structure assumption. Numerical experiments show the competitiveness of our new method compared with the state-of-the-art nonparametric density estimation methods.



本稿では、ディープニューラルネットワークを用いた密度推定に、データ拡張型ノンパラメトリックノイズ対照推定法を導入します。対照学習の考え方を活用することで、本密度推定法は、ワンステップかつシミュレーション不要の評価プロセスで効率性を示し、ニューラルネットワークに制約を課さず、一貫性があり漸近的に自動的に正規化されることが示されます。新たなデータ拡張手順により、参照分布の選択が本手法に与える影響を軽減することができます。期待$L_{2}$-リスクと期待総変動距離の非漸近的上限が確立されており、これによりミニマックス最適速度が達成されます。さらに、本新手法は、構成構造仮定の下でより高速な収束速度を有し、データの低次元構造に固有の適応性を示す。数値実験は、最先端のノンパラメトリック密度推定法と比較して、本新手法の競争力を示しています。

Nonlocal Techniques for the Analysis of Deep ReLU Neural Network Approximations

Nonlocal Techniques for the Analysis of Deep ReLU Neural Network Approximations / Deep ReLUニューラルネットワーク近似の解析のための非局所的手法

In recent work concerned with the approximation and expressive powers of deep neural networks, Daubechies, DeVore, Foucart, Hanin, and Petrova introduced a system of piecewise linear functions, which can be easily reproduced by artificial neural networks with the ReLU activation function, and showed that it forms a Riesz basis of $L_2([0, 1])$. Their work was subsequently generalized to the multivariate setting by Schneider and Vybíral. In the work at hand, we show that this system serves as a Riesz basis also for Sobolev spaces $W^s([0,1]^d)$ and Barron classes ${\mathbb B}^s([0,1]^d)$ with smoothness $0\lt s\lt 1$. We apply this fact to re-prove some recent results on the approximation of functions from these classes by deep neural networks. Our proof method avoids using local approximations and also allows us to track the implicit constants as well as to show that we can avoid the curse of dimension. Moreover, we also study how well one can approximate Sobolev and Barron functions by neural networks if only function values are known.



深層ニューラルネットワークの近似と表現力に関する最近の研究において、Daubechies、DeVore、Foucart、Hanin、およびPetrovaは、ReLU活性化関数を用いた人工ニューラルネットワークによって容易に再現可能な区分線形関数のシステムを導入し、それが$L_2([0, 1])$のリース基底を形成することを示した。彼らの研究はその後、SchneiderとVybíralによって多変数設定に一般化されました。本研究では、このシステムがソボレフ空間$W^s([0,1]^d)$と滑らかさ$0\lt s\lt 1$を持つバロン類${\mathbb B}^s([0,1]^d)$に対してもリース基底として機能することを示す。この事実を適用して、深層ニューラルネットワークによるこれらのクラスの関数の近似に関する最近の結果をいくつか再証明します。我々の証明法は局所近似の使用を避け、暗黙の定数を追跡するとともに次元の呪いを回避できることを示す。さらに、関数値のみが既知である場合に、ニューラルネットワークによってソボレフ関数とバロン関数をどの程度正確に近似できるかについても検証します。

Nonlinear function-on-function regression by RKHS

Nonlinear function-on-function regression by RKHS / RKHSによる非線形関数対関数回帰

We propose a nonlinear function-on-function regression model where both the covariate and the response are random functions. The nonlinear regression is carried out in two steps: we first construct Hilbert spaces to accommodate the functional covariate and the functional response, and then build a second-layer Hilbert space for the covariate to capture nonlinearity. The second-layer space is assumed to be a reproducing kernel Hilbert space, which is generated by a positive definite kernel determined by the inner product of the first-layer Hilbert space for $X$–this structure is known as the nested Hilbert spaces. We develop estimation procedures to implement the proposed method, which allows the functional data to be observed at different time points for different subjects. Furthermore, we establish the convergence rate of our estimator as well as theweak convergence of the predicted response in the Hilbert space. Numerical studies including both simulations and a data application are conducted to investigate the performance of our estimator in finite sample.



我々は、共変量と応答がともにランダム関数である非線形関数対関数回帰モデルを提案します。この非線形回帰は2段階で実行されます。まず、関数共変量と関数応答を収容するヒルベルト空間を構築し、次に非線形性を捉えるために共変量のための第2層ヒルベルト空間を構築します。第2層空間は、$X$の第1層ヒルベルト空間の内積によって決定される正定値カーネルによって生成される再生カーネルヒルベルト空間であると仮定します。この構造はネストヒルベルト空間として知られています。提案手法を実装するための推定手順を開発し、これにより、異なる被験者について異なる時点で関数データを観測することができます。さらに、ヒルベルト空間における推定値の収束率と予測応答の弱収束性を確立します。有限サンプルにおける推定値の性能を調査するため、シミュレーションとデータ適用の両方を含む数値研究を実施します。

UQLM: A Python Package for Uncertainty Quantification in Large Language Models

UQLM: A Python Package for Uncertainty Quantification in Large Language Models / UQLM: 大規模言語モデルにおける不確実性定量化のためのPythonパッケージ

Hallucinations, defined as instances where Large Language Models (LLMs) generate false or misleading content, pose a significant challenge that impacts the safety and trust of downstream applications. We introduce UQLM, a Python package for LLM hallucination detection using state-of-the-art uncertainty quantification (UQ) techniques. This toolkit offers a suite of UQ-based scorers that compute response-level confidence scores ranging from 0 to 1. This library provides an off-the-shelf solution for UQ-based hallucination detection that can be easily integrated to enhance the reliability of LLM outputs.



幻覚は、大規模言語モデル（LLM）が虚偽または誤解を招くコンテンツを生成するインスタンスとして定義され、下流のアプリケーションの安全性と信頼性に影響を与える重大な課題となります。最先端の不確実性定量化（UQ）技術を用いたLLM幻覚検出用のPythonパッケージであるUQLMを紹介します。このツールキットは、0から1の範囲の応答レベルの信頼度スコアを計算するUQベースのスコアラースイートを提供します。このライブラリは、UQベースの幻覚検出のための既製のソリューションを提供し、簡単に統合してLLM出力の信頼性を高めることができます。

A Reinforcement Learning Approach in Multi-Phase Second-Price Auction Design

A Reinforcement Learning Approach in Multi-Phase Second-Price Auction Design / 多段階セカンドプライスオークション設計における強化学習アプローチ

We study reserve price optimization in multi-phase second price auctions, where the seller’s prior actions affect the bidders’ later valuations through a Markov Decision Process (MDP). Compared to the bandit setting in existing works, the setting in ours involves three challenges.First, from the seller’s perspective, we need to efficiently explore the environment in the presence of potentially untruthful bidders who aim to manipulate the seller’s policy.Second, we want to minimize the seller’s revenue regret when the market noise distribution is unknown. Third, the seller’s per-step revenue is an unknown, nonlinear random variable, and cannot even be directly observed from the environment but realized values.We propose a mechanism addressing all three challenges. To address the first challenge, we use a combination of a new technique named “buffer periods” and inspirations from Reinforcement Learning (RL) with low switching cost to limit bidders’ surplus from untruthful bidding, thereby incentivizing approximately truthful bidding. The second one is tackled by a novel algorithm that removes the need for pure exploration when the market noise distribution is unknown. The third challenge is resolved by an extension of LSVI-UCB, where we use the auction’s underlying structure to control the uncertainty of the revenue function. The three techniques culminate in the \underline{C}ontextual-\underline{L}SVI-\underline{U}CB-\underline{B}uffer (CLUB) algorithm which achieves $\tilde{\mathcal{O}}(H^{5/2}\sqrt{K})$ revenue regret, where $K$ is the number of episodes and $H$ is the length of each episode, when the market noise is known and $\tilde{\mathcal{O}}(H^{3}\sqrt{K})$ revenue regret when the noise is unknown with no assumptions on bidders’ truthfulness.



売り手の以前の行動がマルコフ決定過程（MDP）を通じて入札者のその後の評価に影響を与える、多段階のセカンドプライスオークションにおける最低落札価格の最適化を研究します。既存研究のバンディット設定と比較して、私たちの設定には3つの課題があります。まず、売り手の視点から、売り手のポリシーを操作しようとする潜在的に不正な入札者が存在する環境で、環境を効率的に探索する必要があります。次に、市場ノイズの分布が不明な場合に、売り手の収益後悔を最小限に抑えたいと考えています。3番目に、売り手のステップごとの収益は未知の非線形ランダム変数であり、環境から直接観察することさえできず、実現値となります。私たちは、3つの課題すべてに対処するメカニズムを提案します。最初の課題に対処するために、「バッファ期間」と呼ばれる新しい手法と、スイッチング コストの低い強化学習(RL)からのインスピレーションを組み合わせて、不正な入札による入札者の余剰を制限し、それによってほぼ正直な入札を奨励します。2番目の課題については、市場ノイズの分布が不明な場合に純粋な探索の必要性を排除する新しいアルゴリズムで対処します。3つ目の課題は、LSVI-UCBの拡張によって解決されます。この拡張では、オークションの基礎構造を使用して収益関数の不確実性を制御します。3つの手法は、\underline{C}ontextual-\underline{L}SVI-\underline{U}CB-\underline{B}uffer (CLUB)アルゴリズムに集約されます。このアルゴリズムは、市場ノイズが既知の場合は$\tilde{\mathcal{O}}(H^{5/2}\sqrt{K})$の収益後悔を実現します。ここで、$K$はエピソード数、$H$は各エピソードの長さです。また、入札者の誠実さに関する仮定がなく、ノイズが未知である場合は、$\tilde{\mathcal{O}}(H^{3}\sqrt{K})$の収益後悔を実現します。

Error Analysis for Deep ReLU Feedforward Density-Ratio Estimation with Bregman Divergence

Error Analysis for Deep ReLU Feedforward Density-Ratio Estimation with Bregman Divergence / ブレグマンダイバージェンスを用いたDeep ReLUフィードフォワード密度比推定の誤差分析

We consider the problem of density-ratio estimation using Bregman Divergence with Deep ReLU feedforward neural networks (BDD). We establish non-asymptotic error bounds for BDD density-ratio estimators, which are minimax optimal up to a logarithmic factor when the data distribution has finite support. As an application of our theoretical findings, we propose an estimator for the KL-divergence that is asymptotically normal, leveraging our convergence results for the deep density-ratio estimator and a data-splitting method. We also extend our results to cases with unbounded support and unbounded density ratios. Furthermore, we show that the BDD density-ratio estimator can mitigate the curse of dimensionality when data distributions are supported on an approximately low-dimensional manifold. Our results are applied to investigate the convergence properties of the telescoping density-ratio estimator proposed by Rhodes (2020). We provide sufficient conditions under which it achieves a lower error bound than a single-ratio estimator. Moreover, we conduct simulation studies to validate our main theoretical results and assess the performance of the BDD density-ratio estimator.



Deep ReLUフィードフォワードニューラルネットワーク（BDD）を使用したBregman Divergenceを用いた密度比推定の問題を検討します。データ分布が有限のサポートを持つ場合、対数係数までミニマックス最適となるBDD密度比推定量の非漸近的誤差境界を確立します。理論的発見の応用として、深層密度比推定量とデータ分割法の収束結果を利用して、漸近的に正規なKL情報量の推定量を提案します。また、結果を無制限のサポートと無制限の密度比を持つケースに拡張します。さらに、データ分布が近似的に低次元の多様体でサポートされている場合、BDD密度比推定量は次元の呪いを軽減できることを示す。私たちの結果は、Rhodes (2020)によって提案されたテレスコーピング密度比推定量の収束特性を調査するために適用されます。私たちは、単一比率推定量よりも低い誤差境界を達成するための十分な条件を提供します。さらに、主要な理論的結果を検証し、BDD密度比推定器のパフォーマンスを評価するためのシミュレーション研究を実施します。

Flexible Functional Treatment Effect Estimation

Flexible Functional Treatment Effect Estimation / 柔軟な機能的治療効果推定

We study treatment effect estimation with functional treatments where the average potential outcome functional is a function of functions, in contrast to continuous treatment effect estimation where the target is a function of real numbers. By considering a flexible scalar-on-function marginal structural model, a weight-modified kernel ridge regression (WMKRR) is adopted for estimation. The weights are constructed by directly minimizing the uniform balancing error resulting from a decomposition of the WMKRR estimator, instead of being estimated under a particular treatment selection model. Despite the complex structure of the uniform balancing error derived under WMKRR, finite-dimensional convex algorithms can be applied to efficiently solve for the proposed weights thanks to a representer theorem. The optimal convergence rate is shown to be attainable by the proposed WMKRR estimator without any smoothness assumption on the true weight function. Corresponding empirical performance is demonstrated by a simulation study and a real data application.



我々は、目標が実数の関数である連続的な治療効果推定とは対照的に、平均潜在的結果関数が関数の関数である関数治療による治療効果推定を研究します。柔軟なスカラー・オン・ファンクション周辺構造モデルを考慮することにより、重み修正カーネルリッジ回帰（WMKRR）が推定に採用されます。重みは、特定の治療選択モデルの下で推定されるのではなく、WMKRR推定量の分解から生じる均一バランシング誤差を直接最小化することによって構築されます。WMKRRの下で導出される均一バランシング誤差の複雑な構造にもかかわらず、代表者定理のおかげで、有限次元凸アルゴリズムを適用して提案された重みを効率的に解くことができます。最適な収束率は、真の重み関数にいかなる滑らかさの仮定もなしに、提案されたWMKRR推定量によって達成可能であることが示されています。対応する経験的性能は、シミュレーション研究と実際のデータ適用によって実証されています。

Neural Network Parameter-optimization of Gaussian Pre-marginalized Directed Acyclic Graphs

Neural Network Parameter-optimization of Gaussian Pre-marginalized Directed Acyclic Graphs / ガウス事前周辺化有向非巡回グラフのニューラルネットワークパラメータ最適化

Finding the parameters of a latent variable causal model is central to causal inference and causal identification. In this article, we show that existing graphical structures that are used in causal inference are not stable under marginalization of Gaussian Bayesian networks, and present a graphical structure that faithfully represents margins of Gaussian Bayesian networks. We present the first duality between parameter optimization of a latent variable model and training a feed-forward neural network in the parameter space of the assumed family of distributions. Based on this observation, we develop an algorithm for parameter optimization of these graphical structures using the observational distribution. Then, we provide conditions for causal effect identifiability in the Gaussian setting. We propose a meta-algorithm that checks whether a causal effect is identifiable or not. Moreover, we lay a grounding for generalizing the duality between a neural network and a causal model from the Gaussian to other distributions.



潜在変数因果モデルのパラメータを見つけることは、因果推論と因果同定において中心的な役割を果たします。本稿では、因果推論で使用される既存のグラフィカル構造が、ガウスベイジアンネットワークの周辺化の下では安定しないことを示し、ガウスベイジアンネットワークの周辺を忠実に表現するグラフィカル構造を提示します。潜在変数モデルのパラメータ最適化と、想定される分布族のパラメータ空間におけるフィードフォワードニューラルネットワークのトレーニングとの間に、最初の双対性を示します。この観察に基づいて、観測分布を用いてこれらのグラフィカル構造のパラメータ最適化アルゴリズムを開発します。次に、ガウス分布の設定において因果効果を識別可能であるための条件を示します。因果効果が識別可能かどうかを確認するメタアルゴリズムを提案します。さらに、ニューラルネットワークと因果モデル間の双対性をガウス分布から他の分布に一般化するための基礎を築きます。

Extrapolated Markov Chain Oversampling Method for Imbalanced Text Classification

Extrapolated Markov Chain Oversampling Method for Imbalanced Text Classification / 不均衡テキスト分類のための外挿マルコフ連鎖オーバーサンプリング法

Text classification is the task of automatically assigning text documents correct labels from a predefined set of categories. In real-life (text) classification tasks, observations and misclassification costs are often unevenly distributed between the classes – known as the problem of imbalanced data. Synthetic oversampling is a popular approach to imbalanced classification. The idea is to generate synthetic observations in the minority class to balance the classes in the training set. Many general-purpose oversampling methods can be applied to text data; however, imbalanced text data poses a number of distinctive difficulties that stem from the unique nature of text compared to other domains. One such factor is that when the sample size of text increases, the sample vocabulary (i.e., feature space) is likely to grow as well. We introduce a novel Markov chain based text oversampling method. The transition probabilities are estimated from the minority class but also partly from the majority class, thus allowing the minority feature space to expand in oversampling. We evaluate our approach against prominent oversampling methods and show that our approach is able to produce highly competitive results against the other methods in several real data examples, especially when the imbalance is severe.



テキスト分類とは、事前定義されたカテゴリセットからテキスト文書に正しいラベルを自動的に割り当てるタスクです。実際の（テキスト）分類タスクでは、観測値と誤分類コストがクラス間で不均等に分散していることが多く、これは不均衡データ問題として知られています。合成オーバーサンプリングは、不均衡分類に対する一般的なアプローチです。その考え方は、少数クラスで合成観測値を生成し、トレーニングセット内のクラス間のバランスをとることです。多くの汎用オーバーサンプリング手法をテキストデータに適用できますが、不均衡なテキストデータは、他の領域と比較したテキストの特異な性質に起因する多くの特有の問題を引き起こします。そのような要因の1つは、テキストのサンプルサイズが増加すると、サンプル語彙（すなわち、特徴空間）も増加する可能性があることです。本稿では、マルコフ連鎖に基づく新しいテキストオーバーサンプリング手法を紹介します。遷移確率は少数クラスから推定されますが、一部は多数クラスからも推定されるため、オーバーサンプリングにおいて少数クラスの特徴空間を拡張することができます。我々は、提案手法を主要なオーバーサンプリング手法と比較して評価し、特に不均衡が深刻な場合、いくつかの実データ例において他の手法に対して非常に競争力のある結果を生み出すことができることを示す。

An Anytime Algorithm for Good Arm Identification

An Anytime Algorithm for Good Arm Identification / 良好なアーム識別のためのいつでもアルゴリズム

In good arm identification (GAI), the goal is to identify one arm whose average performance exceeds a given threshold, referred to as a good arm, if it exists. Few works have studied GAI in the fixed-budget setting when the sampling budget is fixed beforehand, or in the anytime setting, when a recommendation can be asked at any time. We propose APGAI, an anytime and parameter-free sampling rule for GAI in stochastic bandits. APGAI can be straightforwardly used in fixed-confidence and fixed-budget settings. First, we derive upper bounds on its probability of error at any time. They show that adaptive strategies can be more efficient in detecting the absence of good arms than uniform sampling in several diverse instances. Second, when APGAI is combined with a stopping rule, we prove upper bounds on the expected sampling complexity, holding at any confidence level. Finally, we show the good empirical performance of APGAI on synthetic and real-world data. Our work offers an extensive overview of the GAI problem in all settings.



良好アーム識別（GAI）における目標は、平均パフォーマンスが所定の閾値を超える1つのアーム（良好アームと呼ばれる）を特定することです。サンプリング予算が事前に固定されている固定予算設定、またはいつでも推奨を尋ねられるいつでも設定でのGAIを研究した研究はほとんどない。我々は、確率的バンディットにおけるGAIのための、いつでもパラメータフリーのサンプリング規則であるAPGAIを提案します。APGAIは、固定信頼度および固定予算設定で直接使用できます。まず、任意の時点における誤り確率の上限を導出します。その結果、適応戦略は、複数の多様なインスタンスにおいて均一サンプリングよりも良好アームの不在を検出するのに効率的であることを示す。次に、APGAIを停止規則と組み合わせた場合、あらゆる信頼度レベルで成立する、予想されるサンプリング複雑度の上限を証明します。最後に、合成データおよび実世界データにおけるAPGAIの良好な経験的性能を示す。本研究は、あらゆる設定におけるGAI問題の広範な概要を提供します。

Simulation-based Calibration of Uncertainty Intervals under Approximate Bayesian Estimation

Simulation-based Calibration of Uncertainty Intervals under Approximate Bayesian Estimation / 近似ベイズ推定における不確実性区間のシミュレーションベースのキャリブレーション

The mean field variational Bayes (VB) algorithm implemented in Stan is relatively fast and efficient, making it feasible to produce model-estimated official statistics on a rapid timeline. Yet, while consistent point estimates of parameters are achieved for continuous data models, the mean field approximation often produces inaccurate uncertainty quantification to the extent that parameters are correlated a posteriori. In this paper, we propose a simulation procedure that calibrates uncertainty intervals for model parameters estimated under approximate algorithms to achieve nominal coverages. Our procedure detects and corrects biased estimation of both first and second moments of approximate marginal posterior distributions induced by any estimation algorithm that produces consistent first moments under specification of the correct model. The method generates replicate data sets using parameters estimated in an initial model run. The model is subsequently re-estimated on each replicate data set, and we use the empirical distribution over the re-samples to formulate calibrated confidence intervals of parameter estimates of the initial model run that are guaranteed to asymptotically achieve nominal coverage. We demonstrate the performance of our procedure in Monte Carlo simulation study and apply it to real data from the Current Employment Statistics survey.



Stanに実装された平均場変分ベイズ（VB）アルゴリズムは比較的高速かつ効率的であり、モデル推定に基づく公式統計量を迅速に生成することが可能になります。しかしながら、連続データモデルではパラメータの一貫した点推定値が得られる一方で、平均場近似は、パラメータが事後的に相関する程度まで不正確な不確実性定量化をもたらすことが多い。本論文では、近似アルゴリズムを用いて推定されたモデルパラメータの不確実性区間を較正し、名義カバレッジを達成するシミュレーション手順を提案します。本手順は、正しいモデルの仕様に基づいて一貫した第一モーメントを生成する推定アルゴリズムによって引き起こされる、近似周辺事後分布の第一モーメントと第二モーメントの両方の偏った推定値を検出し、修正します。この手法は、初期モデル実行で推定されたパラメータを用いて複製データセットを生成します。その後、各複製データセットでモデルを再推定し、再標本における経験分布を用いて、初期モデル実行時のパラメータ推定値の較正済み信頼区間を定式化します。この信頼区間は、漸近的に名目カバレッジを達成することが保証されています。本手法の性能をモンテカルロシミュレーション研究で実証し、これを「雇用統計調査」の実データに適用します。

Learning Bayesian Network Classifiers to Minimize Class Variable Parameters

Learning Bayesian Network Classifiers to Minimize Class Variable Parameters / クラス変数パラメータを最小化するベイジアンネットワーク分類器の学習

This study proposes and evaluates a novel Bayesian network classifier which can asymptotically estimate the true probability distribution of the class variable with the fewest class variable parameters among all structures for which the class variable has no parent. Moreover, to search for an optimal structure of the proposed classifier, we propose (1) a depth-first search based method and (2) an integer programming based method. The proposed methods are guaranteed to obtain the true probability distribution asymptotically while minimizing the number of class variable parameters. Comparative experiments using benchmark datasets demonstrate the effectiveness of the proposed method.



本研究では、クラス変数が親を持たないすべての構造の中で、クラス変数パラメータが最も少ないクラス変数の真の確率分布を漸近的に推定できる、新しいベイジアンネットワーク分類器を提案し、評価します。さらに、提案する分類器の最適な構造を探索するために、(1)深さ優先探索に基づく手法と(2)整数計画法に基づく手法を提案します。提案手法は、クラス変数パラメータの数を最小化しながら、真の確率分布を漸近的に得ることを保証します。ベンチマークデータセットを用いた比較実験は、提案手法の有効性を実証します。

Nonparametric Estimation of a Factorizable Density using Diffusion Models

Nonparametric Estimation of a Factorizable Density using Diffusion Models / 拡散モデルを用いた因数分解可能な密度のノンパラメトリック推定

In recent years, diffusion models, and more generally score-based deep generative models, have achieved remarkable success in various applications, including image and audio generation. In this paper, we view diffusion models as an implicit approach to nonparametric density estimation and study them within a statistical framework to analyze their surprising performance. A key challenge in high-dimensional statistical inference is leveraging low-dimensional structures inherent in the data to mitigate the curse of dimensionality. We assume that the underlying density exhibits a low-dimensional structure by factorizing into low-dimensional components, a property common in examples such as Bayesian networks and Markov random fields. Under suitable assumptions, we demonstrate that an implicit density estimator constructed from diffusion models adapts to the factorization structure and achieves the minimax optimal rate with respect to the total variation distance. In constructing the estimator, we design a sparse weight-sharing neural network architecture, where sparsity and weight-sharing are key features of practical architectures such as convolutional neural networks and recurrent neural networks.



近年、拡散モデル、そしてより一般的にはスコアベースの深層生成モデルは、画像や音声の生成を含む様々なアプリケーションで目覚ましい成功を収めています。本稿では、拡散モデルを非パラメトリック密度推定への暗黙的なアプローチと捉え、統計的枠組みの中でその驚くべき性能を分析します。高次元統計的推論における重要な課題は、データに内在する低次元構造を活用して次元の呪いを軽減することです。我々は、ベイジアンネットワークやマルコフ確率場などの例でよく見られる特性である、低次元成分への因数分解によって基礎密度が低次元構造を示すと仮定します。適切な仮定の下で、拡散モデルから構築された暗黙的な密度推定量が因数分解構造に適応し、総変動距離に関してミニマックス最適速度を達成することを示す。推定量の構築にあたり、我々はスパースな重み共有ニューラルネットワークアーキテクチャを設計します。ここで、スパース性と重み共有は、畳み込みニューラルネットワークやリカレントニューラルネットワークなどの実用的なアーキテクチャの重要な特徴です。

The Distribution of Ridgeless Least Squares Interpolators

The Distribution of Ridgeless Least Squares Interpolators / リッジレス最小二乗補間器の分布

The Ridgeless minimum $\ell_2$-norm interpolator in overparametrized linear regression has attracted considerable attention in recent years in both machine learning and statistics communities. While it seems to defy conventional wisdom that overfitting leads to poor prediction, recent theoretical research on its $\ell_2$-type risks reveals that its norm minimizing property induces an `implicit regularization’ that helps prediction in spite of interpolation.This paper takes a further step that aims at understanding its precise stochastic behavior as a statistical estimator. Specifically, we characterize the distribution of the Ridgeless interpolator in high dimensions, in terms of a Ridge estimator in an associated Gaussian sequence model with positive regularization, which provides a precise quantification of the prescribed implicit regularization in the most general distributional sense. Our distributional characterizations hold for general non-Gaussian random designs and extend uniformly to positively regularized Ridge estimators.As a direct application, we obtain a complete characterization for a general class of weighted $\ell_q$ risks of the Ridge(less) estimators that are previously only known for $q=2$ by random matrix methods. These weighted $\ell_q$ risks not only include the standard prediction and estimation errors, but also include the non-standard covariate shift settings. Our uniform characterizations further reveal a surprising feature of the commonly used generalized and $k$-fold cross-validation schemes: tuning the estimated $\ell_2$ prediction risk by these methods alone lead to simultaneous optimal $\ell_2$ in-sample, prediction and estimation risks, as well as the optimal length of debiased confidence intervals.



過パラメータ化線形回帰におけるリッジレス最小$\ell_2$ノルム補間器は、近年、機械学習と統計学の両方のコミュニティで大きな注目を集めています。過剰適合は予測精度の低下につながるという通説に反するように思われるが、$\ell_2$型リスクに関する最近の理論的研究では、そのノルム最小化特性が「暗黙の正則化」を誘導し、補間にもかかわらず予測精度を向上させることが明らかにされています。本論文では、統計的推定量としてのその正確な確率的挙動を理解することを目指し、さらに一歩踏み込む。具体的には、高次元におけるリッジレス補間量の分布を、正の正則化を伴うガウス系列モデルにおけるリッジ推定量を用いて特徴付ける。このリッジ推定量は、最も一般的な分布的意味で、規定された暗黙の正則化を正確に定量化します。我々の分布的特徴付けは、一般的な非ガウスランダム設計に当てはまり、正の正則化されたリッジ推定量に一様に拡張されます。直接的な応用として、これまでランダム行列法によって$q=2$の場合のみ知られていた、リッジ(レス)推定量の重み付き$\ell_q$リスクの一般的なクラスに対する完全な特徴付けを得る。これらの重み付き$\ell_q$リスクには、標準的な予測誤差と推定誤差だけでなく、非標準的な共変量シフト設定も含まれます。我々の均一な特性評価は、一般的に用いられる一般化クロスバリデーションと$k$分割クロスバリデーションの驚くべき特徴をさらに明らかにします。これらの手法のみで推定された$\ell_2$予測リスクを調整すると、標本内リスク、予測リスク、推定リスク、そしてバイアス除去信頼区間の最適な長さが同時に得られます。

LazyDINO: Fast, Scalable, and Efficiently Amortized Bayesian Inversion via Structure-Exploiting and Surrogate-Driven Measure Transport

LazyDINO: Fast, Scalable, and Efficiently Amortized Bayesian Inversion via Structure-Exploiting and Surrogate-Driven Measure Transport / LazyDINO: 構造利用とサロゲート駆動の測度輸送による高速、スケーラブル、かつ効率的な償却ベイジアン逆変換

We present LazyDINO, a transport map variational inference method for fast, scalable, and efficiently amortized solutions of high-dimensional nonlinear Bayesian inverse problems with expensive parameter-to-observable (PtO) maps. Our method consists of an offline phase, in which we construct a derivative-informed neural surrogate of the PtO map using joint samples of the PtO map and its Jacobian as training data. During the online phase, when given observational data, we rapidly approximate the posterior using surrogate-driven training of a lazy map, i.e., a structure-exploiting transport map with low-dimensional nonlinearity. Our surrogate construction is optimized for amortized Bayesian inversion using lazy map variational inference. We show that (i) the derivative-based reduced basis architecture minimizes an upper bound on the expected error in surrogate posterior approximation, and (ii) the derivative-informed surrogate training minimizes the expected error due to surrogate-driven variational inference. Our numerical results demonstrate that LazyDINO is highly efficient in cost amortization for Bayesian inversion. We observe a reduction of one to two orders of magnitude in offline cost for accurate online posterior approximation, compared to amortized simulation-based inference via conditional transport and to conventional surrogate-driven transport. In particular, LazyDINO consistently outperforms Laplace approximation using fewer than 1000 offline PtO map evaluations, while competing methods struggle and sometimes fail at 16,000 evaluations.



我々は、高次元非線形ベイズ逆問題（パラメータ観測値（PtO）マップを扱う）に対し、高速かつスケーラブルで効率的な償却解を求める輸送マップ変分推論手法LazyDINOを提案します。本手法は、PtOマップとそのヤコビアンを結合したサンプルを学習データとして用い、PtOマップの微分情報に基づくニューラルサロゲートを構築するオフラインフェーズから構成されます。オンラインフェーズでは、観測データが与えられた際に、サロゲート駆動型の遅延マップ（低次元非線形性を持つ構造利用輸送マップ）の学習を用いて事後分布を迅速に近似します。このサロゲート構築は、遅延マップ変分推論を用いた償却ベイズ逆問題に最適化されています。(i)微分ベースの縮小基底アーキテクチャが代理事後近似における期待誤差の上限を最小化し、(ii)微分情報に基づく代理学習が代理駆動変分推論による期待誤差を最小化することを示します。数値結果は、LazyDINOがベイズ逆変換のコスト償却において非常に効率的であることを示しています。条件付きトランスポートを介した償却シミュレーションベースの推論や従来の代理駆動トランスポートと比較して、正確なオンライン事後近似のオフラインコストが1～2桁削減されることが確認できました。特に、LazyDINOは1,000回未満のオフラインPtOマップ評価でラプラス近似よりも一貫して優れた性能を発揮しますが、競合手法は16,000回の評価で苦戦し、失敗することもあります。

A Common Interface for Automatic Differentiation

A Common Interface for Automatic Differentiation / 自動微分のための共通インターフェース

For scientific machine learning tasks with a lot of custom code, picking the right Automatic Differentiation (AD) system matters. Our Julia package DifferentiationInterface.jl provides a common frontend to a dozen AD backends, unlocking easy comparison and modular development. In particular, its built-in preparation mechanism leverages the strengths of each backend by amortizing one-time computations. This is key to enabling sophisticated features like sparsity handling without putting additional burdens on the user.



カスタムコードを多く含む科学的機械学習タスクでは、適切な自動微分(AD)システムを選択することが重要です。JuliaパッケージDifferentiationInterface.jlは、12種類のADバックエンドに共通のフロントエンドを提供し、容易な比較とモジュール開発を可能にします。特に、組み込みの準備メカニズムは、1回限りの計算を償却することで各バックエンドの長所を活用します。これは、ユーザーに追加の負担をかけることなく、スパース性処理などの高度な機能を実現するための鍵となります。

Refined Risk Bounds for Unbounded Losses via Transductive Priors

Refined Risk Bounds for Unbounded Losses via Transductive Priors / トランスダクティブ事前分布を用いた無制限損失のリスク境界の精緻化

We revisit the sequential variants of linear regression with the squared loss, classification problems with hinge loss, and logistic regression, all characterized by unbounded losses in the setup where no assumptions are made on the magnitude of design vectors and the norm of the optimal vector of parameters. The key distinction from existing results lies in our assumption that the set of design vectors is known in advance (though their order is not), a setup sometimes referred to as transductive online learning. While this assumption might seem similar to fixed design regression or denoising, we demonstrate that the sequential nature of our algorithms allows us to convert our bounds into statistical ones with random design without making any additional assumptions about the distribution of the design vectors-an impossibility for standard denoising results. Our key tools are based on the exponential weights algorithm with carefully chosen transductive (design-dependent) priors, which exploit the full horizon of the design vectors, as well as additional aggregation tools that address the possibly unbounded norm of the vector of the optimal solution.Our classification regret bounds have a feature that is only attributed to bounded losses in the literature: they depend solely on the dimension of the parameter space and on the number of rounds, independent of the design vectors or the norm of the optimal solution. For linear regression with squared loss, we further extend our analysis to the sparse case, providing sparsity regret bounds that depend additionally only on the magnitude of the response variables. We argue that these improved bounds are specific to the transductive setting and unattainable in the worst-case sequential setup.Our algorithms, in several cases, have polynomial-time approximations and reduce to sampling with respect to log-concave measures instead of aggregating over hard-to-construct epsilon-covers of classes.



二乗損失を伴う線形回帰のシーケンシャルバリアント、ヒンジ損失を伴う分類問題、ロジスティック回帰を再検討します。これらはすべて、設計ベクトルの大きさと最適なパラメータベクトルのノルムについて仮定を設けない設定において、無制限の損失を特徴とします。既存の結果との主な違いは、設計ベクトルのセットが事前にわかっている（ただし、順序はわからない）という仮定にあります。この設定は、トランスダクティブオンライン学習と呼ばれることもあります。この仮定は固定設計回帰やノイズ除去に似ているように見えるかもしれませんが、本アルゴリズムの逐次的な性質により、設計ベクトルの分布に関する追加の仮定を立てることなく、境界をランダム設計による統計的な境界に変換できることを実証します。これは標準的なノイズ除去結果では不可能なことです。主要ツールは、設計ベクトルの全範囲を活用する、慎重に選択されたトランスダクティブ（設計依存）事前分布を用いた指数重みアルゴリズムと、最適解のベクトルのノルムが非有界である可能性に対処する追加の集約ツールに基づいています。本分類リグレット境界には、文献では有界損失にのみ関連付けられている特徴があります。それは、パラメータ空間の次元とラウンド数のみに依存し、設計ベクトルや最適解のノルムとは独立しているということです。損失を2乗した線形回帰については、スパースケースに分析をさらに拡張し、応答変数の大きさのみにも依存するスパースリグレット境界を提供します。私たちは、これらの改善された境界はトランスダクティブ設定に特有のものであり、最悪の場合の順次設定では達成できないと主張します。私たちのアルゴリズムは、いくつかのケースで多項式時間の近似を持ち、構築が難しいクラスのイプシロンカバーにわたって集約するのではなく、対数凹測度に関するサンプリングに簡略化されます。

Decorrelated Local Linear Estimator: Inference for Non-linear Effects in High-dimensional Additive Models

Decorrelated Local Linear Estimator: Inference for Non-linear Effects in High-dimensional Additive Models / 無相関局所線形推定量: 高次元加法モデルにおける非線形効果の推論

Additive models play an essential role in studying non-linear relationships. Despite many recent advances in estimation, there is a lack of methods and theories for inference in high-dimensional additive models, including confidence interval construction and hypothesis testing. Motivated by inference for non-linear treatment effects, we consider the high-dimensional additive model and make inferences for the function derivative. We propose a novel decorrelated local linear estimator and establish its asymptotic normality. The main novelty is the construction of the decorrelation weights, which is instrumental in reducing the error inherited from estimating the nuisance functions in the high-dimensional additive model. We construct the confidence interval for the function derivative and conduct the related hypothesis testing. We demonstrate our proposed method over large-scale simulation studies and apply it to identify non-linear effects in the motif regression problem. Our proposed method is implemented in the R package DLL available from CRAN.



加法モデルは、非線形関係の研究において重要な役割を果たします。近年、推定法は大きく進歩していますが、高次元加法モデルにおける推論、特に信頼区間の構築や仮説検定といった手法や理論は未だ確立されていません。非線形治療効果の推論を目的として、本研究では高次元加法モデルを考察し、関数微分について推論を行います。本研究では、新たな非相関局所線形推定量を提案し、その漸近正規性を確立します。主な新規性は、高次元加法モデルにおけるニューサンス関数の推定から生じる誤差を低減する上で有効な、非相関重みの構築にあります。本研究では、関数微分の信頼区間を構築し、関連する仮説検定を実施します。提案手法を大規模シミュレーション研究で実証し、モチーフ回帰問題における非線形効果の特定に適用します。提案手法は、CRANから入手可能なRパッケージDLLに実装されています。

Communication-efficient Distributed Statistical Inference for Massive Data with Heterogeneous Auxiliary Information

Communication-efficient Distributed Statistical Inference for Massive Data with Heterogeneous Auxiliary Information / 異質な補助情報を持つ大規模データに対する通信効率の高い分散統計推論

Heterogeneous auxiliary information commonly arises in big data due to diverse study settings and privacy constraints. Excluding such indirect evidence often results in a substantial loss of statistical inference efficiency. This article proposes a novel framework for integrating a mixture of individual-level data and multiple external heterogeneous summary statistics by multiplying likelihood functions and confidence densities. Theoretically, we show that the proposed method possesses desirable properties and can achieve statistical efficiency comparable to that of the individual participant data (IPD) estimator, which uses all available individual-level data. Furthermore, we develop a communication-efficient distributed inference procedure for massive datasets with heterogeneous auxiliary information. We demonstrate that the proposed iterative algorithm achieves linear convergence under general conditions or generalized linear models. Finally, extensive simulations and real data applications are conducted to illustrate the performance of the proposed methods.



ビッグデータでは、多様な研究設定やプライバシー制約により、異質な補助情報が一般的に発生します。このような間接的な証拠を除外すると、統計的推論の効率が大幅に低下することがよくあります。本稿では、尤度関数と信頼密度を乗算することにより、個人レベルのデータと複数の外部の異種要約統計量の混合物を統合するための新しいフレームワークを提案します。理論的には、提案手法が望ましい特性を備え、利用可能なすべての個人レベルのデータを使用する個人参加者データ（IPD）推定量に匹敵する統計効率を達成できることを示します。さらに、異種の補助情報を含む大規模データセットに対して、通信効率の高い分散推論手順を開発します。提案する反復アルゴリズムは、一般的な条件または一般化線形モデルの下で線形収束を達成することを実証します。最後に、提案手法の性能を示すために、広範なシミュレーションと実際のデータへの適用を実施します。

Generative Bayesian Inference with GANs

Generative Bayesian Inference with GANs / GANを用いた生成ベイジアン推論

In the absence of explicit or tractable likelihoods, Bayesians often resort to approximate Bayesian computation (ABC) for inference. Our work bridges ABC with deep neural implicit samplers based on generative adversarial networks (GANs) and adversarial variational Bayes. Both ABC and GANs compare aspects of observed and fake data to simulate from posteriors and likelihoods, respectively. We develop a Bayesian GAN (B-GAN) sampler that directly targets the posterior by solving an adversarial optimization problem. B-GAN is driven by a deterministic mapping learned on the ABC reference by conditional GANs.Once the mapping has been trained, iid posterior samples are obtained by filtering noise at a negligible additional cost. We propose two post-processing local refinements using (1) data-driven proposals with importance reweighting, and (2) variational Bayes. We support our findings with frequentist-Bayesian results, showing that the typical total variation distance between the true and approximate posteriors converges to zero for certain neural network generators and discriminators. Our findings on simulated data show highly competitive performance relative to some of the most recent likelihood-free posterior simulators.



明示的または扱いやすい尤度がない場合、ベイズ主義者は推論のために近似ベイズ計算（ABC）に頼ることがよくあります。本研究では、ABCと、生成的敵対ネットワーク（GAN）および敵対的変分ベイズに基づくディープニューラル暗黙的サンプラーを橋渡しします。ABCとGANはどちらも、観測データと偽データの側面を比較し、それぞれ事後分布と尤度からシミュレートします。我々は、敵対的最適化問題を解決することで事後分布を直接ターゲットとするベイジアンGAN（B-GAN）サンプラーを開発しました。B-GANは、条件付きGANによってABC参照で学習された決定論的マッピングによって駆動されます。マッピングがトレーニングされると、わずかな追加コストでノイズをフィルタリングすることで、iid事後分布サンプルが得られます。我々は、（1）重要度の再重み付けを伴うデータ駆動型提案、および（2）変分ベイズを使用した2つの後処理ローカル改良を提案します。我々は、頻度主義ベイジアンの結果によって調査結果を裏付け、特定のニューラルネットワークジェネレーターと識別器について、真の事後分布と近似事後分布間の典型的な総変動距離がゼロに収束することを示しました。シミュレートされたデータに関する調査結果は、最新の尤度フリー事後分布シミュレータのいくつかと比較して、非常に競争力のあるパフォーマンスを示しています。

Exploring Novel Uncertainty Quantification through Forward Intensity Function Modeling

Exploring Novel Uncertainty Quantification through Forward Intensity Function Modeling / 順方向強度関数モデリングによる新たな不確実性定量化の探求

Predicting future time-to-event outcomes is a foundational task in statistical learning. While various methods exist for generating point predictions, quantifying the associated uncertainties poses a more substantial challenge. In this study, we introduce an innovative approach specifically designed to address this challenge, accommodating dynamic predictors that may manifest as stochastic processes. Our investigation harnesses the forward intensity function in a novel way, providing a fresh perspective on this intricate problem. The framework we propose demonstrates remarkable computational efficiency, enabling efficient analyses of large-scale investigations. We validate its soundness with theoretical guarantees, and our in-depth analysis establishes the weak convergence of function-valued parameter estimations. We illustrate the effectiveness of our framework with two comprehensive real examples and extensive simulation studies.



将来の事象発生までの時間を予測することは、統計学習における基礎的な課題です。点予測を生成するための様々な手法が存在しますが、関連する不確実性を定量化することは、より大きな課題となります。本研究では、この課題に対処するために特別に設計された革新的なアプローチを導入し、確率過程として現れる可能性のある動的な予測変数に対応します。本研究では、前向き強度関数を新たな方法で利用することで、この複雑な問題に新たな視点を提供します。提案するフレームワークは、優れた計算効率を示し、大規模な調査の効率的な分析を可能にします。その健全性は理論的な保証によって検証され、詳細な分析によって関数値パラメータ推定の弱収束が確立されます。2つの包括的な実例と広範なシミュレーション研究を用いて、このフレームワークの有効性を示します。

Persistence Diagrams Estimation of Multivariate Piecewise Hölder-continuous Signals

Persistence Diagrams Estimation of Multivariate Piecewise Hölder-continuous Signals / 多変量区分ヘルダー連続信号のパーシスタンス図推定

To our knowledge, the analysis of convergence rates for persistence diagrams estimation from noisy signals has predominantly relied on lifting signal estimation results through sup-norm (or other functional norm) stability theorems. We believe that moving forward from this approach can lead to considerable gains. We illustrate it in the setting of nonparametric regression. From a minimax perspective, we examine the inference of persistence diagrams (for the sublevel sets filtration). We show that for piecewise Hölder-continuous functions, with control over the reach of the set of discontinuities, taking the persistence diagram coming from a simple histogram estimator of the signal permits achieving the minimax rates known for Hölder-continuous functions. The key novelty lies in our use of algebraic stability instead of sup-norm stability, directly targeting the bottleneck distance through the underlying interleaving. This allows us to incorporate deformation retractions of sublevel sets to accommodate boundary discontinuities that cannot be handled by sup-norm based stability analyses.



私たちの知る限り、ノイズの多い信号からのパーシスタンス図推定の収束率の分析は、主に、ノルム超（またはその他の関数ノルム）安定性定理を用いて信号推定結果をリフティングすることに頼ってきました。このアプローチから前進することで、大きな成果が得られると考えています。これをノンパラメトリック回帰の設定で説明します。ミニマックスの観点から、パーシスタンス図（サブレベルセットのフィルタリング用）の推論を検討します。区分ヘルダー連続関数において、不連続点の到達範囲を制御しながら、信号の単純なヒストグラム推定値からパーシスタンス図を得ることで、ヘルダー連続関数で知られているミニマックス率を達成できることを示す。重要な新規性は、超ノルム安定性ではなく代数的安定性を用い、基礎となるインターリーブを通してボトルネック距離を直接ターゲットにしている点にあります。これにより、超ノルムベースの安定性解析では扱えない境界不連続点に対応するために、サブレベルセットの変形後退を組み込むことができます。

CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration

CHANI: Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration / CHANI: 生物に着想を得たニューロンの相関に基づくHawkes集約

The present work aims at proving mathematically that a neural network inspired by biology can learn a classification task thanks to local transformations only. In this purpose, we propose a spiking neural network named CHANI (Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration), whose neurons activity is modeled by Hawkes processes. Synaptic weights are updated thanks to an expert aggregation algorithm, providing a local and simple learning rule. We were able to prove that our network can learn on average and asymptotically. Moreover, we demonstrated that it automatically produces neuronal assemblies in the sense that the network can encode several classes and that a same neuron in the intermediate layers might be activated by more than one class, and we provided numerical simulations on synthetic datasets. This theoretical approach contrasts with the traditional empirical validation of biologically inspired networks and paves the way for understanding how local learning rules enable neurons to form assemblies able to represent complex concepts.



本研究の目的は、生物学に着想を得たニューラルネットワークが、局所的な変換のみによって分類タスクを学習できることを数学的に証明することです。この目的のため、我々はCHANI（Correlation-based Hawkes Aggregation of Neurons with bio-Inspiration）という名のスパイキングニューラルネットワークを提案します。このネットワークのニューロン活動はHawkes過程によってモデル化されます。シナプス荷重は、局所的かつシンプルな学習規則を提供するエキスパート集約アルゴリズムによって更新されます。我々は、このネットワークが平均的かつ漸近的に学習できることを証明できた。さらに、ネットワークが複数のクラスをエンコードでき、中間層の同じニューロンが複数のクラスによって活性化される可能性があるという意味で、ニューロンアセンブリを自動的に生成することを実証し、合成データセットを用いた数値シミュレーションを提供した。この理論的アプローチは、生物学的に着想を得たネットワークの従来の経験的検証とは対照的であり、局所的な学習規則によってニューロンが複雑な概念を表現できるアセンブリを形成できるようにする仕組みを理解するための道を開くものです。

Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection

Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection / ガウス過程の混合体としての有限ニューラルネットワーク：証明可能な誤差限界から事前選択へ

Infinitely wide or deep neural networks (NNs) with independent and identically distributed (i.i.d.) parameters have been shown to be equivalent to Gaussian processes. Because of the favorable properties of Gaussian processes, this equivalence is commonly employed to analyze neural networks and has led to various breakthroughs over the years. However, neural networks and Gaussian processes are equivalent only in the limit; in the finite case there are currently no methods available to approximate a trained neural network with a Gaussian model with bounds on the approximation error. In this work, we present an algorithmic framework to approximate a neural network of finite width and depth, and with not necessarily i.i.d. parameters, with a mixture of Gaussian processes with bounds on the approximation error. In particular, we consider the Wasserstein distance to quantify the closeness between probabilistic models and, by relying on tools from optimal transport and Gaussian processes, we iteratively approximate the output distribution of each layer of the neural network as a mixture of Gaussian processes. Crucially, for any NN and $\epsilon >0$ our approach is able to return a mixture of Gaussian processes that is $\epsilon$-close to the NN at a finite set of input points. Furthermore, we rely on the differentiability of the resulting error bound to show how our approach can be employed to tune the parameters of a NN to mimic the functional behavior of a given Gaussian process, e.g., for prior selection in the context of Bayesian inference. We empirically investigate the effectiveness of our results on both regression and classification problems with various neural network architectures. Our experiments highlight how our results can represent an important step towards understanding neural network predictions and formally quantifying their uncertainty.



独立かつ同一に分布する（i.i.d.）パラメータを持つ、無限に広く深いニューラルネットワーク（NN）は、ガウス過程と等価であることが示されています。ガウス過程の好ましい特性のため、この等価性はニューラルネットワークの解析に広く用いられ、長年にわたり様々なブレークスルーをもたらしてきました。しかし、ニューラルネットワークとガウス過程は極限においてのみ等価であり、有限の場合、近似誤差に境界を持つガウスモデルで訓練済みニューラルネットワークを近似する方法は現在のところ存在しません。本研究では、有限の幅と深さを持ち、必ずしもi.i.d.パラメータを持たないニューラルネットワークを、近似誤差に境界を持つガウス過程の混合で近似するアルゴリズムフレームワークを提示します。特に、確率モデル間の近似度を定量化するためにワッサースタイン距離を考慮し、最適輸送過程とガウス過程のツールを用いて、ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似します。重要な点は、任意のニューラルネットワークと$\epsilon >0$に対して、本手法は有限の入力点集合においてニューラルネットワークに$\epsilon$近似するガウス過程の混合を返すことができることです。さらに、得られた誤差境界の微分可能性を用いて、本手法を用いてニューラルネットワークのパラメータを調整し、例えばベイズ推論における事前選択など、特定のガウス過程の機能的挙動を模倣する方法を示す。様々なニューラルネットワークアーキテクチャを用いて、回帰問題と分類問題の両方において、本研究結果の有効性を実証的に検証します。本実験は、本研究結果がニューラルネットワーク予測の理解とその不確実性の形式的定量化に向けた重要な一歩となり得ることを示しています。

Optimization and Generalization of Gradient Descent for Shallow ReLU Networks with Minimal Width

Optimization and Generalization of Gradient Descent for Shallow ReLU Networks with Minimal Width / 最小幅の浅いReLUネットワークに対する勾配降下法の最適化と一般化

Understanding the generalization and optimization of neural networks is a longstanding problem in modern learning theory. The prior analysis often leads to risk bounds of order $1/\sqrt{n}$ for ReLU networks, where $n$ is the sample size. In this paper, we present a general optimization and generalization analysis for gradient descent applied to shallow ReLU networks. We develop convergence rates of the order $1/T$ for gradient descent with $T$ iterations, and show that the gradient descent iterates fall inside local balls around either an initialization point or a reference point. Then we develop improved Rademacher complexity estimates by using the activation pattern of the ReLU function in these local balls. We apply our general result to NTK-separable data with a margin $\gamma$, and develop an almost optimal risk bound of the order $1/(n\gamma^2)$ for the ReLU network with a polylogarithmic width.



ニューラルネットワークの一般化と最適化を理解することは、現代学習理論における長年の課題です。事前分析では、ReLUネットワークのリスク境界はしばしば$1/\sqrt{n}$オーダーに導かれる（ここで$n$はサンプルサイズ）。本論文では、浅いReLUネットワークに適用される勾配降下法の一般的な最適化および一般化分析を提示します。$T$回の反復を伴う勾配降下法の収束速度が$1/T$オーダーであることを明らかにし、勾配降下法の反復が初期化点または参照点の周囲の局所球内に収まることを示す。次に、これらの局所球におけるReLU関数の活性化パターンを用いることで、改良されたRademacher複雑度推定値を開発します。この一般的な結果を、マージン$\gamma$を持つNTK分離可能なデータに適用し、多重対数幅を持つReLUネットワークのほぼ最適なリスク境界を$1/(n\gamma^2)$オーダーで開発します。

Adaptive Forward Stepwise: A Method for High Sparsity Regression

Adaptive Forward Stepwise: A Method for High Sparsity Regression / 適応的前向きステップワイズ法：高スパース回帰のための手法

This paper proposes a sparse regression method that continuously interpolates between Forward Stepwise selection (FS) and the LASSO. When tuned appropriately, our solutions are much sparser than typical LASSO fits but, unlike FS fits, benefit from the stabilizing effect of shrinkage. Our method, Adaptive Forward Stepwise Regression (AFS) addresses the need for sparser models with shrinkage. We show its connection with boosting via a soft-thresholding viewpoint and demonstrate the ease of adapting the method to classification tasks. In both simulations and real data, our method has lower mean squared error and fewer selected features across multiple settings compared to popular sparse modeling procedures.



本論文では、前向きステップワイズ選択法（FS）とLASSOを連続的に補間するスパース回帰法を提案します。適切に調整することで、本手法は典型的なLASSOフィッティングよりもはるかにスパース性が高くなるが、FSフィッティングとは異なり、シュリンクによる安定化効果の恩恵を受ける。本手法である適応型前向きステップワイズ回帰法（AFS）は、シュリンクを伴うよりスパースなモデルの必要性に応える。ソフト閾値の観点からブースティングとの関連性を示し、本手法が分類タスクに容易に適応できることを実証します。シミュレーションと実データの両方において、本手法は一般的なスパースモデリング手法と比較して、平均二乗誤差が低く、複数の設定において選択される特徴量が少ないことが示されました。

Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection

Optimizing Attention with Mirror Descent: Generalized Max-Margin Token Selection / ミラー降下法によるアテンションの最適化：一般化最大マージントークン選択

Attention mechanisms have revolutionized several domains of artificial intelligence, such as natural language processing and computer vision, by enabling models to selectively focus on relevant parts of the input data. While recent work has characterized the optimization dynamics of gradient descent (GD) in attention-based models and the structural properties of its preferred solutions, less is known about more general optimization algorithms such as mirror descent (MD). In this paper, we investigate the convergence properties and implicit biases of a family of MD algorithms tailored for softmax attention mechanisms, with the potential function chosen as the $p$-th power of the $\ell_p$-norm. Specifically, we show that these algorithms converge in direction to a generalized hard-margin SVM with an $\ell_p$-norm objective when applied to a classification problem using a softmax attention model. Notably, our theoretical results reveal that the convergence rate is comparable to that of traditional GD in simpler models, despite the highly nonlinear and nonconvex nature of the present problem. Additionally, we delve into the joint optimization dynamics of the key-query matrix and the decoder, establishing conditions under which this complex joint optimization converges to their respective hard-margin SVM solutions. Lastly, our numerical experiments on real data demonstrate that MD algorithms improve generalization over standard GD and excel in optimal token selection.



注意メカニズムは、モデルが入力データの関連部分に選択的に焦点を絞ることを可能にすることで、自然言語処理やコンピュータビジョンといった人工知能のいくつかの領域に革命をもたらしました。近年の研究では、注意ベースモデルにおける勾配降下法（GD）の最適化ダイナミクスとその推奨解の構造的特性が明らかにされていますが、ミラー降下法（MD）のようなより一般的な最適化アルゴリズムについてはあまり知られていません。本論文では、ポテンシャル関数として$\ell_p$ノルムの$p$乗を選択した、ソフトマックス注意メカニズム向けに調整されたMDアルゴリズム群の収束特性と暗黙的なバイアスを調査します。具体的には、これらのアルゴリズムをソフトマックス注意モデルを用いた分類問題に適用した場合、$\ell_p$ノルムを目的関数とする一般化ハードマージンSVMへと収束することを示す。特に、本問題が高度に非線形かつ非凸であるにもかかわらず、我々の理論的結果は、より単純なモデルにおいて、収束率が従来のGDと同等であることを示しています。さらに、キークエリ行列とデコーダーの同時最適化ダイナミクスを詳細に検討し、この複雑な同時最適化がそれぞれのハードマージンSVM解に収束する条件を確立します。最後に、実データを用いた数値実験により、MDアルゴリズムは標準的なGDよりも汎化性能が向上し、最適なトークン選択に優れていることが実証されました。

Hierarchical Causal Models

Hierarchical Causal Models / 階層的因果モデル

Causal questions often arise in settings where data are hierarchical: subunits are nested within units. Consider students in schools, cells in patients, or cities in states. In these settings, unit-level variables (e.g., a school’s budget) may affect subunit-level outcomes (e.g., student test scores), and subunit-level characteristics may aggregate to influence unit-level outcomes. In this paper, we show how to analyze hierarchical data for causal inference. We introduce hierarchical causal models, which extend structural causal models and graphical models by incorporating inner plates to represent nested data structures. We develop a graphical identification technique for these models that generalizes do-calculus. We show that hierarchical data can enable causal identification even when it would be impossible with non-hierarchical data–for example, when only unit-level summaries are available. We develop estimation strategies, including using hierarchical Bayesian models. We illustrate our results in simulation and through a reanalysis of the classic “eight schools” study.



因果関係に関する疑問は、データが階層的である設定でしばしば生じます。つまり、サブユニットはユニット内にネストされています。学校の生徒、患者の細胞、州の都市などを考えてみましょう。このような設定では、ユニットレベルの変数（例：学校の予算）がサブユニットレベルの結果（例：生徒のテストの点数）に影響を与える可能性があり、サブユニットレベルの特性が集約されてユニットレベルの結果に影響を与える可能性があります。本稿では、階層データを分析して因果推論を行う方法を示します。階層型因果モデルを紹介します。これは、ネストされたデータ構造を表現するために内部プレートを組み込むことで、構造因果モデルとグラフィカルモデルを拡張したものです。我々は、これらのモデルに対し、do計算を一般化するグラフィカル識別手法を開発します。階層型データを用いることで、非階層型データでは不可能な場合（例えば、単位レベルの要約しか利用できない場合）でも因果関係の識別が可能となることを示す。階層型ベイズモデルを用いた推定戦略も開発します。シミュレーションと、古典的な「8つの流派」研究の再分析によって、我々の結果を示す。

Reparameterized Complex-valued Neurons Can Efficiently Learn More than Real-valued Neurons via Gradient Descent

Reparameterized Complex-valued Neurons Can Efficiently Learn More than Real-valued Neurons via Gradient Descent / 再パラメータ化された複素数値ニューロンは、勾配降下法によって実数値ニューロンよりも効率的に学習できる

Complex-valued neural networks potentially possess better representations and performance than real-valued counterparts when dealing with some complicated tasks such as acoustic analysis, radar image classification, etc. Despite empirical successes, it remains unknown theoretically when and to what extent complex-valued neural networks outperform real-valued ones. We take one step in this direction by comparing the learnability of real-valued neurons and complex-valued neurons via gradient descent. We theoretically show that a complex-valued neuron can learn functions expressed by any one real-valued neuron and any one complex-valued neuron with convergence rates $O(t^{-3})$ and $O(t^{-1})$ where $t$ is the iteration index of gradient descent, respectively, whereas a two-layer real-valued neural network with finite width cannot learn a single non-degenerate complex-valued neuron. We prove that a complex-valued neuron learns a real-valued neuron with rate $\Omega (t^{-3})$, exponentially slower than the linear convergence rate of learning one real-valued neuron using a real-valued neuron. We then reparameterize the phase parameter of the complex-valued neuron and prove that a reparameterized complex-valued neuron can efficiently learn a real-valued neuron with a linear convergence rate. We further verify and extend these results via simulation experiments in more general settings.



複素値ニューラルネットワークは、音響解析、レーダー画像分類といった複雑なタスクを扱う際に、実数値ニューラルネットワークよりも優れた表現力と性能を持つ可能性があります。実験的な成功例があるにもかかわらず、複素値ニューラルネットワークが実数値ニューラルネットワークをどの程度、そしていつ、どのように凌駕するのかは理論的には未解明です。我々は、勾配降下法を用いて実数値ニューロンと複素値ニューロンの学習可能性を比較することで、この方向への一歩を踏み出す。我々は、複素ニューロンが、任意の1つの実数ニューロンと任意の1つの複素ニューロンで表される関数を、それぞれ収束速度$O(t^{-3})$と$O(t^{-1})$で学習できることを理論的に示す。ここで、$t$は勾配降下法の反復インデックスです。一方、有限幅の2層実数ニューラルネットワークは、単一の非退化複素ニューロンを学習することはできない。我々は、複素ニューロンが実数ニューロンを、実数ニューロンを用いて1つの実数ニューロンを学習する場合の線形収束速度よりも指数的に遅い速度$\Omega (t^{-3})$で学習することを証明した。次に、複素ニューロンの位相パラメータを再パラメータ化し、再パラメータ化された複素ニューロンが線形収束速度で実数ニューロンを効率的に学習できることを証明します。我々は、より一般的な設定でのシミュレーション実験により、これらの結果をさらに検証し、拡張します。

Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization

Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization / 非負直交制約付き正則化最小化による教師なし特徴選択

Unsupervised feature selection has drawn wide attention in the era of big data, since it serves as a fundamental technique for dimensionality reduction. However, many existing unsupervised feature selection models and solution methods are primarily designed for practical applications, and often lack rigorous theoretical support, such as convergence guarantees. In this paper, we first establish a novel unsupervised feature selection model based on regularized minimization with nonnegative orthogonality constraints, which has advantages of embedding feature selection into the nonnegative spectral clustering and preventing overfitting. To solve the proposed model, we develop an effective inexact augmented Lagrangian multiplier method, in which the subproblems are addressed using a proximal alternating minimization approach. We rigorously prove the algorithm’s sequence converges to a stationary point of the model. Extensive numerical experiments on popular datasets demonstrate the stability and robustness of our method. Moreover, comparative results show that our method outperforms some existing state-of-the-art methods in terms of clustering evaluation metrics. The code is available at https://github.com/liyan-amss/NOCRM_code.



教師なし特徴選択は、次元削減の基本的な手法として、ビッグデータ時代に広く注目を集めています。しかし、既存の多くの教師なし特徴選択モデルと解法は、主に実用アプリケーション向けに設計されており、収束保証などの厳密な理論的裏付けが不足していることが多いです。本稿では、まず、非負直交性制約を伴う正則化最小化に基づく新しい教師なし特徴選択モデルを確立します。このモデルは、特徴選択を非負スペクトルクラスタリングに組み込み、過学習を防ぐという利点があります。提案モデルを解くために、効果的な不正確拡張ラグランジュ乗数法を開発し、この方法では、部分問題に近似交代最小化アプローチを用いて対処します。アルゴリズムのシーケンスがモデルの定常点に収束することを厳密に証明します。一般的なデータセットを用いた広範な数値実験により、この方法の安定性と堅牢性が実証されています。さらに、比較結果から、本手法はクラスタリング評価指標の点で既存の最先端手法のいくつかよりも優れていることが示されています。コードはhttps://github.com/liyan-amss/NOCRM_codeで入手できます。

A causal fused lasso for interpretable heterogeneous treatment effects estimation

A causal fused lasso for interpretable heterogeneous treatment effects estimation / 解釈可能な異種治療効果推定のための因果融合Lasso

We propose a novel method for estimating heterogeneous treatment effects based on the fused lasso. By first ordering samples based on the propensity or prognostic score, we match units from the treatment and control groups. We then run the fused lasso to obtain piecewise constant treatment effects with respect to the ordering defined by the score. Similar to the existing methods based on discretizing the score, our methods yield interpretable subgroup effects. However, existing methods fixed the subgroup a priori, but our causal fused lasso forms data-adaptive subgroups. We show that the estimator consistently estimates the treatment effects conditional on the score under very general conditions on the covariates and treatment. We demonstrate the performance of our procedure using extensive experiments that show that it can be interpretable and competitive with state-of-the-art methods.



本手法では、融合Lassoに基づいて異質な治療効果を推定する新しい手法を提案します。まず、傾向スコアまたは予後スコアに基づいてサンプルを順序付けすることで、治療群と対照群のユニットをマッチングさせます。次に、融合Lassoを実行して、スコアによって定義された順序付けに関して区分的に一定の治療効果を取得します。スコアの離散化に基づく既存の手法と同様に、本手法は解釈可能なサブグループ効果をもたらします。ただし、既存の手法はサブグループを事前に固定していましたが、本手法の因果的融合Lassoはデータ適応型サブグループを形成します。本手法は、共変量と治療に関する非常に一般的な条件下で、スコアを条件として治療効果を一貫して推定できることを示します。我々は、広範な実験を用いて本手法の性能を実証し、それが解釈可能であり、最先端の手法と競合可能であることを示す。

Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood

Bayesian Inference of Contextual Bandit Policies via Empirical Likelihood / ベイズ推論経験的尤度による文脈的バンディットポリシー

Policy inference plays an essential role in the contextual bandit problem. In this paper, we use empirical likelihood to develop a Bayesian inference method for the joint analysis of multiple contextual bandit policies in finite sample regimes. The proposed inference method is robust to small sample sizes and is able to provide accurate uncertainty measurements for policy value evaluation. In addition, it allows for flexible inferences on policy comparison with full uncertainty quantification. We demonstrate the effectiveness of the proposed inference method using Monte Carlo simulations and its application to an adolescent body mass index data set.



政策推論は、文脈バンディット問題において重要な役割を果たす。本稿では、経験尤度を用いて、有限サンプルレジームにおける複数の文脈バンディット政策の共同分析のためのベイズ推論手法を開発します。提案する推論手法は、小規模なサンプルサイズに対してロバストであり、政策の価値評価のための正確な不確実性測定を提供することができます。さらに、完全な不確実性定量化を伴う政策比較に関する柔軟な推論を可能にします。提案する推論手法の有効性は、モンテカルロシミュレーションと、青年期のBMIデータセットへの適用によって実証します。

Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization

Convergence and complexity of block majorization-minimization for constrained block-Riemannian optimization / 制約付きブロックリーマン最適化におけるブロック主要化最小化の収束と計算量

Block majorization-minimization (BMM) is a simple iterative algorithm for nonconvex optimization that sequentially minimizes a majorizing surrogate of the objective function in each block coordinate while the other block coordinates are held fixed. We consider a family of BMM algorithms for minimizing nonsmooth nonconvex objectives, where each parameter block is constrained within a subset of a Riemannian manifold. We establish that this algorithm converges asymptotically to the set of stationary points, and attains an $\epsilon$-stationary point within $\widetilde{O}(\epsilon^{-2})$ iterations. In particular, the assumptions for our complexity results are completely Euclidean when the underlying manifold is a product of Euclidean or Stiefel manifolds, although our analysis makes explicit use of the Riemannian geometry. Our general analysis applies to a wide range of algorithms with Riemannian constraints: Riemannian MM, block projected gradient descent, Bures-JKO scheme for Wasserstein variational inference, optimistic likelihood estimation, geodesically constrained subspace tracking, robust PCA, and Riemannian CP-dictionary-learning. We experimentally validate that our algorithm converges faster than standard Euclidean algorithms applied to the Riemannian setting.



ブロック・マジョライゼーション・ミニマライゼーション（BMM）は、非凸最適化のための単純な反復アルゴリズムであり、他のブロック座標を固定したまま、各ブロック座標における目的関数のマジョライゼーション代理関数を順次最小化します。本稿では、各パラメータブロックがリーマン多様体のサブセット内に制約される、非滑らかな非凸目的関数を最小化するBMMアルゴリズム群を検討します。このアルゴリズムは、定常点の集合に漸近収束し、$\widetilde{O}(\epsilon^{-2})$回の反復で$\epsilon$定常点に到達することを確立します。特に、本解析ではリーマン幾何学を明示的に用いているが、基礎となる多様体がユークリッド多様体またはシュティーフェル多様体の積である場合、複雑性の結果に対する仮定は完全にユークリッド的です。我々の一般的な分析は、リーマン制約を持つ幅広いアルゴリズム、すなわちリーマンMM、ブロック射影勾配降下法、ワッサーシュタイン変分推論のためのBures-JKO法、楽観的尤度推定、測地学的制約付き部分空間追跡、ロバストPCA、リーマンCP辞書学習に適用できます。我々のアルゴリズムは、リーマン制約に適用される標準的なユークリッドアルゴリズムよりも収束が速いことを実験的に検証しました。

Two-way Node Popularity Model for Directed and Bipartite Networks

Two-way Node Popularity Model for Directed and Bipartite Networks / 有向ネットワークおよび二部ネットワークにおける双方向ノード人気モデル

There has been increasing research attention on community detection in directed and bipartite networks. However, these studies often fail to consider the popularity of nodes in different communities, which is a common phenomenon in real-world networks. To address this issue, we propose a new probabilistic framework called the Two-Way Node Popularity Model (TNPM). The TNPM also accommodates edges from different distributions within a general sub-Gaussian family. We introduce the Delete-One-Method (DOM) for model fitting and community structure identification, and provide a comprehensive theoretical analysis with novel technical skills dealing with sub-Gaussian generalization. Additionally, we propose the Two-Stage Divided Cosine Algorithm (TSDC) to handle large-scale networks more efficiently. Our proposed methods offer multi-folded advantages in terms of estimation accuracy and computational efficiency, as demonstrated through extensive numerical studies. We apply our methods to two real-world applications, uncovering interesting findings.



有向ネットワークおよび二部ネットワークにおけるコミュニティ検出に関する研究はますます注目されています。しかし、これらの研究では、異なるコミュニティにおけるノードの人気度が考慮されていないことが多く、これは現実世界のネットワークでよく見られる現象です。この問題に対処するために、我々は双方向ノード人気度モデル（TNPM）と呼ばれる新しい確率的フレームワークを提案します。TNPMは、一般的なサブガウス族内の異なる分布からのエッジも受け入れます。モデルフィッティングとコミュニティ構造同定のためのDelete-One-Method（DOM）を導入し、サブガウス汎化を扱う新しい技術を用いた包括的な理論分析を提供します。さらに、大規模ネットワークをより効率的に処理するためのTwo-Stage Divided Cosine Algorithm（TSDC）を提案します。提案手法は、広範な数値研究によって実証されているように、推定精度と計算効率の点で多面的な利点を提供します。我々は、この手法を2つの実世界アプリケーションに適用し、興味深い知見を得た。

A Symplectic Analysis of Alternating Mirror Descent

A Symplectic Analysis of Alternating Mirror Descent / 交代ミラー降下法のシンプレクティック解析

Motivated by understanding the behavior of the Alternating Mirror Descent (AMD) algorithm for bilinear zero-sum games, we study the discretization of continuous-time Hamiltonian flow via the symplectic Euler method. We provide a framework for analysis using results from Hamiltonian dynamics and symplectic numerical integrators, with an emphasis on the existence and properties of a conserved quantity, the modified Hamiltonian (MH), for the symplectic Euler method.We compute the MH in closed-form when the original Hamiltonian is a quadratic function, and show that it generally differs from the other conserved quantity known previously in the literature. We derive new error bounds on the MH when truncated at orders in the stepsize in terms of the number of iterations, $K$, and use these bounds to show an improved $\mathcal{O}(K^{1/5})$ total regret bound and an $\mathcal{O}(K^{-4/5})$ duality gap of the average iterates for AMD. Finally, we propose a conjecture which, if true, would imply that the total regret for AMD scales as $\mathcal{O}\left(K^{\varepsilon}\right)$ and the duality gap of the average iterates as $\mathcal{O}\left(K^{-1+\varepsilon}\right)$ for any $\varepsilon>0$, and we can take $\varepsilon=0$ upon certain convergence conditions for the MH.



双線形零和ゲームにおけるAlternating Mirror Descent（AMD）アルゴリズムの挙動を理解することを目的に、シンプレクティックオイラー法を用いて連続時間ハミルトンフローの離散化を研究します。我々は、ハミルトニアンダイナミクスとシンプレクティック数値積分器の結果を用いた解析の枠組みを提示し、特にシンプレクティックオイラー法における保存量である修正ハミルトニアン（MH）の存在と特性に着目します。元のハミルトニアンが2次関数である場合にMHを閉じた形で計算し、それが文献で以前知られている他の保存量とは一般に異なることを示す。反復回数$K$に関して、ステップサイズのオーダーで切り捨てられた場合のMHの新しい誤差境界を導出し、この境界を用いてAMDの平均反復回数の改良された合計後悔境界$\mathcal{O}(K^{1/5})$と双対性ギャップ$\mathcal{O}(K^{-4/5})$を示す。最後に、我々は、もし真であれば、AMDの総後悔は$\mathcal{O}\left(K^{\varepsilon}\right)$に比例し、平均の双対性ギャップは任意の$\varepsilon>0$に対して$\mathcal{O}\left(K^{-1+\varepsilon}\right)$に比例し、MHの特定の収束条件では$\varepsilon=0$を取ることができるという予想を提案します。

Contrasting Local and Global Modeling with Machine Learning and Satellite Data: A Case Study Estimating Tree Canopy Height in African Savannas

Contrasting Local and Global Modeling with Machine Learning and Satellite Data: A Case Study Estimating Tree Canopy Height in African Savannas / 機械学習と衛星データを用いた局所モデリングとグローバルモデリングの対比：アフリカのサバンナにおける樹冠高推定のケーススタディ

While advances in machine learning with satellite imagery (SatML) are facilitating environmental monitoring at a global scale, developing SatML models that are accurate and useful for local regions remains critical to understanding and acting on an ever-changing planet. As increasing attention and resources are being devoted to training SatML models with global data, it is important to understand when improvements in global models will make it easier to train or fine-tune models that are accurate in specific regions. To explore this question, we design the first study that explicitly contrasts local and global training paradigms for SatML, through a case study of tree canopy height (TCH) mapping in the Karingani Game Reserve, Mozambique. We find that recent advances in global TCH mapping do not necessarily translate to better local modeling abilities in our study region. Specifically, small models trained only with locally-collected data outperform published global TCH maps, and even outperform globally pretrained models that we fine-tune using local data. Analyzing these results further, we identify specific points of conflict and synergy between local and global modeling paradigms that can inform future research toward aligning local and global performance objectives in geospatial machine learning.



衛星画像を用いた機械学習(SatML)の進歩により、地球規模の環境モニタリングが容易になっている一方で、常に変化する地球を理解し、対応していくためには、正確で地域に有用なSatMLモデルの開発が依然として重要です。地球規模のデータを用いたSatMLモデルのトレーニングにますます注目とリソースが投入されるようになるにつれ、地球規模のモデルの改善によって、特定の地域で正確なモデルのトレーニングや微調整が容易になるのはいつなのかを理解することが重要です。この問題を探るため、モザンビークのカリンガニ動物保護区における樹冠高(TCH)マッピングのケーススタディを通して、SatMLのローカルおよびグローバルのトレーニングパラダイムを明示的に対比する初の研究を設計しました。その結果、近年の地球規模のTCHマッピングの進歩が、必ずしも研究対象地域におけるローカルモデリング能力の向上につながるわけではないことがわかりました。具体的には、ローカルで収集されたデータのみでトレーニングされた小規模なモデルは、公開されている地球規模のTCHマップよりも性能が高く、ローカルデータを使用して微調整した地球規模で事前トレーニングされたモデルよりも性能が優れています。これらの結果をさらに分析することで、局所的モデリングパラダイムと全体的モデリングパラダイム間の具体的な対立点と相乗効果を特定し、地理空間機械学習における局所的および全体的パフォーマンス目標の整合に向けた将来の研究に役立てることができます。

Boosted Control Functions: Distribution Generalization and Invariance in Confounded Models

Boosted Control Functions: Distribution Generalization and Invariance in Confounded Models / ブースト制御関数：交絡モデルにおける分布の汎化と不変性

Modern machine learning methods and the availability of large-scale data have significantly advanced our ability to predict target quantities from large sets of covariates. However, these methods often struggle under distributional shifts, particularly in the presence of hidden confounding. While the impact of hidden confounding is well-studied in causal effect estimation, e.g., instrumental variables, its implications for prediction tasks under shifting distributions remain underexplored. This work addresses this gap by introducing a strong notion of invariance that, unlike existing weaker notions, allows for distribution generalization even in the presence of nonlinear, non-identifiable structural functions. Central to this framework is the Boosted Control Function (BCF), a novel, identifiable target of inference that satisfies the proposed strong invariance notion and is provably worst-case optimal under distributional shifts. The theoretical foundation of our work lies in Simultaneous Equation Models for Distribution Generalization (SIMDGs), which bridge machine learning with econometrics by describing data-generating processes under distributional shifts. To put these insights into practice, we propose the ControlTwicing algorithm to estimate the BCF using nonparametric machine-learning techniques and study its generalization performance on synthetic and real-world datasets compared to robust and empirical risk minimization approaches.



現代の機械学習手法と大規模データの利用可能性は、大規模な共変量セットから目標量を予測する能力を飛躍的に向上させた。しかし、これらの手法は分布シフト、特に隠れた交絡が存在する状況下ではしばしば困難をきたす。隠れた交絡の影響は、操作変数などの因果効果推定においては十分に研究されているが、シフトする分布下での予測タスクへの影響については十分に検討されていない。本研究では、既存の弱い概念とは異なり、非線形で識別不可能な構造関数が存在する場合でも分布の一般化を可能にする強い不変性の概念を導入することで、このギャップを解消します。この枠組みの中心となるのは、ブーステッド制御関数（BCF）です。これは、提案された強い不変性の概念を満たし、分布シフト下で最悪ケース最適であることが証明できる、新しい識別可能な推論対象です。本研究の理論的基礎は、分布一般化のための同時方程式モデル（SIMDG）にあります。SIMDGは、分布シフト下におけるデータ生成プロセスを記述することで、機械学習と計量経済学の橋渡しをします。これらの洞察を実践に移すため、ノンパラメトリック機械学習技術を用いてBCFを推定するControlTwicingアルゴリズムを提案し、合成データセットと実世界のデータセットにおけるその一般化性能を、堅牢な経験的リスク最小化アプローチと比較して研究します。

DCatalyst: A Unified Accelerated Framework for Decentralized Optimization

DCatalyst: A Unified Accelerated Framework for Decentralized Optimization / DCatalyst：分散最適化のための統合高速化フレームワーク

We study decentralized optimization over a network of agents, modeled as an undirected graph and operating without a central server. The objective is to minimize a composite function $f+r$, where $f$ is a (strongly) convex function representing the average of the agents’ losses, and $r$ is a convex, extended-value function (regularizer).We introduce DCatalyst, a unified black-box framework that injects Nesterov-type acceleration into decentralized optimization algorithms. At its core, DCatalyst is an inexact, momentum-accelerated proximal scheme (outer loop) that seamlessly wraps around a given decentralized method (inner loop). We show that DCatalyst attains optimal (up to logarithmic factors) communication and computational complexity across a broad family of decentralized algorithms and problem instances. In particular, it delivers accelerated rates for problem classes that previously lacked accelerated decentralized methods, thereby broadening the effectiveness of decentralized methods.On the technical side, our framework introduces inexact estimating sequences–an extension of Nesterov’s classical estimating sequences, tailored to decentralized, composite optimization. This construction systematically accommodates consensus errors and inexact solutions of local subproblems, addressing challenges that existing estimating-sequence-based analyses cannot handle while retaining a black-box, plug-and-play character.



本研究では、無向グラフとしてモデル化され、中央サーバーなしで動作するエージェントネットワーク上の分散最適化を研究します。目的は、合成関数$f+r$を最小化することです。ここで、$f$はエージェントの損失の平均を表す（強い）凸関数、$r$は凸拡張値関数（正則化子）です。分散最適化アルゴリズムにネステロフ型加速を注入する統合ブラックボックスフレームワークであるDCatalystを紹介します。DCatalystの核となるのは、不正確な運動量加速型近似スキーム（外側のループ）で、与えられた分散手法（内側のループ）をシームレスにラップします。DCatalystは、幅広い分散アルゴリズムと問題インスタンスにわたって、最適な（対数係数まで）通信と計算複雑性を実現することを示します。特に、これまで加速分散手法が不足していた問題クラスに対して加速率を実現し、分散手法の有効性を高めます。技術面では、私たちのフレームワークは、ネステロフの古典的な推定シーケンスを分散型の複合最適化に合わせて拡張した、不正確な推定シーケンスを導入します。この構築は、ブラックボックスのプラグアンドプレイの特性を維持しながら、コンセンサスエラーとローカルサブ問題の不正確な解決を体系的に受け入れ、既存の推定シーケンスベースの分析では処理できない課題に対処します。

Covariate-dependent Hierarchical Dirichlet Processes

Covariate-dependent Hierarchical Dirichlet Processes / 共変量依存階層的ディリクレ過程

Bayesian hierarchical modeling is a natural framework to effectively integrate data and borrow information across groups. In this paper, we address problems related to density estimation and identifying clusters across related groups, by proposing a hierarchical Bayesian approach that incorporates additional covariate information. To achieve flexibility, our approach builds on ideas from Bayesian nonparametrics, combining the hierarchical Dirichlet process with dependent Dirichlet processes. The proposed model is widely applicable, accommodating multiple and mixed covariate types through appropriate kernel functions as well as different output types through suitable component-specific likelihoods. This extends our ability to discern the relationship between covariates and clusters, while also effectively borrowing information and quantifying differences across groups. By employing a data augmentation trick, we are able to tackle the intractable normalized weights and construct a Markov chain Monte Carlo algorithm for posterior inference. The proposed method is illustrated on simulated data and two real data sets on single-cell RNA sequencing (scRNA-seq) and calcium imaging. For scRNA-seq data, we show that the incorporation of cell dynamics facilitates the discovery of additional cell subgroups. On calcium imaging data, our method identifies interpretable clusters of time frames with similar neural activity, aligning with the observed behavior of the animal.



ベイズ階層モデリングは、グループ間でデータを効果的に統合し、情報を借用するための自然なフレームワークです。本稿では、追加の共変量情報を組み込んだ階層ベイズアプローチを提案することで、関連グループ間の密度推定とクラスターの特定に関する問題に取り組みます。柔軟性を実現するために、私たちのアプローチはベイズノンパラメトリックスのアイデアに基づき、階層ディリクレ過程と従属ディリクレ過程を組み合わせています。提案モデルは幅広い適用が可能で、適切なカーネル関数によって複数の混合共変量タイプに対応し、適切なコンポーネント固有の尤度によって異なる出力タイプに対応します。これにより、共変量とクラスターの関係を識別する能力が拡張されると同時に、グループ間で効果的に情報を借用し、差異を定量化できます。データ拡張トリックを用いることで、扱いにくい正規化重みに対処し、事後推論のためのマルコフ連鎖モンテカルロアルゴリズムを構築できます。提案手法は、シミュレーションデータと、シングルセルRNAシーケンシング（scRNA-seq）およびカルシウムイメージングに関する2つの実データセットを用いて実証されています。scRNA-seqデータでは、細胞ダイナミクスを組み込むことで、新たな細胞サブグループの発見が容易になることを示します。カルシウムイメージングデータでは、本手法は、動物の観察された行動と一致する、類似した神経活動を示す解釈可能な時間フレームのクラスターを識別します。

Online Bernstein-von Mises theorem

Online Bernstein-von Mises theorem / オンライン・バーンスタイン＝フォン・ミーゼス定理

Online learning is an inferential paradigm in which parameters are updated incrementally from sequentially available data, in contrast to batch learning, where the entire dataset is processed at once. In this paper, we assume that mini-batches from the full dataset become available sequentially. The Bayesian framework, which updates beliefs about unknown parameters after observing each mini-batch, is naturally suited for online learning. At each step, we update the posterior distribution using the current prior and new observations, with the updated posterior serving as the prior for the next step. However, this recursive Bayesian updating is rarely computationally tractable unless the model and prior are conjugate. When the model is regular, the updated posterior can be approximated by a normal distribution, as justified by the Bernstein-von Mises theorem. We adopt a variational approximation at each step and investigate the frequentist properties of the final posterior obtained through this sequential procedure. Under mild assumptions, we show that the accumulated approximation error becomes negligible once the mini-batch size exceeds a threshold depending on the parameter dimension. As a result, the sequentially updated posterior is asymptotically indistinguishable from the full posterior.



オンライン学習は、データセット全体を一度に処理するバッチ学習とは対照的に、順次利用可能なデータからパラメータを段階的に更新する推論パラダイムです。本稿では、データセット全体からのミニバッチが順次利用可能になると仮定します。各ミニバッチを観測した後に未知のパラメータに関する確信を更新するベイズフレームワークは、オンライン学習に自然に適しています。各ステップで、現在の事前分布と新しい観測値を使用して事後分布を更新し、更新された事後分布を次のステップの事前分布として使用します。しかし、この再帰的なベイズ更新は、モデルと事前分布が共役でない限り、計算的に扱いにくいことがほとんどです。モデルが正則である場合、更新された事後分布は、ベルンシュタイン-フォン・ミーゼス定理によって正当化されるように、正規分布で近似できます。各ステップで変分近似を採用し、この逐次的な手順によって得られる最終的な事後分布の頻度主義的特性を調査します。軽い仮定の下で、ミニバッチサイズがパラメータ次元に依存する閾値を超えると、累積近似誤差は無視できることを示します。その結果、逐次更新された事後分布は、完全な事後分布と漸近的に区別できなくなります。

Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective

Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective / トランスフォーマーは次元の呪いを克服できる：近似の観点からの理論的研究

The Transformer model is widely used in various application areas of machine learning, such as natural language processing. This paper investigates the approximation of the Hölder continuous function class $\mathcal{H}_{Q}^{\beta}\left([0,1]^{d\times n},\mathbb{R}^{d\times n}\right)$ by Transformers and constructs several Transformers that can overcome the curse of dimensionality. These Transformers consist of one self-attention layer with one head and the softmax function as the activation function, along with several feedforward layers. For example, to achieve an approximation accuracy of $\epsilon$, if the activation functions of the feedforward layers in the Transformer are ReLU and floor, only $\mathcal{O}\left(\log\frac{1}{\epsilon}\right)$ layers of feedforward layers are needed, with widths of these layers not exceeding $\mathcal{O}\left(\frac{1}{\epsilon^{2/\beta}}\log\frac{1}{\epsilon}\right)$. If other activation functions are allowed in the feedforward layers, the width of the feedforward layers can be further reduced to a constant. These results demonstrate that Transformers have a strong expressive capability. The construction in this paper is based on the Kolmogorov-Arnold Superposition Theorem and does not require the concept of contextual mapping, hence our proof is more intuitively clear compared to previous Transformer approximation works. Additionally, the translation technique proposed in this paper helps to apply the previous approximation results of feedforward neural networks to Transformer research.



Transformerモデルは、自然言語処理など、機械学習のさまざまな応用分野で広く使用されています。本論文では、Hölder連続関数クラス$\mathcal{H}_{Q}^{\beta}\left([0,1]^{d\times n},\mathbb{R}^{d\times n}\right)$のTransformerによる近似を検証し、次元の呪いを克服できる複数のTransformerを構築します。これらのTransformerは、1つのヘッドを持つ1つの自己注意層と、活性化関数としてソフトマックス関数、そして複数のフィードフォワード層から構成されます。例えば、近似精度$\epsilon$を達成するには、Transformerのフィードフォワード層の活性化関数がReLUとfloorである場合、フィードフォワード層は$\mathcal{O}\left(\log\frac{1}{\epsilon}\right)$層のみ必要であり、これらの層の幅は$\mathcal{O}\left(\frac{1}{\epsilon^{2/\beta}}\log\frac{1}{\epsilon}\right)$を超えません。フィードフォワード層で他の活性化関数が許可されている場合、フィードフォワード層の幅はさらに定数まで削減できます。これらの結果は、Transformerが強力な表現能力を持っていることを示しています。本論文の構成はKolmogorov-Arnoldの重ね合わせ定理に基づいており、コンテキスト マッピングの概念を必要としないため、これまでのTransformer近似研究と比較して、証明はより直感的に明確です。さらに、本論文で提案された変換技術は、フィードフォワードニューラルネットワークの以前の近似結果をTransformer研究に適用するのに役立ちます。

The Role of Contextual Information in Best Arm Identification

The Role of Contextual Information in Best Arm Identification / 最良アーム特定における文脈情報の役割

We study the best-arm identification problem with fixed confidence when contextual (covariate) information is available in stochastic bandits. In each round, we observe contextual information before selecting an arm. The distribution of the reward associated with the selected arm depends on the observed contextual information. We are interested in finding the arm with the maximum mean reward marginalized over the contextual distribution and not the mean reward conditioned on contexts. Our goal is to identify the best arm with a minimal number of samples under a given error probability. First, we derive the instance-specific sample-complexity lower bounds under the contextual information. Then, we propose a context-aware version of the Track-and-Stop strategy, wherein the proportions of arm draws track the set of optimal allocations, and prove that the expected number of arm draws asymptotically matches the lower bound. We demonstrate that the contextual information can be used to improve the efficiency of the identification of the best marginalized mean reward when compared with the results of Garivier and Kaufmann(2016). Furthermore, we experimentally confirm that contextual information contributes to faster best-arm identification.



本研究では、確率的バンディット設定においてコンテキスト（共変量）情報が利用可能な場合の「最良アーム特定問題」を扱います。各ラウンドにおいて、アームを選択する前にコンテキスト情報を観測します。選択されたアームに関連する報酬の分布は、観測されたコンテキスト情報に依存します。我々の関心対象は、コンテキストで条件付けられた平均報酬ではなく、コンテキスト分布に関して周辺化した平均報酬が最大となるアームを特定することにあります。目標は、所与の誤り確率の下で、最小限のサンプル数で最良のアームを特定することです。まず、コンテキスト情報が存在する場合の、インスタンスごとのサンプル複雑度に関する下界を導出します。次に、アームの選択割合が最適配分集合を追跡するように制御する「Track-and-Stop」戦略のコンテキスト対応版を提案し、アーム選択の期待回数が漸近的に下界と一致することを証明します。Garivier and Kaufmann (2016)の結果と比較して、コンテキスト情報を利用することで、周辺化平均報酬が最大となるアームの特定効率を向上できることを示します。さらに、コンテキスト情報が最良アームの特定を高速化することに寄与することを実験的に確認します。

A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks

A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks / 部分的に学習された3層ニューラルネットワークの関数空間平均場理論

To understand the training dynamics of neural networks, prior studies have considered the mean-field (MF) limit of two-layer NNs as the width tends to infinity, establishing theoretical guarantees for its convergence under gradient flow training as well as approximation and generalization capabilities. In this work, we study the infinite-width limit of a type of three-layer neural network where the first-layer weights are untrained. To rigorously define the limiting model, we extend the MF theory by lifting the representation of neurons from Euclidean to functional spaces. This allows us to establish the MF training dynamics as a functional gradient flow with a time-varying kernel that remains positive-definite under suitable assumptions, thus proving a linear-rate convergence of its training loss. Furthermore, we define novel function spaces that contain the solutions obtained through the MF training dynamics and prove Rademacher complexity bounds for these spaces. Notably, our analysis applies to a range of scaling choices of the model, resulting in two distinct regimes of the MF limit that both exhibit feature learning through training.



ニューラルネットワークの学習ダイナミクスを理解するために、先行研究では、幅を無限大にした際の2層ニューラルネットワークの平均場（MF）極限が検討されてきました。これにより、勾配流による学習における収束性や、近似能力・汎化能力に関する理論的保証が確立されています。本研究では、第1層の重みが学習されないタイプの3層ニューラルネットワークについて、幅を無限大にした極限を研究します。極限モデルを厳密に定義するために、ニューロンの表現をユークリッド空間から関数空間へと持ち上げることで、MF理論を拡張します。これにより、MF学習ダイナミクスを、適切な仮定の下で正定値性を維持する時間変化カーネルを伴う関数勾配流として定式化でき、学習損失が線形レートで収束することを証明します。さらに、MF学習ダイナミクスを通じて得られる解を含む新たな関数空間を定義し、それらの空間に対するラデマッハー複雑度の限界を証明します。特筆すべき点として、我々の解析はモデルのスケーリングに関する様々な選択に適用可能であり、その結果、いずれも学習を通じて特徴量学習を示す2つの異なるMF極限のレジームが導かれます。

Inference with non-differentiable surrogate loss in a general high-dimensional classification framework

Inference with non-differentiable surrogate loss in a general high-dimensional classification framework / 一般的な高次元分類の枠組みにおける非微分可能な代理損失を用いた推論

Penalized empirical risk minimization with a surrogate loss function is often used to learn a high-dimensional linear decision rule in classification problems. Although much of the literature focus on the generalization error, there is a lack of inference procedures for identifying the driving factors of the estimated decision rule, especially when the surrogate loss is non-differentiable. We propose a kernel-smoothed decorrelated score to construct hypothesis tests and interval estimators for a linear decision rule estimated using a piece-wise linear surrogate loss, which has a discontinuous gradient and non-regular Hessian. Specifically, we adopt kernel approximations to smooth the discontinuous gradient near discontinuity points and approximate the non-regular Hessian of the surrogate loss. In applications where additional nuisance parameters are involved, we propose a novel cross-fitted version to accommodate flexible nuisance estimates and kernel approximations. We establish the limiting distribution of the kernel-smoothed decorrelated score and its cross-fitted version in a high-dimensional setup. Simulation and real data analysis are conducted to demonstrate the validity and the superiority of the proposed method.



分類問題において高次元の線形決定規則を学習する際には、代理損失関数を用いたペナルティ付き経験リスク最小化が頻繁に利用されます。既存研究の多くは汎化誤差に焦点を当てていますが、特に代理損失（surrogate loss）が微分不可能である場合、推定された決定規則の主要な要因を特定するための推論手法は不足しています。本研究では、勾配が不連続かつヘッセ行列が非正則である区分線形代理損失を用いて推定された線形決定規則に対し、仮説検定や区間推定を行うための「カーネル平滑化された非相関化スコア」を提案します。具体的には、カーネル近似を用いて不連続点近傍の勾配を平滑化し、代理損失の非正則なヘッセ行列を近似します。追加のnuisanceパラメータ（局外パラメータ）を伴う応用においては、柔軟なnuisance推定やカーネル近似に対応可能な、新規のクロスフィッティング版手法を提案します。また、高次元設定におけるカーネル平滑化非相関化スコアおよびそのクロスフィッティング版の極限分布を導出します。さらに、シミュレーションおよび実データ解析を通じて、提案手法の妥当性と優位性を示します。

Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation

Knowledge Cascade: Reverse Knowledge Distillation on Nonparametric Multivariate Functional Estimation / Knowledge Cascade：ノンパラメトリック多変量関数推定における逆知識蒸留

As machine learning models and datasets continue to grow, developing complex models has become increasingly computationally demanding. Knowledge distillation reduces deployment cost by compressing a large, well-trained teacher model into a compact student model, but it does not address settings where constructing the teacher itself is the bottleneck. Motivated by this challenge, we introduce Knowledge Cascade, a reverse knowledge distillation framework that uses information from a small, inexpensive student model to guide the development of a more complex teacher model. Although this direction is counterintuitive because the teacher typically has greater representational capacity, we show that student-to-teacher transfer can be principled when supported by statistical scaling relationships. We first develop Knowledge Cascade for nonparametric multivariate functional estimation in reproducing kernel Hilbert spaces via smoothing splines, where selecting multiple smoothing parameters is a major computational bottleneck. Knowledge Cascade transfers student-selected smoothing parameters to the full-sample regime through asymptotic scaling laws, substantially reducing computational cost for high-dimensional and large-scale datasets while retaining theoretical guarantees. Beyond smoothing splines, we illustrate the same principle through kernel density estimation and deep learning hyperparameter transfer. Simulations and real-data experiments show that Knowledge Cascade achieves substantial computational savings while maintaining strong statistical performance, and can sometimes outperform the corresponding full-sample procedure.



機械学習モデルやデータセットの増大に伴い、複雑なモデルの開発には膨大な計算資源が必要とされるようになっています。知識蒸留（Knowledge Distillation）は、十分に学習された大規模な「教師モデル」をコンパクトな「生徒モデル」に圧縮することでデプロイ時のコストを削減しますが、教師モデル自体の構築そのものがボトルネックとなる状況には対応していません。こうした課題に対処するため、我々は「Knowledge Cascade（知識カスケード）」という手法を提案します。これは、小規模で低コストな生徒モデルからの情報を利用して、より複雑な教師モデルの開発を導く、いわば「逆向きの知識蒸留」とも言える枠組みです。一般的に教師モデルの方が高い表現能力を持つため、生徒から教師へと情報を伝達するというこのアプローチは直感に反するように思えるかもしれません。しかし、我々は、統計的なスケーリング関係（規模の拡大に伴う法則性）に基づけば、生徒から教師への知識伝達が理論的に妥当なものとなり得ることを示します。まず、我々は、複数の平滑化パラメータの選択が計算上の大きなボトルネックとなる「再生核ヒルベルト空間における平滑化スプラインを用いたノンパラメトリック多変量関数推定」に対して、Knowledge Cascadeを適用しました。Knowledge Cascadeは、漸近的なスケーリング則を利用して生徒モデルが選択した平滑化パラメータを全サンプル規模の推定へと転用します。これにより、理論的な保証を維持しつつ、高次元かつ大規模なデータセットにおける計算コストを大幅に削減することが可能になります。さらに、平滑化スプラインにとどまらず、カーネル密度推定やディープラーニングにおけるハイパーパラメータの転用といった事例を通じても、同様の原理が有効であることを示します。シミュレーションおよび実データを用いた実験の結果、Knowledge Cascadeは優れた統計的性能を維持しながら大幅な計算コストの削減を実現し、場合によっては全サンプルを用いた従来の手法を上回る性能を示すことさえあることが明らかになりました。

Neural Exploitation and Exploration of Contextual Bandits

Neural Exploitation and Exploration of Contextual Bandits / 文脈付きバンディットにおけるニューラルな活用と探索

In this paper, we study the neural exploration strategy for contextual bandits.The dilemma of exploitation and exploration widely exists in real-world applications such as recommender systems, online advertising, and clinical trials.Contextual bandits provide principled methods to solve this dilemma, including two prevalent techniques: Thompson Sampling (TS), and Upper Confidence Bound (UCB).Neural contextual bandits have been studied to adapt to the non-linear reward function, combined with TS or UCB strategies for exploration.In this paper, we introduce, EE-Net, which is a novel framework to utilize another neural network to learn the potential gain of exploitation neural network for exploration, different from UCB-based and TS-based approaches that rely on the large-deviation-based statistical confidence bound. In addition, we provide an instance-based $\widetilde{\mathcal{O}}(\sqrt{T})$ regret upper bound for EE-Net with a new proof workflow. Empirically, we show that EE-Net outperforms related linear and neural contextual bandit baselines on real-world datasets.



本論文では、コンテクスト・バンディット（contextual bandits）におけるニューラルな探索戦略について研究します。推薦システム、オンライン広告、臨床試験などの実世界の応用において、「活用（exploitation）」と「探索（exploration）」のジレンマは広く存在します。コンテクスト・バンディットは、このジレンマを解決するための原理的な手法を提供しており、その代表的なものとしてトンプソン・サンプリング（TS）やUCB（Upper Confidence Bound：信頼区間上限）法が挙げられます。非線形な報酬関数に適応するために、TSやUCBといった探索戦略を組み合わせた「ニューラル・コンテクスト・バンディット」の研究も行われてきました。本論文では、UCBやTSのような「大偏差原理に基づく統計的信頼区間」に依存する手法とは異なり、別のニューラルネットワークを用いて「活用用ニューラルネットワーク」の潜在的な利得を学習し、それを探索に利用する新しいフレームワーク「EE-Net」を提案します。さらに、新たな証明手順を用いて、EE-Netに対するインスタンス依存の$\widetilde{\mathcal{O}}(\sqrt{T})$というリグレット（後悔）の上界を導出します。実証実験では、実世界のデータセットにおいて、EE-Netが既存の線形およびニューラル・コンテクスト・バンディットの手法（ベースライン）よりも優れた性能を示すことを明らかにします。

Causal Influences over Social Learning Networks

Causal Influences over Social Learning Networks / 社会的学習ネットワークにおける因果的影響

This paper investigates causal influences between agents linked by a social graph and interacting over time. In particular, the work examines the dynamics of social learning models and distributed decision-making protocols, and derives expressions that reveal the causal relations between pairs of agents and explain the flow of influence over the network. The results turn out to be dependent on the graph topology and the level of information that each agent has about the inference problem they are trying to solve. Using these conclusions, the paper proposes an algorithm to rank the overall influence between agents to discover highly influential agents. It also provides a method to learn the necessary model parameters from raw observational data. The results and the proposed algorithm are illustrated by considering both synthetic data and real social media data.



本論文では、ソーシャルグラフで結ばれ、時間の経過とともに相互作用するエージェント間の因果的影響について調査します。特に、ソーシャル・ラーニング・モデルや分散意思決定プロトコルのダイナミクスを検討し、エージェントのペア間の因果関係を明らかにし、ネットワーク上での影響の流れを説明する式を導出します。その結果、影響の度合いは、グラフのトポロジーや、各エージェントが解決しようとしている推論問題について保有する情報のレベルに依存することが示されます。これらの結論に基づき、本論文では、エージェント間の全体的な影響力をランク付けし、影響力の大きいエージェントを特定するためのアルゴリズムを提案します。また、生の観測データから必要なモデルパラメータを学習する方法も提示します。提案された結果やアルゴリズムについては、合成データと実際のソーシャルメディアデータの双方を用いて具体的に示します。

Do We Need to Penalize Variance of Losses for Learning with Label Noise?

Do We Need to Penalize Variance of Losses for Learning with Label Noise? / ラベルノイズを含む学習において損失の分散にペナルティを科す必要はあるか？

Statistically consistent algorithms have been widely employed for dealing with noisy labels. Their objective functions are designed so that minimizing the expected risk on noisy data leads to the same minimizer as minimizing the expected risk on clean data. From the weak law of large numbers, penalizing the variance of losses would reduce the discrepancy between the average loss and the expected risk on the clean data when there is a finite training sample, and the estimation error in the model’s parameters can be reduced. Interestingly, we found that the variance of losses needs to be encouraged for label-noise learning. Specifically, encouraging a large variance of losses would boost the memorization effect and reduce the harmfulness of incorrect labels. Regularizers can be easily designed to encourage a large variance of losses and be plugged into many existing algorithms. Empirically, the proposed method by encouraging a large variance of losses could improve the generalization ability of baselines on both synthetic and real-world datasets.



ノイズを含むラベル（ノイズありラベル）を扱う手法として、統計的に整合性のあるアルゴリズムが広く採用されています。これらのアルゴリズムの目的関数は、ノイズありデータにおける期待リスクを最小化することが、クリーンなデータにおける期待リスクを最小化することと同じ最適解（最小化解）を導くように設計されています。大数の弱法則に基づくと、損失の分散にペナルティを課すことで、有限の学習サンプルが存在する場合において、平均損失とクリーンなデータにおける期待リスクとの乖離を低減でき、モデルパラメータの推定誤差を抑えることが可能になります。興味深いことに、ラベルノイズを含むデータでの学習においては、損失の分散を大きくすることが有益であると分かりました。具体的には、損失の分散を大きくすることで、データの「記憶（memorization）」効果が促進され、誤ったラベルによる悪影響を低減できます。損失の分散を大きくするような正則化手法は容易に設計でき、既存の多くのアルゴリズムに組み込むことが可能です。実験の結果、提案手法を用いて損失の分散を大きくすることで、合成データセットと実データセットの双方において、ベースライン手法の汎化性能を向上させることができました。

Nonparametric generative modeling for time series via Schrödinger bridge

Nonparametric generative modeling for time series via Schrödinger bridge / シュレーディンガー・ブリッジを用いた時系列のノンパラメトリック生成モデリング

We propose a novel generative model for time series based on Schrödinger bridge (SB) approach. This consists in the entropic interpolation via optimal transport between a reference probability measure on path space and a target measure consistent with the joint data distribution of the time series. The solution is characterized by a stochastic differential equation on finite horizon with a path-dependent drift function, hence respec\-ting the temporal dynamics of the time series distribution.We estimate the drift function from data samples by nonparametric, e.g. kernel regression methods, and the simulation of the SB diffusion yields new synthetic data samples of the time series. The performance of our generative model is evaluated through a series of numerical experiments. First, we test with autoregressive models, a GARCH Model, and the example of fractional Brownian motion, and measure the accuracy of our algorithm with marginal, temporal dependencies metrics, and predictive scores. Next, we use our SB generated synthetic samples for the application to deep hedging on real-data sets.



本研究では、シュレーディンガー・ブリッジ（SB）アプローチに基づく時系列用の新しい生成モデルを提案します。これは、パス空間上の基準確率測度と、時系列の結合データ分布に整合する目標測度との間で、最適輸送を介したエントロピー補間を行うものです。その解は、パスに依存するドリフト関数を持つ有限時間区間上の確率微分方程式によって特徴付けられ、時系列分布の時間的ダイナミクスを保持します。我々は、カーネル回帰などのノンパラメトリック手法を用いてデータサンプルからドリフト関数を推定し、SB拡散のシミュレーションを行うことで、時系列の新たな合成データサンプルを生成します。提案する生成モデルの性能は、一連の数値実験を通じて評価されます。まず、自己回帰モデル、GARCHモデル、およびフラクショナル・ブラウン運動の例を用いて検証を行い、周辺分布や時間的依存性に関する指標、および予測スコアを用いてアルゴリズムの精度を測定します。次に、SBによって生成された合成サンプルを、実データセットに対するディープ・ヘッジ（deep hedging）の適用に利用します。

Sparse Topic Modeling via Spectral Decomposition and Thresholding

Sparse Topic Modeling via Spectral Decomposition and Thresholding / スペクトル分解と閾値処理によるスパース・トピック・モデリング

In probabilistic Latent Semantic Indexing (pLSI), word frequencies across document corpora are modeled through a low-rank factorization of the expected document-term matrix into topic-word and topic-document components. In this paper, we study the estimation of the topic-word matrix under a sparsity structure motivated by Zipf’s law: word frequencies within each topic exhibit a rapid empirical decay, with most probability mass concentrated on a small subset of words. Motivated by this observation, we introduce a spectral estimator that adaptively thresholds rare words prior to factorization. We show that the resulting estimator achieves an $\ell_1$-error rate whose dependence on the vocabulary size $p$ is only logarithmic. Our error bounds hold across parameter regimes, including high-dimensional settings with extremely large vocabularies, a practically important scenario that has received limited theoretical attention. Unlike many existing methods, our approach does not require the separability (or anchor-word) assumption. Synthetic and real-data experiments demonstrate that the proposed procedure is computationally efficient, statistically reliable, and effective across domains with widely varying dimensions, sparsity levels, and document lengths.



確率的潜在意味インデックス法（pLSI）では、文書コーパス全体における単語の出現頻度が、期待文書・単語行列をトピック・単語成分とトピック・文書成分へと低ランク分解することによってモデル化されます。本論文では、ジップの法則に動機づけられたスパース性構造の下でのトピック・単語行列の推定について検討します。この構造では、各トピック内の単語頻度が経験的に急激に減衰し、確率質量の大部分が少数の単語サブセットに集中するという特徴があります。この観察に基づき、分解を行う前に稀な単語に対して適応的に閾値処理を施すスペクトル推定量を導入します。その結果得られる推定量は、語彙サイズ$p$への依存性が対数的オーダーにとどまる$\ell_1$誤差率を達成することを示します。この誤差限界は、極めて大きな語彙を持つ高次元設定を含む様々なパラメータ領域で成立します。高次元設定は実用上重要であるにもかかわらず、理論的な研究は限られていました。多くの既存手法とは異なり、本アプローチでは分離可能性（またはアンカーワード）の仮定を必要としません。合成データおよび実データを用いた実験により、提案手法が計算効率に優れ、統計的に信頼性が高く、次元数、スパース性、文書長が大きく異なる様々なドメインにおいて有効であることが示されます。

Probabilistic Rainfall Downscaling: Joint Generalized Neural Models with Censored Spatial Gaussian Copula

Probabilistic Rainfall Downscaling: Joint Generalized Neural Models with Censored Spatial Gaussian Copula / 確率的降雨ダウンスケーリング：打ち切り空間ガウス・コピュラを伴う結合一般化ニューラルモデル

A novel approach for generating conditional probabilistic rainfall downscaling at finer scales from deterministic weather variables at coarser scales with temporal and spatial dependence is introduced. A two-step procedure is employed. Firstly, marginal location-specific distributions are jointly modelled conditional on the deterministic coarse weather variables. Secondly, a spatial dependency structure is learned to ensure spatial coherence among these distributions.To learn marginal distributions over rainfall values, we introduce joint generalised neural models that expand generalised linear models with a deep neural network architecture to jointly fit parameters of the distributions.The spatial dependency structure is modelled using a censored latent Gaussian copula leveraging the underlying spatial structure. We construct a distance matrix between locations, transformed into a correlation matrix by a Gaussian Process Kernel depending on a small set of parameters. To estimate these parameters, we propose a general framework for the estimation of latent Gaussian copulas employing scoring rules as a measure of divergence between distributions. Uniting our two contributions, namely the joint generalised neural model and the censored latent Gaussian copulas into a single model, our probabilistic approach provides downscaled rainfall. We demonstrate its efficacy using a large UK data set, outperforming existing methods.



時間的・空間的依存性を持つ粗いスケールの決定論的気象変数から、より細かいスケールでの条件付き確率的降雨ダウンスケーリングを行うための新しいアプローチを導入します。ここでは2段階の手順が採用されます。まず、決定論的な粗い気象変数を条件として、地点ごとの周辺分布を統合的にモデル化します。次に、これらの分布間の空間的な整合性を確保するために、空間的依存構造を学習させます。降雨量の周辺分布を学習させるために、我々は「統合型一般化ニューラルモデル」を導入します。これは、一般化線形モデルを深層ニューラルネットワークのアーキテクチャで拡張し、分布のパラメータを統合的に適合させるものです。空間的依存構造のモデル化には、対象地域の空間構造を活用した「打ち切り型潜在ガウス・コピュラ」を用います。具体的には、地点間の距離行列を構築し、少数のパラメータに依存するガウス過程カーネルを用いて相関行列へと変換します。これらのパラメータを推定するために、分布間の乖離尺度としてスコアリング・ルール（scoring rules）を採用した、潜在ガウス・コピュラ推定のための汎用的な枠組みを提案します。これら二つの手法（統合型一般化ニューラルモデルと打ち切り型潜在ガウス・コピュラ）を単一のモデルに統合することで、我々の確率的アプローチは、空間解像度を高めた（ダウンスケールされた）降雨量推定を実現します。英国の大規模データセットを用いた検証において、本手法が既存の手法を上回る性能を示すことを実証しました。

Global Fréchet Manifold Learning for Random Objects, With Application to Low-Dimensional Wasserstein Representations of Distributional Data

Global Fréchet Manifold Learning for Random Objects, With Application to Low-Dimensional Wasserstein Representations of Distributional Data / ランダムオブジェクトのための大域的フレシェ多様体学習 — 分布データの低次元ワッサースタイン表現への応用

We study manifold learning with multidimensional scaling for samples of metric space valued data. By adopting a global version of ISOMAP we obtain low-dimensional Euclidean representations. A key innovation is that we demonstrate that global Fréchet regressioncan be utilized for mapping the elements of a convex set in the Euclidean representation space back to the metric space where the objects reside. We refer to this approach as Fréchet manifold learning and showcase it with one-dimensional distributions as random objects, equipped with the Wasserstein metric, which is an important special case of our general approach. The resulting low-dimensional representations mimic the parametric representation in a parametric family of distributions but are entirely learned from the data without postulating any parametric model. These Wasserstein representations of distributional data can be viewed as an empirical parametrization of a sample of distributions. The utility of these representations rests on the map from the low-dimensional Euclidean representation space to the space of distributions, which is obtained with global Fréchet regression. We illustrate the proposed approach with distributional data for baby names, bike rentals and age pyramids and further demonstrate how it can be applied fora novel distributional regression method that features one-dimensional distributions as predictors.



本研究では、距離空間に値をとるデータサンプルを対象に、多次元尺度構成法（MDS）を用いた多様体学習について検討します。ISOMAPの「大域的（global）」な手法を採用することで、低次元ユークリッド空間における表現を得ます。重要な貢献として、ユークリッド表現空間内の凸集合の要素を、元のデータが存在する距離空間へと写像するために「大域的フレシェ回帰（global Fréchet regression）」が利用可能であることを示します。我々はこのアプローチを「フレシェ多様体学習」と呼び、その重要な特殊ケースとして、ワッサースタイン距離を備えた1次元分布をランダムな対象（random objects）とする事例を用いて実証します。得られる低次元表現は、分布のパラメトリックな族におけるパラメトリック表現と類似していますが、特定のパラメトリックモデルを仮定することなく、データから完全に学習されたものです。分布データのこうしたワッサースタイン表現は、分布サンプルの経験的なパラメタリゼーション（パラメータ化）とみなすことができます。これらの表現の有用性は、低次元ユークリッド表現空間から分布空間への写像（大域的フレシェ回帰によって得られるもの）に依拠しています。提案手法を、赤ちゃんの名前、自転車レンタル、年齢構成（人口ピラミッド）に関する分布データを用いて例示し、さらに、1次元分布を予測変数とする新しい分布回帰手法への応用可能性も示します。

A Convex Framework for Confounding Robust Inference

A Convex Framework for Confounding Robust Inference / 交絡に対して頑健な推論のための凸最適化の枠組み

We study policy evaluation of offline contextual bandits subject to unobserved confounders. Sensitivity analysis methods are commonly used to estimate the policy value under the worst-case confounding scenario within a given uncertainty set. However, existing work often resorts to some coarse relaxation of the uncertainty set for the sake of tractability, leading to overly conservative estimation of the policy value. In this paper, we propose a general estimator that provides a sharp lower bound of the policy value using convex programming. The generality of our estimator enables various extensions such as sensitivity analysis using f-divergence, model selection with cross validation and information criterion, and robust policy learning with the sharp lower bound. Furthermore, our estimation method can be reformulated as an empirical risk minimization problem thanks to the strong duality, which enables us to provide strong theoretical guarantees of the proposed estimator using M-estimation techniques.



本研究では、観測されない交絡因子が存在する状況下でのオフライン・コンテクスト・バンディットのポリシー評価について検討します。不確実性集合内における最悪の交絡シナリオ下でのポリシー価値を推定するために、感度分析手法が一般的に用いられています。しかし、既存の研究では、計算の容易さを優先して不確実性集合を粗く緩和してしまうことが多く、その結果、ポリシー価値の推定が過度に保守的になるという問題がありました。本論文では、凸計画法を用いてポリシー価値の鋭い下界を与える一般的な推定量を提案します。この推定量の汎用性により、f-ダイバージェンスを用いた感度分析、交差検証や情報量規準によるモデル選択、鋭い下界を用いたロバストなポリシー学習など、様々な拡張が可能になります。さらに、強双対性（strong duality）を利用することで、提案する推定手法を経験リスク最小化問題として再定式化でき、M推定の技法を用いて強力な理論的保証を与えることが可能となります。

Kernel-based Distributed Learning

Kernel-based Distributed Learning / カーネルに基づく分散学習

We consider one-shot distributed learning problems in a reproducing kernel Hilbert space framework. Current results are limited to the least-squares loss and extensions beyond this meet with some significant technical challenges. We establish the optimal rate of distributed learning for some general class of convex loss functions satisfying mild assumptions, using a novel empirical process on the Bregman divergence induced by the loss, which is essential for carrying out a quadratic approximation in the infinite-dimensional space. The empirical process is bounded by relating the Bregman divergence induced by the loss to the supremum norm and the $L^2$-norm of the functions. This framework incorporates many commonly used losses, including strongly smooth loss functions as well as Lipschitz continuous losses such as the quantile loss.



本研究では、再生核ヒルベルト空間の枠組みにおけるワンショット分散学習問題を扱います。既存の研究成果は最小二乗損失に限られており、それを超える拡張には大きな技術的課題が伴います。我々は、緩やかな仮定を満たすある一般的な凸損失関数のクラスに対し、分散学習における最適収束レートを確立しました。この際、当該損失関数から導かれるブレグマン・ダイバージェンス（Bregman divergence）に関する新たな経験過程を用いています。この経験過程は、無限次元空間における二次近似を行う上で不可欠なものです。具体的には、損失関数に由来するブレグマン・ダイバージェンスを関数の上限ノルム（supremum norm）および$L^2$ノルムと関連付けることで、当該経験過程の有界性を評価しています。この枠組みは、強滑らか（strongly smooth）な損失関数や、分位点損失（quantile loss）のようなリプシッツ連続な損失関数を含め、広く用いられている多くの損失関数を包含するものです。

Why “Classic” Transformers Are Shallow and A Depth-Enabling Technique

Why “Classic” Transformers Are Shallow and A Depth-Enabling Technique / なぜ「古典的」Transformerは浅いのか — 深層化を可能にする手法

Since its introduction in 2017, the Transformer has emerged as the leading neural network architecture, catalyzing revolutionary advancements in many AI disciplines. The key innovation in Transformer is a Self-Attention (SA) mechanism designed to capture contextual information. However, stacking up more layers of the same design has failed to produce trainable deeper Transformers. Thus far, various architectural modifications to the original design have been proposed to enable deeper depths for Transformer models, but a thorough understanding of this depth issue remains lacking. In this paper, we conduct a comprehensive investigation to substantiate the claim that the depth problem is caused by a phenomenon called token similarity escalation; that is, tokens grow increasingly alike after repeated applications of the SA mechanism. Our analysis reveals that, driven by the invariant leading eigenspace and large spectral gaps of attention matrices, token similarity provably escalates at a linear rate as the depth increases. This insight suggests a simple technique that surgically removes excessive token similarity without reducing the overall role of the SA mechanism, as is done by existing approaches. We perform a set of proof- of-concept, small-scale experiments to show the viability of the proposed depth-enabling technique.



2017年に登場して以来、Transformerは主要なニューラルネットワーク・アーキテクチャとしての地位を確立し、多くのAI分野において革新的な進歩を促してきました。Transformerの重要な革新点は、文脈情報を捉えるために設計された自己注意（Self-Attention: SA）メカニズムにあります。しかし、同じ設計の層を単に積み重ねるだけでは、学習可能な、より深いTransformerを実現することはできませんでした。これまで、Transformerモデルの深さを増すために様々なアーキテクチャ上の改良が提案されてきましたが、この「深さ」に関する問題についての十分な理解は依然として得られていません。本論文では、「トークン類似度の増大（token similarity escalation）」、すなわちSAメカニズムの適用を繰り返すにつれてトークン同士がますます似通ってくるという現象が、深さに関する問題の原因であるという主張を裏付けるため、包括的な調査を行います。我々の分析により、アテンション行列の不変な主固有空間と大きなスペクトルギャップに起因して、深さが増すにつれてトークン類似度が線形な割合で増大することが証明されました。この知見は、既存のアプローチのようにSAメカニズムの全体的な役割を損なうことなく、過剰なトークン類似度をピンポイントで除去する単純な手法を示唆しています。我々は、提案する「深さ対応（depth-enabling）」手法の実現可能性を示すため、小規模な概念実証実験を行います。

Bayes-Optimal Fair Classification with Linear Disparity Constraints via Pre-, In-, and Post-processing

Bayes-Optimal Fair Classification with Linear Disparity Constraints via Pre-, In-, and Post-processing / 線形不公平性制約下でのベイズ最適公平分類：前処理・学習時処理・後処理によるアプローチ

Machine learning algorithms may have disparate impacts on protected groups. To address this, we develop methods for Bayes-optimal fair classification, aiming to minimize classification error subject to given group fairness constraints. We introduce the notion of linear disparity measures, which are linear functions of a probabilistic classifier; and bilinear disparity measures, which are also linear in the group-wise regression functions. We show that several popular disparity measures—the deviations from demographic parity, equality of opportunity, and predictive equality—are bilinear.We find the form of Bayes-optimal fair classifiers under a single linear disparity measure, by uncovering a connection with the Neyman-Pearson lemma. For bilinear disparity measures, we are able to find the explicit form of Bayes-optimal fair classifiers as group-wise thresholding rules with explicitly characterized thresholds. We develop similar algorithms for when the protected attribute cannot be used at the prediction phase. Moreover, we obtain analogous theoretical characterizations of optimal classifiers for a multi-class protected attribute and for equalized odds. Leveraging our theoretical results, we design methods that learn fair Bayes-optimal classifiers under bilinear disparity constraints. Our methods cover three popular approaches to fairness-aware classification, via pre-processing (Fair Up- and Down-Sampling), in-processing(Fair cost-sensitive Classification) and post-processing (a Fair Plug-In Rule). Our methods control disparity directly while achieving near-optimal fairness-accuracy tradeoffs. We show empirically that our methods have state-of-the-art performance compared to existing algorithms. In particular, our pre-processing method can reach a higher accuracy than prior pre-processing methods at low disparity levels.



機械学習アルゴリズムは、保護対象となる特定のグループに対して不均等な影響を及ぼす可能性があります。これに対処するため、我々はベイズ最適かつ公平な分類を行う手法を開発し、所定のグループ公平性制約の下で分類誤差を最小化することを目指します。ここで我々は、確率的分類器の線形関数である「線形不均衡尺度（linear disparity measures）」と、グループごとの回帰関数に対しても線形である「双線形不均衡尺度（bilinear disparity measures）」という概念を導入します。人口統計的パリティ（demographic parity）、機会の平等（equality of opportunity）、予測の平等（predictive equality）からの乖離といった一般的な不均衡尺度のいくつかが、双線形不均衡尺度であることを示します。単一の線形不均衡尺度におけるベイズ最適かつ公平な分類器の形式を、ネイマン・ピアソンの補題との関連性を明らかにすることで導き出します。双線形不均衡尺度については、閾値が明示的に規定された「グループごとの閾値処理ルール」として、ベイズ最適かつ公平な分類器の具体的な形式を導出します。また、予測段階で保護属性を使用できない場合についても同様のアルゴリズムを開発します。さらに、多クラスの保護属性や「機会の均等化（equalized odds）」の場合についても、最適分類器に関する同様の理論的特性を導き出します。これらの理論的成果を活用し、双線形不均衡制約の下で公平かつベイズ最適な分類器を学習する手法を設計します。本研究で提案する手法は、公平性を考慮した分類（fairness-aware classification）における主要な3つのアプローチ、すなわち前処理（公平性を考慮したアップサンプリングおよびダウンサンプリング）、学習時処理（公平性を考慮したコスト感応型分類）、および後処理（公平性を考慮したプラグイン・ルール）を網羅しています。これらの手法は、公平性と精度のトレードオフにおいて最適に近い水準を達成しつつ、不公平性（disparity）を直接的に制御します。既存のアルゴリズムと比較して、提案手法が最先端（SOTA）の性能を示すことを実証的に明らかにしました。特に、前処理手法に関しては、低い不公平性のレベルにおいて、従来の前処理手法よりも高い精度を達成できることが示されました。

Investigating the Histogram Loss in Regression

Investigating the Histogram Loss in Regression / 回帰におけるヒストグラム損失の検討

It is becoming increasingly common in regression to train neural networks that model the entire distribution even if only the mean is required for prediction. This additional modeling often comes with performance gains, and the reasons behind the improvement are not fully known. This paper investigates a recent approach to regression, the histogram loss, which involves learning the conditional distribution of the target variable by minimizing the cross-entropy between a target distribution and a flexible histogram prediction. The resulting loss corresponds to a classification loss: a cross-entropy between the outputs and a smoothed label vector. We design theoretical and empirical analyses to determine why and when this performance gain appears and how different components of the loss contribute to it. Our results suggest that the benefits of learning distributions in this setup come from improvements in optimization rather than modeling extra information. We then demonstrate the viability of the histogram loss in common deep learning applications without the need for costly hyperparameter tuning.



回帰タスクにおいて、予測に必要なのが平均値のみである場合でも、分布全体をモデル化するニューラルネットワークを学習させることが一般的になりつつあります。このような追加的なモデル化はしばしば性能向上をもたらしますが、その改善の理由は完全には解明されていません。本論文では、回帰に対する近年のアプローチである「ヒストグラム損失（histogram loss）」について調査します。この手法は、ターゲット分布と柔軟なヒストグラム予測との間の交差エントロピーを最小化することで、目的変数の条件付き分布を学習するものです。その結果生じる損失は分類タスクの損失、すなわちネットワークの出力と平滑化されたラベルベクトルとの間の交差エントロピーに対応します。我々は、なぜ、そしてどのような状況でこの性能向上が生じるのか、また損失の各構成要素がどのように寄与しているのかを明らかにするため、理論的および実証的な分析を行いました。その結果、この設定における分布学習の利点は、追加的な情報をモデル化することではなく、最適化プロセスの改善に由来することが示唆されました。さらに、コストのかかるハイパーパラメータの調整を必要とすることなく、一般的なディープラーニングの応用においてヒストグラム損失が有効であることを実証しました。

Optimal Approximation and Generalization Errors for Deep Convolutional Neural Networks

Optimal Approximation and Generalization Errors for Deep Convolutional Neural Networks / 深層畳み込みニューラルネットワークの最適近似と汎化誤差

This paper focuses on approximation and learning performances of deep convolutional neural networks with zero-padding and max-pooling. We prove that, to approximate $r$-smooth function, the approximation rates of deep convolutional neural networks with depth $L$ are of order $ (L/\log L)^{-2r/d} $, which is optimal up to a logarithmic factor. Furthermore, we deduce almost optimal generalization errors for implementing empirical risk minimization over deep convolutional neural networks. Our theoretical results are verified by several numerical experiments to show the power of the convolutional structure, zero-padding and max-pooling.



本論文では、ゼロパディングとマックスプーリングを用いた深層畳み込みニューラルネットワークの近似および学習性能に焦点を当てる。我々は、$r$階滑らかな関数を近似する際、深さ$L$の深層畳み込みニューラルネットワークの近似誤差がオーダー$(L/\log L)^{-2r/d}$であることを証明します。これは対数因子を除いて最適です。さらに、深層畳み込みニューラルネットワーク上での経験リスク最小化の実行に伴う、ほぼ最適な汎化誤差を導出します。我々の理論的結果は、いくつかの数値実験によって検証され、畳み込み構造、ゼロパディング、およびマックスプーリングの有効性が示されます。

Approximations and Learning for Continuous State and Action MDPs under Average Cost Criteria

Approximations and Learning for Continuous State and Action MDPs under Average Cost Criteria / 平均コスト基準下での連続状態・行動MDPの近似と学習

In this paper, for Markov Decision Processes (MDPs) with standard Borel spaces, (i) we first provide a discretization based approximation method for MDPs with continuous spaces under average cost criteria, and provide error bounds for approximations when the dynamics are only weakly continuous (for asymptotic convergence of errors as the grid sizes vanish) or Wasserstein continuous (with a rate in approximation as the grid sizes vanish) under certain ergodicity assumptions. In particular, we relax the total variation condition given in prior work to weak continuity or Wasserstein continuity. (ii) We provide synchronous and asynchronous (quantized) Q-learning algorithms for continuous spaces via quantization (where the quantized state is taken to be the actual state in corresponding Q-learning algorithms presented in the paper), and establish their convergence. (iii) We finally show that the convergence is to the optimal Q values of a finite approximate model constructed via quantization, which implies near optimality of the arrived solution.



本論文では、標準ボレル空間上のマルコフ決定過程（MDP）について、以下の点を示す。(i)まず、平均コスト基準の下で連続空間上のMDPに対する離散化に基づく近似手法を提示します。また、特定のエルゴード性仮定の下で、ダイナミクスが弱連続である場合（グリッドサイズがゼロに近づく際の誤差の漸近収束について）やワッサースタイン連続である場合（グリッドサイズがゼロに近づく際の近似レートについて）の近似誤差限界を導出します。特に、先行研究における全変動に関する条件を、弱連続性またはワッサースタイン連続性へと緩和します。(ii)量子化を介して連続空間向けの同期型および非同期型（量子化）Q学習アルゴリズムを提示し（ここで、量子化された状態は、本論文で提示されるQ学習アルゴリズムにおける実際の状態として扱われる）、それらの収束性を確立します。(iii)最後に、その収束先が量子化によって構築された有限近似モデルの最適Q値であることを示し、これにより得られた解が準最適であることを明らかにします。

Minimax density estimation in the adversarial framework under local differential privacy

Minimax density estimation in the adversarial framework under local differential privacy / 局所差分プライバシー下、敵対的枠組みにおけるミニマックス密度推定

We consider the problem of nonparametric density estimation under privacy constraints in an adversarial framework. To this end, we study minimax rates over Sobolev spaces under local differential privacy. We first obtain a lower bound which allows us to quantify the impact of privacy compared with the classical framework. Next, we introduce a new Coordinate block privacy mechanism that guarantees local differential privacy, which, coupled with a projection estimator, achieves the minimax optimal rates. Finally, we develop an adaptive procedure which is optimal in the minimax sense up to logarithmic terms.



本論文では、敵対的枠組みにおけるプライバシー制約下でのノンパラメトリック密度推定問題を考察します。そのために、局所差分プライバシーの下でのソボレフ空間上のミニマックスレートを研究します。まず、従来の枠組みと比較してプライバシーの影響を定量化できる下界を導出します。次に、局所差分プライバシーを保証する新しい「座標ブロック・プライバシー・メカニズム」を導入し、これを射影推定量と組み合わせることで、ミニマックス最適レートを達成します。最後に、対数項を除いてミニマックスの意味で最適となる適応的手法を開発します。

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization

A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization / 関数型ミニマックス最適化におけるニューラル確率的勾配降下・上昇法の平均場解析

This paper studies minimax optimization problems defined over infinite-dimensional function classes of over-parameterized two-layer neural networks. In particular, we consider the minimax optimization problem stemming from estimating linear functional equations defined by conditional expectations, where the objective functions are quadratic in the functional spaces. We address (i) the convergence of the stochastic gradient descent-ascent algorithm and (ii) the representation learning of the neural networks. We establish convergence in the mean-field regime by considering the continuous-time, infinite-width limit of the optimization dynamics.Under this regime, stochastic gradient descent-ascent corresponds to a Wasserstein gradient flow over the space of probability measures defined over the space of neural network parameters. We prove that the Wasserstein gradient flow converges globally to a stationary point of the minimax objective at a $\mathcal{O}(T^{-1} + \alpha^{-1} ) $ sublinear rate, and additionally finds the solution to the functional equation when the regularizer of the minimax objective is strongly convex. Here $T$ denotes the time and $\alpha$ is a scaling parameter of the neural networks. In terms of representation learning, our results show that the feature representation induced by the neural networks may deviate from the initial representation by a factor of $\mathcal{O}(\alpha^{-1})$, measured by the Wasserstein distance. Finally, we apply our general results to concrete examples, including policy evaluation, nonparametric instrumental variable regression, and asset pricing.



本論文では、過剰パラメータ化された2層ニューラルネットワークの無限次元関数クラス上で定義されるミニマックス最適化問題を研究します。特に、条件付き期待値によって定義される線形関数方程式の推定に由来するミニマックス最適化問題を考察します。ここでは、関数空間上の目的関数が二次形式となります。我々は、(i)確率的勾配降下・上昇アルゴリズムの収束性と、(ii)ニューラルネットワークによる表現学習、という2つの点に取り組みます。最適化ダイナミクスの連続時間かつ無限幅の極限を考えることで、平均場レジームにおける収束性を確立します。このレジームにおいて、確率的勾配降下・上昇法は、ニューラルネットワークのパラメータ空間上の確率測度空間におけるワッサースタイン勾配流に対応します。我々は、このワッサースタイン勾配流がミニマックス目的関数の定常点へ$\mathcal{O}(T^{-1} + \alpha^{-1})$の劣線形レートで大域的に収束すること、さらにミニマックス目的関数の正則化項が強凸である場合には関数方程式の解を求めることを証明します。ここで、$T$は時間、$ \alpha $はニューラルネットワークのスケーリングパラメータを表します。表現学習の観点からは、ニューラルネットワークによって誘導される特徴表現が、ワッサースタイン距離で測った際に初期表現から$\mathcal{O}(\alpha^{-1})$のオーダーで乖離し得ることを示します。最後に、我々の一般的な結果を、方策評価、ノンパラメトリック操作変数回帰、資産価格決定などの具体例に適用します。

Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies

Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies / メカニズムのスパース性によるノンパラメトリックな部分的非絡み合い表現学習：スパースなアクション、介入、および時間的依存関係

This work introduces a novel principle for disentanglement we call mechanism sparsity regularization, which applies when the latent factors of interest depend sparsely on observed auxiliary variables and/or past latent factors. We propose a representation learning method that induces disentanglement by simultaneously learning the latent factors and the sparse causal graphical model that explains them. We develop a nonparametric identifiability theory that formalizes this principle and shows that the latent factors can be recovered by regularizing the learned causal graph to be sparse, under some assumptions such as the absence of instantaneous causal effects between latent factors. More precisely, we show identifiability up to a novel equivalence relation we call consistency, which allows some latent factors to remain entangled (hence the term partial disentanglement). To describe the structure of this entanglement, we introduce the notions of entanglement graphs and graph preserving functions. We further provide a graphical criterion which guarantees complete disentanglement, that is identifiability up to permutations and element-wise transformations. We demonstrate the scope of the mechanism sparsity principle as well as the assumptions it relies on with several worked out examples. For instance, the framework shows how one can leverage multi-node interventions with unknown targets on the latent factors to disentangle them. We further draw connections between our nonparametric results and the now popular exponential family assumption. Lastly, we propose an estimation procedure based on variational autoencoders and a sparsity constraint and demonstrate it on various synthetic datasets. This work is meant to be a significantly extended version of a work published at CLeaR 2022.



本研究では、「メカニズムのスパース性正則化（mechanism sparsity regularization）」と呼ぶ、新たな分離（disentanglement）の原理を導入します。これは、関心対象である潜在因子が、観測された補助変数や過去の潜在因子にスパースに依存する場合に適用されるものです。我々は、潜在因子とそれらを説明するスパースな因果グラフィカルモデルを同時に学習することで分離を誘導する、表現学習手法を提案します。この原理を定式化するノンパラメトリックな識別可能性理論を展開し、潜在因子間の同時的な因果効果が存在しないといった仮定の下で、学習された因果グラフをスパースにするよう正則化することで潜在因子を復元できることを示します。より正確には、「整合性（consistency）」と呼ぶ新たな同値関係の範囲内での識別可能性を示します。この関係は、一部の潜在因子が分離されずに絡み合ったまま残ることを許容するものです（そのため「部分的分離（partial disentanglement）」と呼びます）。この絡み合いの構造を記述するために、「絡み合いグラフ（entanglement graphs）」および「グラフ保存関数（graph preserving functions）」という概念を導入します。さらに、完全な分離（すなわち、置換および要素ごとの変換を除いた識別可能性）を保証するグラフ的基準を提示します。具体的な例を用いて、「メカニズムのスパース性（稀少性）」という原理の適用範囲と、それが依拠する仮定について説明します。例えば、本フレームワークは、潜在因子に対する介入の対象が未知である場合でも、多ノード介入を活用してそれらを分離する方法を示しています。また、我々のノンパラメトリックな結果と、現在広く用いられている指数型分布族の仮定との関連性についても論じます。最後に、変分オートエンコーダとスパース性制約に基づく推定手法を提案し、様々な合成データセットを用いてその有効性を実証します。本研究は、CLeaR 2022で発表された研究を大幅に拡張したものです。

Corruptions of Supervised Learning Problems: Typology and Mitigations

Corruptions of Supervised Learning Problems: Typology and Mitigations / 教師あり学習問題における汚染（Corruptions）：分類と緩和策

Corruption is notoriously widespread in data collection. Despite extensive research, the existing literature predominantly focuses on specific settings and learning scenarios, lacking aunified view of corruption modelization and mitigation. In this work, we develop a generaltheory of corruption, which incorporates all modifications to a supervised learning problem,including changes in model class and loss. Focusing on changes to the underlying probability distributions via Markov kernels, our approach leads to three novel opportunities.First, it enables the construction of a novel, provably exhaustive corruption framework,distinguishing among different corruption types. This serves to unify existing models andestablish a consistent nomenclature. Second, it facilitates a systematic analysis of corruption consequences on learning tasks, by considering Bayes risks in the clean and corruptedscenarios. Notably, while label corruptions affect only the loss function, attribute corruptions additionally influence the hypothesis class. Third, building upon these results, weinvestigate mitigations for various corruption types. We expand existing loss-correctionmethods for label corruption to handle dependent corruption types. Our findings highlightthe necessity to generalize this classical corruption-corrected learning framework to a newparadigm with weaker requirements to encompass more corruption types. We provide sucha paradigm as well as loss correction formulas in the attribute and joint corruption cases.



データ収集における「汚染（corruption）」は、広く蔓延している問題として知られています。広範な研究が行われているものの、既存の文献は特定の環境や学習シナリオに焦点を当てたものが大半であり、汚染のモデル化や緩和策に関する統一的な見解は欠如しています。本研究では、モデルクラスや損失関数の変更を含む、教師あり学習問題へのあらゆる変更を包含する、汚染に関する一般理論を構築します。マルコフカーネルを介した基礎となる確率分布の変化に着目する本アプローチにより、3つの新たな可能性が開かれます。第一に、異なる汚染タイプを区別しつつ、網羅的であることが証明可能な新しい汚染フレームワークを構築できます。これは、既存モデルの統合や一貫した用語体系の確立に寄与します。第二に、クリーンなシナリオと汚染されたシナリオにおけるベイズリスクを考慮することで、学習タスクに対する汚染の影響を体系的に分析できます。特筆すべき点として、ラベル汚染は損失関数にのみ影響を及ぼすのに対し、属性汚染は仮説クラスにも影響を与えることが挙げられます。第三に、これらの結果に基づき、様々な汚染タイプに対する緩和策を検討します。ラベル汚染に対する既存の損失補正手法を拡張し、依存関係のある汚染タイプにも対応できるようにします。我々の知見は、より多くの汚染タイプを包含するために、この古典的な汚染補正学習フレームワークを、より緩やかな要件を持つ新しいパラダイムへと一般化する必要性を示唆しています。本研究では、そのようなパラダイムを提示するとともに、属性汚染および複合的な汚染（joint corruption）のケースにおける損失補正式を導出します。

Differentially Private Best-Arm Identification

Differentially Private Best-Arm Identification / 差分プライバシーを保証する最適アーム特定

Best Arm Identification (BAI) problems are progressively used for data-sensitive applications, such as designing adaptive clinical trials, tuning hyper-parameters, and conducting user studies. Motivated by the data privacy concerns invoked by these applications, we study the problem of BAI with fixed confidence in both the local and central models, i.e. under $\epsilon$-local and $\epsilon$-global Differential Privacy (DP). First, to quantify the cost of privacy,we derive lower bounds on the sample complexity of any $\delta$-correct BAI algorithm satisfying$\epsilon$-global DP or $\epsilon$-local DP. Our lower bounds suggest the existence of two privacy regimes. In the high-privacy regime, the hardness depends on a coupled effect of privacy and novel information-theoretic quantities involving the Total Variation distance. In the low-privacy regime, the lower bounds reduce to the non-private lower bounds. We propose $\epsilon$-local DP and $\epsilon$-global DP variants of a Top Two algorithm, namely CTB-TT and AdaP-TT$\star$, respectively. For $\epsilon$-local DP, CTB-TT is asymptotically optimal by plugging in a private estimator of the means based on Randomised Response. For $\epsilon$-global DP, our private estimator of the mean runs in arm-dependent adaptive episodes and adds Laplace noise toensure a good privacy-utility trade-off. By adapting the transportation costs, the expected sample complexity of AdaP-TT$\star$ reaches the asymptotic lower bound in the asymptotic high-privacy regime, up to a small multiplicative constant.



「最良アーム特定（Best Arm Identification: BAI）」問題は、適応的臨床試験の設計、ハイパーパラメータの調整、ユーザー調査の実施など、データへの配慮が求められる応用分野でますます利用されるようになっています。こうした応用に伴うデータプライバシーへの懸念を背景に、我々は、ローカルモデルおよびセントラルモデルの双方において、すなわち$\epsilon$-ローカル差分プライバシー（DP）および$\epsilon$-グローバルDPの下で、固定信頼度（fixed confidence）によるBAI問題を研究します。まず、プライバシー保護に伴うコストを定量化するために、$\epsilon$-グローバルDPまたは$\epsilon$-ローカルDPを満たす任意の$\delta$-正当なBAIアルゴリズムのサンプル複雑さに対する下界を導出します。導出された下界は、2つのプライバシー領域（regime）の存在を示唆しています。プライバシー保護が強力な領域（high-privacy regime）では、問題の難易度は、プライバシー保護と、全変動距離（Total Variation distance）を含む新たな情報理論的量との複合的な影響に依存します。一方、プライバシー保護が緩やかな領域（low-privacy regime）では、下界はプライバシー保護を考慮しない場合の下界へと回帰します。我々は、「Top Two」アルゴリズムの$\epsilon$-ローカルDP版および$\epsilon$-グローバルDP版として、それぞれCTB-TTおよびAdaP-TT$\star$を提案します。$\epsilon$-ローカル差分プライバシー（DP）に関しては、ランダム化回答（Randomized Response）に基づく平均のプライベート推定量を組み込むことで、CTB-TTは漸近的に最適となります。$\epsilon$-グローバルDPに対しては、我々の平均のプライベート推定量は、アームに依存する適応的なエピソードで動作し、プライバシーと有用性の良好なトレードオフを確保するためにラプラスノイズを付加します。輸送コストを適切に調整することで、AdaP-TT$\star$の期待サンプル複雑度は、漸近的な高プライバシー領域において、小さな乗法定数を除き、漸近的な下限に到達します。

Vector-Valued Gaussian Processes for Approximating Divergence- or Rotation-free Vector Fields

Vector-Valued Gaussian Processes for Approximating Divergence- or Rotation-free Vector Fields / 発散フリーまたは回転フリーなベクトル場の近似のためのベクトル値ガウス過程

In this paper, we discuss vector-valued Gaussian processes for the approximation of divergence- or rotation-free functions. We establish the theory for such Gaussian processes, then link the theory to multivariate approximation theory, and finally give error estimates forthe predictive mean in various situations.



本論文では、発散フリー（divergence-free）または回転フリー（rotation-free）な関数の近似のための、ベクトル値ガウス過程について論じます。我々は、そのようなガウス過程に関する理論を構築し、その理論を多変数近似理論と結びつけ、最終的に様々な状況下での予測平均に対する誤差評価を提示します。

Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent

Stochastic Differential Equations models for Least-Squares Stochastic Gradient Descent / 最小二乗確率的勾配降下法のための確率微分方程式モデル

We study the dynamics of a continuous-time model of stochastic gradient descent (SGD) for the least-square problem. Indeed, pursuing the work of, we analyze stochastic differential equations (SDEs) that model SGD either in the case of the training loss (finite samples) or the population one (online setting). A key qualitative feature of the dynamics is the existence of a perfect interpolator of the data, irrespective of the sample size. In both scenarios, we provide precise, non-asymptotic rates of convergence to the (possibly degenerate) stationary distribution. Additionally, we describe this asymptotic distribution, offering estimates of its mean, deviations from it, and a proof of the emergence of heavy-tails related to the step-size magnitude. Numerical simulations supporting our findings are also presented.



我々は、最小二乗問題に対する確率的勾配降下法（SGD）の連続時間モデルのダイナミクスを研究します。具体的には、既存の研究を発展させ、学習損失（有限サンプル）の場合と母集団損失（オンライン設定）の場合の双方において、SGDをモデル化する確率微分方程式（SDE）を解析します。このダイナミクスの重要な定性的特徴は、サンプルサイズに関わらず、データに対する完全な補間（perfect interpolator）が存在することです。いずれのシナリオにおいても、（縮退している可能性のある）定常分布への収収束について、漸近的ではない精密な収束レートを提示します。さらに、この漸近分布について、その平均や平均からの偏差の推定、およびステップサイズの大きさに起因するヘビーテール（裾の重い分布）の出現に関する証明を提示します。また、我々の知見を裏付ける数値シミュレーションも示します。

A Fully Parameter-Free Second-Order Algorithm for Convex-Concave Minimax Problems

A Fully Parameter-Free Second-Order Algorithm for Convex-Concave Minimax Problems / 凸凹（Convex-Concave）ミニマックス問題に対する完全パラメータフリーな二次アルゴリズム

In this paper, we study second-order algorithms for the convex-concave minimax problem, which has attracted much attention in many fields such as machine learning in recent years. We propose a Lipschitz-free cubic regularization (LF-CR) algorithm for solving the convex-concave minimax optimization problem without knowing the Lipschitz constant. It can be shown that the iteration complexity of the LF-CR algorithm to obtain an $\epsilon$-optimal solution with respect to the restricted primal-dual gap is upper bounded by $\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^2\epsilon^{-2/3})$ , where $z_0=(x_0,y_0)$ is a pair of initial points, $z^*=(x^*,y^*)$ is a pair of optimal solutions, and $\rho$ is the Lipschitz constant. We further propose a fully parameter-free cubic regularization (FF-CR) algorithm that does not require any parameters of the problem, including the Lipschitz constant and the upper bound of the distance from the initial point to the optimal solution. We also prove that the iteration complexity of the FF-CR algorithm to obtain an $\epsilon$-optimal solution with respect to the gradient norm is upper bounded by $\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^{4/3}\epsilon^{-2/3}) $. Numerical experiments show the efficiency of both algorithms. To the best of our knowledge, the proposed FF-CR algorithm is a completely parameter-free second-order algorithm, and its iteration complexity is currently the best in terms of $\epsilon$ under the termination criterion of the gradient norm.



本論文では、近年機械学習などの多くの分野で注目を集めている凸・凹ミニマックス問題に対する二次アルゴリズムについて研究します。我々は、リプシッツ定数を事前に知ることなく凸・凹ミニマックス最適化問題を解くための、リプシッツ定数不要な（Lipschitz-free）三次正則化（LF-CR）アルゴリズムを提案します。LF-CRアルゴリズムを用いて、制限付き主双対ギャップ（restricted primal-dual gap）に関して$\epsilon$最適解を得るための反復計算量は、$\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^2\epsilon^{-2/3})$で上界評価できることが示されます。ここで、$z_0=(x_0,y_0)$は初期点の組、$z^*=(x^*,y^*)$は最適解の組、$\rho$はリプシッツ定数です。さらに我々は、リプシッツ定数や初期点から最適解までの距離の上界など、問題に関するいかなるパラメータも必要としない、完全パラメータフリーな三次正則化（FF-CR）アルゴリズムを提案します。また、FF-CRアルゴリズムを用いて勾配ノルムに関して$\epsilon$最適解を得るための反復計算量が、$\mathcal{O}(\rho^{2/3}\|z_0-z^*\|^{4/3}\epsilon^{-2/3})$で上界評価できることも証明します。数値実験により、両アルゴリズムの有効性が示されます。我々の知る限り、提案するFF-CRアルゴリズムは完全にパラメータフリーな二次アルゴリズムであり、その反復計算量は、勾配ノルムに基づく停止基準の下で、$\epsilon$に関する依存性において現在最良のものです。

Limiting Over-Smoothing and Over-Squashing of Graph Message Passing by Deep Scattering Transforms

Limiting Over-Smoothing and Over-Squashing of Graph Message Passing by Deep Scattering Transforms / Deep Scattering Transformによるグラフメッセージパッシングの過剰平滑化（Over-smoothing）および過剰圧縮（Over-squashing）の抑制

Graph neural networks (GNNs) have become pivotal tools for processing graph-structured data, leveraging the message passing scheme as their core mechanism. However, traditional GNNs often grapple with issues such as instability, over-smoothing, and over-squashing, which can degrade performance and create a trade-off dilemma. In this paper, we introduce a discriminatively trained, multi-layer Deep Scattering Message Passing (DSMP) neural network designed to overcome these challenges. By harnessing spectral transformation, the DSMP model aggregates neighboring nodes with global information, thereby enhancing the precision and accuracy of graph signal processing. We provide theoretical proofs demonstrating the DSMP’s effectiveness in mitigating these issues under specific conditions. Additionally, we support our claims with empirical evidence and thorough frequency analysis, showcasing the DSMP’s superior ability to address instability, over-smoothing, and over-squashing.



グラフニューラルネットワーク（GNN）は、メッセージパッシングの仕組みを中核として活用し、グラフ構造データの処理において極めて重要なツールとなっています。しかし、従来のGNNは、不安定性、過剰平滑化（over-smoothing）、過剰圧縮（over-squashing）といった問題に直面することが多く、これらは性能低下やトレードオフのジレンマを招く可能性があります。本論文では、これらの課題を克服するために設計された、識別的に学習される多層Deep Scattering Message Passing（DSMP）ニューラルネットワークを導入します。DSMPモデルはスペクトル変換を活用することで、近傍ノードの情報を大域的な情報と統合し、それによってグラフ信号処理の精度と正確性を向上させます。我々は、特定の条件下においてDSMPがこれらの問題を緩和する有効性を示す理論的証明を提示します。さらに、実証的な証拠と詳細な周波数解析によって主張を裏付け、不安定性、過剰な平滑化（over-smoothing）、および過剰な圧縮（over-squashing）に対処するDSMPの優れた能力を実証します。

Multi-relational Network Autoregression Model with Latent Group Structures

Multi-relational Network Autoregression Model with Latent Group Structures / 潜在的なグループ構造を伴う多重関係ネットワーク自己回帰モデル

Multi-relational networks among entities are frequently observed in the era of big data. Quantifying the effects of multiple networks has attracted significant research interest recently. In this work, we model multiple network effects through an autoregressive framework for tensor-valued time series. To characterize the potential heterogeneity of the networks and handle the high dimensionality of the time series data simultaneously, we assume a separate group structure for entities in each network and estimate all group memberships in a data-driven fashion. Specifically, we propose a group tensor network autoregression (GTNAR) model, which assumes that within each network, entities in the same group share the same set of model parameters, and the parameters differ across networks. An iterative algorithm is developed to estimate the model parameters and the latent group memberships simultaneously. Theoretically, we show that the group-wise parameters and group memberships can be consistently estimated when the group numbers are correctly or possibly over-specified. An information criterion for estimating the group number for each network is also provided to consistently select the group numbers. Lastly, we apply the GTNAR method to a Yelp dataset to illustrate its usefulness.



ビッグデータ時代において、エンティティ間の多重関係ネットワークは頻繁に見られます。複数のネットワークが及ぼす影響を定量化することは、近年、大きな研究関心を集めています。本研究では、テンソル値時系列に対する自己回帰の枠組みを用いて、多重ネットワークの影響をモデル化します。ネットワークが持つ潜在的な異質性を特徴づけつつ、時系列データの高次元性にも同時に対処するため、各ネットワーク内のエンティティに対して個別のグループ構造を仮定し、データ駆動型の手法ですべてのグループ所属を推定します。具体的には、グループ・テンソル・ネットワーク自己回帰（GTNAR）モデルを提案します。このモデルは、各ネットワーク内において同一グループのエンティティが同じモデルパラメータを共有し、かつパラメータがネットワーク間で異なることを仮定するものです。モデルパラメータと潜在的なグループ所属を同時に推定するための反復アルゴリズムも開発しました。理論面では、グループ数が正しく指定された場合、あるいは過剰に指定された場合であっても、グループごとのパラメータとグループ所属を一致性を持って推定できることを示します。また、各ネットワークのグループ数を一致性を持って選択するための情報量基準も提示します。最後に、YelpのデータセットにGTNAR手法を適用し、その有用性を示します。

Enhancing Accuracy in Generative Models via Knowledge Transfer

Enhancing Accuracy in Generative Models via Knowledge Transfer / 知識転移による生成モデルの精度向上

This paper investigates the accuracy of generative models and the impact of knowledge transfer on their generation precision. Specifically, we examine a generative model for a target task, fine-tuned using a pre-trained model from a source task. Building on the “Shared Embedding” concept, which bridges the source and target tasks, we introduce a novel framework for transfer learningunder distribution metrics such as the Kullback-Leibler divergence. This framework underscores the importance of leveraging inherent similarities between diverse tasks despite their distinct data distributions. Our theory suggests that the shared structures can augment the generation accuracy for a target task, reliant on the capability of a source model to identify shared structures and effective knowledge transfer from source to target learning. To demonstrate the practical utility of this framework, we explore the theoretical implications for two specific generative models: diffusion and normalizing flows. The results show enhanced performance in both models over their non-transfer counterparts, indicating advancements for diffusion models and providing fresh insights into normalizing flows in transfer and non-transfer settings. These results highlight the significant contribution of knowledge transfer in boosting the generation capabilities of these models.



本論文では、生成モデルの精度と、知識転移が生成精度に及ぼす影響について調査します。具体的には、ソースタスクで事前学習されたモデルを用いてファインチューニングされた、ターゲットタスク向けの生成モデルを検討します。ソースタスクとターゲットタスクを橋渡しする「共有埋め込み（Shared Embedding）」の概念に基づき、カルバック・ライブラー・ダイバージェンスなどの分布間距離指標の下での転移学習のための新しいフレームワークを導入します。このフレームワークは、データ分布が異なる多様なタスク間であっても、それらが持つ本質的な類似性を活用することの重要性を強調するものです。我々の理論によれば、ソースモデルが共有構造を特定する能力と、ソースからターゲットへの効果的な知識転移が行われることを前提として、共有構造はターゲットタスクにおける生成精度を向上させることができます。このフレームワークの実用的な有用性を示すため、拡散モデル（diffusion models）と正規化流（normalizing flows）という2つの具体的な生成モデルについて、理論的な含意を検討します。その結果、両モデルとも転移学習を行わない場合と比較して性能が向上することが示されました。これは拡散モデルにおける進歩を示すとともに、転移学習および非転移学習の各設定における正規化流について新たな知見を提供するものです。これらの結果は、これらモデルの生成能力を向上させる上で、知識転移が重要な役割を果たすことを浮き彫りにしています。

Demographic Parity in Regression and Classification Within the Unawareness Framework

Demographic Parity in Regression and Classification Within the Unawareness Framework / 「非認識（Unawareness）」の枠組みにおける回帰および分類での人口統計学的パリティ（Demographic Parity）

This paper explores the theoretical foundations of fair regression under the constraint of demographic parity within the unawareness framework, where disparate treatment is prohibited, extending existing results where such treatment is permitted. Specifically, we aim to characterize the optimal fair regression function when minimizing the quadratic loss. Our results reveal that this function is given by the solution to a barycenter problem with optimal transport costs. Additionally, we study the connection between optimal fair cost-sensitive classification, and optimal fair regression. We demonstrate that nestedness of the decision sets of the classifiers is both necessary and sufficient to establish a form of equivalence between classification and regression. Under this nestedness assumption, the optimal classifiers can be derived by applying thresholds to the optimal fair regression function; conversely, the optimal fair regression function is characterized by the family of cost-sensitive classifiers.



本論文では、差別的な扱いが許容される既存の研究を拡張し、差別的な扱いが禁止される「無知（unawareness）」の枠組みの下、人口統計学的パリティ（demographic parity）の制約を課した公平な回帰分析の理論的基礎を探求します。具体的には、二乗損失を最小化する際の最適な公平回帰関数を特定することを目的とします。その結果、この関数は最適輸送コストを伴う重心問題（barycenter problem）の解として与えられることが明らかになった。さらに、最適な公平コスト敏感型分類（cost-sensitive classification）と最適な公平回帰との関連性についても検討します。分類器の決定集合が包含関係（nestedness）にあることが、分類と回帰の間に一種の等価性を成立させるための必要十分条件であることを示す。この包含関係の仮定の下では、最適な公平回帰関数にしきい値を適用することで最適な分類器を導出でき、逆に、最適な公平回帰関数はコスト敏感型分類器の族によって特徴付けられます。

Differentially Private Estimation and Inference in High-Dimensional Regression with FDR Control

Differentially Private Estimation and Inference in High-Dimensional Regression with FDR Control / FDR制御を伴う高次元回帰における差分プライバシー保護下の推定と推論

This paper proposes new methodologies for conducting practical differentially private (DP) estimation and inference in high-dimensional linear regression. We first introduce a DP Bayesian Information Criterion (DP-BIC) for selecting the unknown sparsity parameter in differentially private sparse linear regression (DP-SLR), eliminating the need for prior knowledge of model sparsity, which is a requisite in the existing literature. Next, we develop the DP debiased algorithm that enables privacy-preserving inference on a particular subset of regression parameters. Our proposed method enables privacy-preserving inference on the regression parameters by leveraging the inherent sparsity of high-dimensional linear regression models. Additionally, we address private feature selection by considering multiple testing in high-dimensional linear regression by introducing a DP multiple testing procedure that controls the false discovery rate (FDR). This allows for accurate and privacy-preserving identification of significant predictors in the regression model. Through extensive simulations and real data analyses, we demonstrate the effectiveness of our proposed methods in conducting inference for high-dimensional linear models while safeguarding privacy and controlling the FDR.



本論文では、高次元線形回帰において実用的な差分プライバシー（DP）に基づく推定および推論を行うための新しい手法を提案します。まず、差分プライバシー・スパース線形回帰（DP-SLR）における未知のスパース性パラメータを選択するためのDPベイズ情報量規準（DP-BIC）を導入します。これにより、既存の研究では必須とされていたモデルのスパース性に関する事前知識が不要となります。次に、回帰パラメータの特定のサブセットに対してプライバシーを保護しつつ推論を行うことを可能にする、DP（差分プライバシー）対応の非バイアス化アルゴリズムを開発します。提案手法は、高次元線形回帰モデルが本来持つスパース性を活用することで、回帰パラメータに関するプライバシー保護推論を実現します。さらに、偽発見率（FDR）を制御するDP多重検定手順を導入し、高次元線形回帰における多重検定を考慮することで、プライバシーを保護した特徴量選択にも取り組みます。これにより、回帰モデルにおける有意な予測変数を、精度を維持しつつプライバシーを保護して特定することが可能になります。広範なシミュレーションおよび実データ解析を通じて、プライバシーを保護しFDRを制御しつつ高次元線形モデルの推論を行う上で、提案手法が有効であることを実証します。

Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data

Beyond Unconstrained Features: Neural Collapse for Shallow Neural Networks with General Data / 制約のない特徴量を超えて：一般的なデータを用いた浅いニューラルネットワークにおけるニューラル・コラプス（Neural Collapse）

Neural collapse (${\cal NC}$) is a phenomenon that emerges at the terminal phase of the training (TPT) of deep neural networks (DNNs). The features of the data in the same class collapse to their respective sample means and the sample means exhibit a simplex equiangular tight frame (ETF). In the past few years, there has been a surge of works that focus on explaining why the ${\cal NC}$ occurs and how it affects generalization. Since the DNNs are notoriously difficult to analyze, most works mainly focus on the unconstrained feature model (UFM). While the UFM explains the ${\cal NC}$ to some extent, it fails to provide a complete picture of how the network architecture and the dataset affect ${\cal NC}$. In this work, we focus on shallow ReLU neural networks and try to understand how the width, depth, data dimension, and statistical property of the training dataset influence the neural collapse. We provide a complete characterization of when the ${\cal NC}$ occurs for two or three-layer neural networks. For two-layer ReLU neural networks, a sufficient condition on when the global minimizer of the regularized empirical risk function exhibits the ${\cal NC}$ configuration depends on the data dimension, sample size, and the signal-to-noise ratio in the data instead of the network width. For three-layer neural networks, we show that the ${\cal NC}$ occurs as long as the first layer is sufficiently wide. Regarding the connection between ${\cal NC}$ and generalization, we show the generalization heavily depends on the SNR (signal-to-noise ratio) in the data: even if the ${\cal NC}$ occurs, the generalization can still be bad provided that the SNR in the data is too low. Our results significantly extend the state-of-the-art theoretical analysis of the ${\cal NC}$ under the UFM by characterizing the emergence of the ${\cal NC}$ under shallow nonlinear networks and showing how it depends on data properties and network architecture.



ニューラル・コラプス（Neural Collapse: NC）は、深層ニューラルネットワーク（DNN）の学習の最終段階（TPT）で生じる現象です。この現象では、同一クラスのデータ特徴量がそれぞれのサンプル平均へと収束（コラプス）し、それらのサンプル平均がシンプレックス等角タイトフレーム（ETF）を形成します。近年、なぜNCが生じるのか、そしてそれが汎化性能にどのような影響を与えるのかを解明する研究が急増しています。DNNの解析は極めて困難であるため、多くの研究は主に「制約なし特徴量モデル（UFM）」に焦点を当ててきました。UFMはある程度NCを説明できるものの、ネットワーク構造やデータセットがNCに与える影響の全体像を捉えるには至っていません。本研究では、浅いReLUニューラルネットワークに焦点を当て、ネットワークの幅、深さ、データの次元、および学習データセットの統計的性質がNCにどのような影響を及ぼすかを解明しようと試みます。我々は、2層または3層のニューラルネットワークにおいてNCが生じる条件を完全に特定します。2層ReLUニューラルネットワークの場合、正則化経験的リスク関数の大域的最小化解がNCの構成を示すための十分条件は、ネットワークの幅ではなく、データの次元、サンプルサイズ、およびデータの信号対雑音比（SNR）に依存することが示されます。3層ニューラルネットワークについては、第1層の幅が十分に広ければNCが生じることを示します。NCと汎化性能の関連性に関しては、汎化性能がデータのSNRに大きく依存することを明らかにします。すなわち、データのSNRが低すぎる場合には、NCが生じていたとしても汎化性能が悪化し得るのです。本研究の結果は、浅い非線形ネットワークにおけるNCの発生を特徴づけ、それがデータの性質やネットワーク構造にどのように依存するかを示すことで、UFM下でのNCに関する最先端の理論的解析を大きく拡張するものです。

Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models

Asymptotics of Stochastic Gradient Descent with Dropout Regularization in Linear Models / 線形モデルにおけるドロップアウト正則化付き確率的勾配降下法の漸近挙動

This paper proposes an asymptotic theory for online inference of the stochastic gradient descent (SGD) iterates with dropout regularization in linear regression. Specifically, we establish the geometric-moment contraction (GMC) for constant step-size SGD dropout iterates to show the existence of a unique stationary distribution of the dropout recursive function. Based on the GMC property, we use the functional dependence measure to provide quenched central limit theorems (CLT) for the gradient descent iterates with dropout regularization. Moreover, we obtain CLTs for the Ruppert-Polyak averaged GD (AGD) and averaged SGD (ASGD) iterates with dropout. Based on these asymptotic normality results, we further introduce an online estimator for the long-run covariance matrix of ASGD dropout to facilitate inference in a recursive manner with efficiency in computational time and memory. The numerical experiments demonstrate that for large samples, the proposed confidence intervals for ASGD with dropout achieve the nominal coverage probability.



本論文では、線形回帰におけるドロップアウト正則化を伴う確率的勾配降下法（SGD）の反復系列のオンライン推論に関する漸近理論を提案します。具体的には、一定ステップサイズのSGDドロップアウト反復系列に対して幾何学的モーメント縮約（GMC）を確立し、ドロップアウト再帰関数の唯一の定常分布の存在を示します。GMC（幾何学的混合条件）の性質に基づき、関数的依存性尺度を用いて、ドロップアウト正則化を伴う勾配降下法（GD）の反復系列に対するクエンチド中心極限定理（CLT）を導出します。さらに、ドロップアウトを伴うRuppert-Polyak平均化GD（AGD）および平均化SGD（ASGD）の反復系列についてもCLTを導きます。これらの漸近正規性の結果を踏まえ、計算時間とメモリの効率性を保ちつつ再帰的な推論を可能にする、ASGD（ドロップアウトあり）の長期共分散行列に対するオンライン推定量を提案します。数値実験により、大規模なサンプルにおいて、提案されたASGD（ドロップアウトあり）の信頼区間が所定の被覆確率を達成することが示されます。

Almost Sure Convergence of Linear Temporal Difference Learning with Arbitrary Features

Almost Sure Convergence of Linear Temporal Difference Learning with Arbitrary Features / 任意の（一般の）特徴量を用いた線形時間差分学習の概収束性

Temporal difference (TD) learning with linear function approximation (linear TD) is a classic and powerful prediction algorithm in reinforcement learning. While it is well-understood that linear TD converges almost surely to a unique point, this convergence traditionally requires the assumption that the features used by the approximator are linearly independent. However, this linear independence assumption does not hold in many practical scenarios. This work is the first to establish the almost sure convergence of linear TD without requiring linearly independent features. We prove that the weight iterates of linear TD converge to a bounded set, and that the value estimates derived from the weights in that set are the same almost everywhere. We also establish a notion of local stability of the weight iterates. Importantly, we do not impose assumptions tailored to feature dependence and do not modify the linear TD algorithm. Key to our analysis is a novel characterization of bounded invariant sets of the mean ODE of linear TD.



線形関数近似を用いた時間差分（TD）学習（線形TD）は、強化学習における古典的かつ強力な予測アルゴリズムです。線形TDが一意の点に概収束することはよく知られていますが、この収束には従来、近似器で使用される特徴量が線形独立であるという仮定が必要とされてきました。しかし、多くの実用的なシナリオでは、この線形独立性の仮定は成り立ちません。本研究は、特徴量の線形独立性を仮定することなく、線形TDの概収束を確立した最初のものです。我々は、線形TDの重み反復系列がある有界集合に収束すること、およびその集合内の重みから導出される価値推定値が至る所（almost everywhere）で一致することを証明します。また、重み反復系列の局所安定性という概念も確立します。重要な点として、特徴量の依存性に特化した仮定を課すことはなく、線形TDアルゴリズムの変更も行いません。我々の解析の鍵となるのは、線形TDの平均常微分方程式（mean ODE）における有界不変集合の新たな特徴付けです。

Convergence of Noise-Free Sampling Algorithms with Regularized Wasserstein Proximals

Convergence of Noise-Free Sampling Algorithms with Regularized Wasserstein Proximals / 正則化Wasserstein近接作用素を用いたノイズフリー・サンプリングアルゴリズムの収束性

In this work, we investigate the convergence properties of the backward regularized Wasserstein proximal (BRWP) method for sampling a target distribution. The BRWP approach can be shown as a semi-implicit time discretization for a probability flow ODE with the score function whose density satisfies the Fokker-Planck equation of the overdamped Langevin dynamics. Specifically, the evolution of the density-hence the score function-is approximated via a kernel representation derived from the regularized Wasserstein proximal operator. By applying the dual formulation and a localized Taylor series to obtain the asymptotic expansion of this kernel formula, we establish guaranteed convergence in terms of the Kullback-Leibler divergence for the BRWP method towards a strongly log-concave target distribution. Our analysis also identifies the optimal and maximum step sizes for convergence. Furthermore, we demonstrate that the deterministic and semi-implicit BRWP scheme outperforms many classical Langevin Monte Carlo methods, such as the Unadjusted Langevin Algorithm (ULA), by offering faster convergence and reduced bias. Numerical experiments further validate the convergence analysis of the BRWP method.



本研究では、ターゲット分布からサンプリングを行うための後退正則化ワッサースタイン近接（BRWP）法の収束特性を調査します。BRWP法は、過減衰ランジュバン力学のフォッカー・プランク方程式を満たす密度を持つスコア関数を用いた確率流常微分方程式（ODE）に対する、半陰的な時間離散化手法として解釈できます。具体的には、密度（ひいてはスコア関数）の時間発展を、正則化ワッサースタイン近接作用素から導出されるカーネル表現を用いて近似します。双対定式化と局所的なテイラー展開を適用してこのカーネル式の漸近展開を導くことで、強対数凹なターゲット分布に対するBRWP法のカルバック・ライブラー（KL）ダイバージェンスの意味での収束を保証します。また、我々の解析により、収束のための最適ステップサイズおよび最大ステップサイズも特定されます。さらに、決定論的かつ半陰的なBRWPスキームは、非調整ランジュバンアルゴリズム（ULA）などの多くの古典的なランジュバン・モンテカルロ法と比較して、より速い収束と低減されたバイアスを実現し、それらを凌駕することを示します。数値実験によっても、BRWP法の収束解析の妥当性が裏付けられます。

Best Arm Identification with Minimal Regret

Best Arm Identification with Minimal Regret / 最小リグレットでの最適アーム特定

Motivated by real-world applications that necessitate responsible experimentation, we introduce the problem of best arm identification (BAI) with minimal regret. This variant of the multi-armed bandit problem elegantly amalgamates two of its most ubiquitous objectives: regret minimization and BAI. More precisely, the agent’s goal is to identify the best arm with a prescribed confidence level $\delta$, while minimizing the cumulative regret up to the stopping time. Focusing on single-parameter exponential families of distributions, we leverage information-theoretic techniques to establish an instance-dependent lower bound on the expected cumulative regret. Moreover, we present an impossibility result that underscores the tension between cumulative regret and sample complexity in fixed-confidence BAI. Complementarily, we design and analyze the Double KL-UCB algorithm, which achieves asymptotic optimality as the confidence level tends to zero. Notably, this algorithm employs two distinct confidence bounds to guide arm selection in a randomized manner. Our findings elucidate a fresh perspective on the inherent connections between regret minimization and BAI.



責任ある実験が求められる現実世界の応用事例に動機づけられ、我々は最小リグレットでの「最良アーム特定（BAI）」問題を導入します。多腕バンディット問題のこの変種は、同問題における最も一般的な二つの目的、すなわちリグレット最小化とBAIを巧みに融合させたものです。より正確には、エージェントの目標は、停止時刻までの累積リグレットを最小化しつつ、所定の信頼水準$\delta$で最良のアームを特定することにあります。単一パラメータ指数型分布族に焦点を当て、情報理論的手法を活用することで、期待累積リグレットに関するインスタンス依存の下界を確立します。さらに、固定信頼水準BAIにおける累積リグレットとサンプル複雑性の間のトレードオフを浮き彫りにする不可能性の結果を提示します。これと相補的に、信頼水準がゼロに近づくにつれて漸近的最適性を達成する「Double KL-UCB」アルゴリズムを設計・解析します。特筆すべき点として、このアルゴリズムは二つの異なる信頼限界を用い、確率的な手法でアーム選択を行います。我々の知見は、リグレット最小化とBAIの間に存在する本質的な関連性について、新たな視点を提示するものです。

On the Relevance of Byzantine Robust Optimization Against Data Poisoning

On the Relevance of Byzantine Robust Optimization Against Data Poisoning / データポイズニングに対するビザンチン耐性最適化の意義について

The success of machine learning (ML) has been intimately linked with the availability oflarge amounts of data, typically collected from heterogeneous sources and processed onvast networks of computing devices (also called workers). Beyond accuracy, the use of MLin critical domains such as healthcare and autonomous driving calls for robustness againstdata poisoning and some faulty workers. The problem of Byzantine ML formalizes theserobustness issues by considering a distributed ML environment in which workers (storinga portion of the global dataset) can deviate arbitrarily from the prescribed algorithm.Although the problem has attracted a lot of attention from a theoretical point of view, itspractical importance for addressing realistic faults (where the behavior of any worker islocally constrained) remains unclear. It has been argued that the seemingly weaker threatmodel where only workers’ local datasets get poisoned is more reasonable. We prove that,while tolerating a wider range of faulty behaviors, Byzantine ML yields solutions that are,in a precise sense, optimal even under the weaker data poisoning threat model. Then, westudy a generic data poisoning model wherein some workers have fully-poisonous local data, i.e., their datasets are entirely corruptible, and the remainders have partially-poisonous local data, i.e., only a fraction of their local datasets is corruptible. We prove that Byzantine-robust schemes yield optimal solutions against both these forms of data poisoning, and that the former is more harmful when workers have heterogeneous local data.



機械学習（ML）の成功は、大量のデータの利用可能性と密接に結びついてきました。これらのデータは通常、異種混合のソースから収集され、計算デバイス（ワーカーとも呼ばれる）からなる巨大なネットワーク上で処理されます。医療や自動運転といった重要な領域で機械学習（ML）を利用する場合、単なる予測精度だけでなく、データポイズニングや一部の不具合のある（あるいは悪意ある）ワーカーに対する堅牢性が求められます。「ビザンチンML」の問題設定は、ワーカー（グローバルデータセットの一部を保持）が所定のアルゴリズムから恣意的に逸脱し得る分散ML環境を想定することで、こうした堅牢性の課題を定式化するものです。この問題は理論的な観点からは大きな注目を集めてきましたが、現実的な障害（ワーカーの挙動が局所的に制約されるような状況）に対処する上での実用的な重要性については、依然として不明確な点があります。ワーカーのローカルデータセットのみが汚染されるという、一見すると脅威の度合いが低いモデルの方が、より現実的で妥当であるという指摘もなされています。本研究では、より広範な不具合挙動を許容しつつも、ビザンチンMLの手法が、この「より弱い」データポイズニングの脅威モデルの下であっても、厳密な意味で最適な解をもたらすことを証明します。さらに、一部のワーカーが完全に汚染されたローカルデータ（すなわちデータセット全体が改ざんされ得る）を持ち、残りのワーカーが部分的に汚染されたローカルデータ（すなわちデータセットの一部のみが改ざんされ得る）を持つような、一般的なデータポイズニングモデルについても検討します。そして、ビザンチン堅牢性を持つ手法がこれら双方のデータポイズニングに対して最適解をもたらすこと、また、ワーカーが不均一なローカルデータを持つ場合には前者（完全な汚染）の方がより深刻な影響を及ぼすことを証明します。

Node Regression on Latent Position Random Graphs via Local Averaging

Node Regression on Latent Position Random Graphs via Local Averaging / 局所平均化を用いた潜在位置ランダムグラフ上のノード回帰

Node regression consists in predicting the value of a graph label at a node, given observations at the other nodes. We perform a theoretical study where the graph is generated bya Latent Position Model: each node has a latent position and the probability of connectiondepends on the distance between latent positions.We begin by studying the simplest estimator: averaging the label at all neighboringnodes. We show that in Latent Position Models this estimator tends to a Nadaraya-Watsonestimator in the latent space, with the same rate of convergence.One issue with this estimator is that it averages over all neighbors of a node, which maybe too large or too small a region depending on the graph model. An alternative consistsin first estimating the “true” distances between latent positions, then injecting these intoa classical Nadaraya-Watson estimator. This enables averaging in regions either smalleror larger than the typical graph neighborhood. We show that this method can achievestandard nonparametric rates even when the graph neighborhood is too large or too small.



ノード回帰とは、グラフ上の他のノードでの観測値に基づいて、あるノードにおけるグラフ・ラベルの値を予測する手法です。本研究では、潜在位置モデル（Latent Position Model）によって生成されるグラフを対象に理論的な検討を行います。このモデルでは、各ノードが潜在位置を持ち、ノード間の接続確率はそれらの潜在位置間の距離に依存します。まず、最も単純な推定量を検討します。これは、すべての近傍ノードのラベルを平均化するものです。潜在位置モデルにおいて、この推定量は潜在空間上のナダラヤ・ワトソン（Nadaraya-Watson）推定量に収束し、その収束速度も同等であることを示します。この推定量の課題の一つは、ノードのすべての近傍を平均化の対象とすることですが、グラフモデルによっては、その領域が広すぎたり狭すぎたりする可能性があります。代替案として、まず潜在位置間の「真の」距離を推定し、それを従来のナダラヤ・ワトソン推定量に組み込む手法があります。これにより、グラフ上の典型的な近傍領域よりも狭い範囲や広い範囲での平均化が可能になります。本手法を用いれば、グラフ上の近傍領域が広すぎる場合や狭すぎる場合であっても、標準的なノンパラメトリック推定における収束速度を達成できることを示します。

Towards Convexity in Anomaly Detection: A New Formulation of SSLM with Unique Optimal Solutions

Towards Convexity in Anomaly Detection: A New Formulation of SSLM with Unique Optimal Solutions / 異常検知における凸性の実現に向けて：一意な最適解を持つSSLMの新たな定式化

An unsolved issue in widely used methods such as Support Vector Data Description (SVDD) and Small Sphere and Large Margin SVM (SSLM) for anomaly detection is their nonconvexity, which hampers the analysis of optimal solutions in a manner similar to SVMs and limits their applicability in large-scale scenarios. In this paper, we introduce a novel convex SSLM formulation which has been demonstrated to revert to a convex quadratic programming problem for hyperparameter values of interest. Leveraging the convexity of our method, we derive numerous results that are unattainable with traditional nonconvex approaches. We conduct a thorough analysis of how hyperparameters influence the optimal solution, pointing out scenarios where optimal solutions can be trivially found and identifying instances of illposedness. Most notably, we establish connections between our method and traditional approaches, providing a clear determination of when the optimal solution is unique-a task unachievable with traditional nonconvex methods. We also derive the $\nu$-property to elucidate the interactions between hyperparameters and the fractions of support vectors and margin errors in both positive and negative classes.



異常検知に広く用いられているSVDD（Support Vector Data Description）やSSLM（Small Sphere and Large Margin SVM）といった手法には、非凸性という未解決の課題があります。この非凸性は、SVMの場合と同様に最適解の解析を困難にし、大規模なシナリオへの適用を制限する要因となっています。本論文では、特定のハイパーパラメータ値において凸二次計画問題に帰着することが示されている、新しい凸SSLMの定式化を提案します。提案手法の凸性を活用することで、従来の非凸なアプローチでは得られなかった数多くの知見を導き出します。ハイパーパラメータが最適解に与える影響について詳細な解析を行い、最適解が自明に求められるシナリオや、問題が適切に定義されない（ill-posedな）ケースを特定します。特に重要な点として、提案手法と従来手法との関連性を明らかにし、最適解が一意に定まる条件を明確に示します。これは、従来の非凸な手法では達成できなかったことです。さらに、$\nu$特性を導出することで、ハイパーパラメータと、正・負の各クラスにおけるサポートベクターやマージン誤差の割合との相互関係を明らかにします。

Transfer Conformal Predictive Inference for Regression

Transfer Conformal Predictive Inference for Regression / 回帰のための転移共形予測推論

Conformal prediction, a powerful framework for constructing prediction intervals for response variables using any regression function estimators, often faces the challenge of producing overly broad intervals with limited target data. In this paper, we study the transfer learning problem in conformal prediction, aiming to improve the precision of the prediction interval of the target data with insufficient data by leveraging related auxiliary source datasets. Allowing for the potential non-exchangeability between source and target datasets, we propose two transfer conformal prediction algorithms designed for scenarios where knowledge of informative source data is either present or absent. Our approach uses conditional Kullback-Leibler divergence to effectively identify relevant source datasets for transfer. A comprehensive theoretical analysis of the non-asymptotic properties of the proposed algorithms is provided, including lower and upper bounds, and the prediction interval width. These results illustrate the potential to achieve more efficient, narrower intervals without compromising coverage accuracy. Empirical results from extensive simulations and real-world data confirm the efficacy of our methods, demonstrating significant improvements in prediction interval precision by leveraging source data, achieving narrower intervals while maintaining desired coverage levels.



任意の回帰関数推定量を用いて応答変数の予測区間を構築する強力な枠組みであるコンフォーマル予測（Conformal prediction）は、対象となるデータが限られている場合、予測区間が過度に広くなってしまうという課題に直面することがよくあります。本論文では、データが不足しているターゲットデータに対する予測区間の精度を向上させることを目指し、関連する補助的なソースデータセットを活用するコンフォーマル予測における転移学習の問題を検討します。ソースデータセットとターゲットデータセットの間に交換可能性が成り立たない可能性を考慮し、有益なソースデータに関する知識の有無に応じた2つの転移コンフォーマル予測アルゴリズムを提案します。我々のアプローチでは、条件付きカルバック・ライブラー・ダイバージェンスを用いて、転移に適したソースデータセットを効果的に特定します。提案アルゴリズムの非漸近的な性質（下限・上限や予測区間の幅など）について、包括的な理論的解析を行います。これらの結果は、カバレッジ精度を損なうことなく、より効率的で幅の狭い予測区間を実現できる可能性を示しています。広範なシミュレーションおよび実データを用いた実験結果により、本手法の有効性が裏付けられました。具体的には、ソースデータを活用することで予測区間の精度が大幅に向上し、所望のカバレッジ水準を維持しつつ、より幅の狭い区間を実現できることが示されました。

Generalized Resubstitution for Regression Error Estimation

Generalized Resubstitution for Regression Error Estimation / 回帰誤差推定のための一般化再代入法

We propose generalized resubstitution error estimators for regression. Each error estimator in this class corresponds to a choice of an empirical probability measure and a loss function. The standard empirical probability measure and the quadratic loss lead to the standard sum of squares error estimator. Other choices of empirical probability measure lead to more general estimators with superior bias and variance properties. We prove that these error estimators are consistent under broad assumptions. In addition, procedures for choosing the empirical measure based on the method of moments and maximum pseudo-likelihood are proposed and investigated. Detailed experimental results using polynomial regression demonstrate empirically the superior finite-sample bias and variance properties of the proposed estimators. The R code for the experiments is provided.



本論文では、回帰分析のための一般化された再代入誤差推定量を提案します。このクラスに属する各誤差推定量は、経験確率測度と損失関数の選択に対応しています。標準的な経験確率測度と二乗損失を用いると、通常の「二乗和誤差」推定量が得られます。一方、経験確率測度を適切に選択することで、バイアスや分散の特性においてより優れた、より一般的な推定量を得ることが可能です。我々は、広範な仮定の下でこれらの誤差推定量が一致性を持つことを証明します。さらに、モーメント法や擬似最尤法に基づいた経験測度の選択手法を提案・検討します。多項式回帰を用いた詳細な実験結果により、提案する推定量が有限サンプルにおけるバイアスおよび分散の特性において優れていることが実証されています。実験に使用したRコードも提供します。

A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equation

A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equation / 偏微分方程式を解くための敵対的ニューラルネットワーク学習に向けた、自然な主双対ハイブリッド勾配法

We propose a scalable preconditioned primal-dual hybrid gradient algorithm for solving partial differential equations (PDEs). We multiply the PDE with a dual test function to obtain an inf-sup problem whose loss functional involves lower-order differential operators. The Primal-Dual Hybrid Gradient (PDHG) algorithm is then leveraged for this saddle point problem. By introducing suitable precondition operators to the proximal steps in the PDHG algorithm, we obtain an alternative natural gradient ascent-descent optimization scheme for updating the neural network parameters. We apply the Krylov subspace method (MINRES) to evaluate the natural gradients efficiently. Such treatment readily handles the inversion of precondition matrices via matrix-vector multiplication. An a posteriori convergence analysis is established for the time-continuous version of the proposed algorithm for general linear PDEs. By incorporating appropriate boundary loss terms, we further obtain a refined a priori convergence result for elliptic equations in divergence form. The algorithm is tested on various types of PDEs with dimensions ranging from $1$ to $50$, including linear and nonlinear elliptic equations, reaction-diffusion equations, and Monge-Ampere equations stemming from the $L^2$ optimal transport problems. We compare the performance of the proposed method with several commonly used deep learning algorithms such as physics-informed neural networks (PINNs), the DeepRitz method and weak adversarial networks (WANs) using either the Adam or the L-BFGS optimizer. The numerical results suggest that the proposed method performs efficiently and robustly and converges more stably with higher accuracy.



本論文では、偏微分方程式（PDE）を解くための、スケーラブルな前処理付き主双対ハイブリッド勾配（PDHG）アルゴリズムを提案します。PDEに双対テスト関数を乗じることでinf-sup問題（最小最大問題）を導き出し、その損失汎関数に低階の微分作用素が含まれるように定式化します。そして、この鞍点問題に対してPDHGアルゴリズムを適用します。PDHGアルゴリズムの近接作用素（proximal step）に適切な前処理作用素を導入することで、ニューラルネットワークのパラメータを更新するための、自然勾配を用いた新たな勾配上昇・下降最適化スキームが得られます。自然勾配を効率的に評価するために、クリロフ部分空間法（MINRES法）を適用します。この手法により、行列とベクトルの積を計算するだけで前処理行列の逆演算を容易に扱うことができます。一般的な線形PDEに対する提案アルゴリズムの時間連続版について、事後的な収束解析を確立します。さらに、適切な境界損失項を組み込むことで、発散形楕円型方程式に対する洗練された事前収束結果も導き出します。提案アルゴリズムは、線形および非線形の楕円型方程式、反応拡散方程式、$L^2$最適輸送問題に由来するモンジュ・アンペール方程式など、次元数1から50に及ぶ様々なタイプのPDEに対して検証されます。提案手法の性能を、PINN（Physics-Informed Neural Networks）、DeepRitz法、WAN（Weak Adversarial Networks）といった、AdamやL-BFGSオプティマイザを用いる一般的な深層学習アルゴリズムと比較します。数値実験の結果、提案手法は効率的かつ堅牢に動作し、より高い精度で安定して収束することが示唆されました。

Cheap Bootstrap for Fast Uncertainty Quantification of Stochastic Gradient Descent

Cheap Bootstrap for Fast Uncertainty Quantification of Stochastic Gradient Descent / 確率的勾配降下法の高速な不確実性定量化のための「安価な（Cheap）」ブートストラップ法

Stochastic gradient descent (SGD) or stochastic approximation has been widely used in model training and stochastic optimization. While there is a huge literature on analyzing its convergence, inference on the obtained solutions from SGD has only been recently studied, yet it is important due to the growing need for uncertainty quantification. We investigate two computationally cheap resampling-based methods to construct confidence intervals for SGD solutions. One uses multiple, but few, SGDs in parallel via resampling with replacement from the data, and another operates this in an online fashion. Our methods can be regarded as enhancements of established bootstrap schemes to substantially reduce the computation effort in terms of resampling requirements, while bypassing the intricate mixing conditions in existing batching methods. We achieve these via a recent so-called cheap bootstrap idea and refinement of a Berry-Esseen-type bound for SGD.



確率的勾配降下法（SGD）や確率近似法は、モデルの学習や確率的最適化において広く利用されています。SGD（確率的勾配降下法）の収束性に関する研究は膨大に存在しますが、SGDによって得られた解に対する統計的推論の研究はまだ始まったばかりです。しかし、不確実性の定量化に対するニーズの高まりを背景に、この推論は重要な課題となっています。本研究では、SGDの解に対する信頼区間を構築するための、計算コストの低い2つのリサンプリング手法を検討します。一つは、データからの復元抽出（リサンプリング）を用いて少数のSGDを並列に実行する手法であり、もう一つはこれをオンライン形式で実行する手法です。これらの手法は、既存のバッチ処理手法に伴う複雑な混合条件（mixing conditions）を回避しつつ、リサンプリングに伴う計算負荷を大幅に低減させるものであり、確立されたブートストラップ法を改良したものと位置づけられます。こうした手法の実現にあたっては、近年提案された「安価なブートストラップ（cheap bootstrap）」という概念と、SGDに対するベリー・エッセン（Berry-Esseen）型評価の精緻化を活用しています。

Transfer Learning via Regularized Random-effects Linear Discriminant Analysis

Transfer Learning via Regularized Random-effects Linear Discriminant Analysis / 正則化ランダム効果線形判別分析による転移学習

Linear discriminant analysis is a widely used method for classification. However, the high dimensionality of predictors combined with small sample sizes often results in large classification errors. To address this challenge, it is crucial to leverage data from related source models to enhance the classification performance of a target model. This paper proposes a transfer learning approach via regularized random-effects linear discriminant analysis, where the discriminant direction is estimated as a weighted combination of ridge estimates obtained from both the target and source models. Multiple strategies for determining these weights are introduced and evaluated, including one that minimizes the estimation risk of the discriminant vector and another that minimizes the classification error. Utilizing results from random matrix theory, we explicitly derive the asymptotic values of these weights and the associated classification error rates in the high-dimensional setting, where the aspect ratio $\gamma := p/n$ as $p, n\rightarrow \infty$, with $p$ representing the predictor dimension and $n$ the sample size. Extensive numerical studies, including simulations, the analysis of the proteomics-based cardiovascular disease risk classification and the lipid traits classification problem with genotype data, demonstrate the effectiveness of the proposed approach.



線形判別分析は、分類において広く用いられている手法です。しかし、予測変数の次元数が高い一方でサンプルサイズが小さい場合、大きな分類誤差が生じることがよくあります。この課題に対処するためには、関連するソースモデルのデータを活用し、ターゲットモデルの分類性能を向上させることが重要です。本論文では、正則化ランダム効果線形判別分析を用いた転移学習アプローチを提案します。この手法では、ターゲットモデルとソースモデルの双方から得られるリッジ推定量の加重結合として、判別方向を推定します。これらの重みを決定するための複数の戦略（判別ベクトルの推定リスクを最小化するものや、分類誤差を最小化するものなど）が導入・評価されています。ランダム行列理論の知見を用い、予測変数の次元数$p$とサンプルサイズ$n$が共に無限大に発散する際のアスペクト比$\gamma := p/n$を考慮した高次元設定において、これらの重みの漸近値およびそれに関連する分類誤り率を明示的に導出します。シミュレーションに加え、プロテオミクスに基づく心血管疾患リスクの分類や、遺伝子型データを用いた脂質形質の分類問題の解析を含む広範な数値実験により、提案手法の有効性が実証されています。

Semi-supervised learning for linear extremile regression

Semi-supervised learning for linear extremile regression / 線形エクストリマイル回帰のための半教師あり学習

Extremile regression, as a least squares analog of quantile regression, is potentially a useful tool for modeling and understanding the extreme tails of a distribution. However, existing extremile regression methods, as nonparametric approaches, may face challenges in high-dimensional settings due to data sparsity, computational inefficiency, and the risk of overfitting. While linear regression, particularly in high-dimensional settings, serves as the foundation for many other statistical and machine learning models due to its simplicity, interpretability, and relatively easy implementation, this paper introduces a novel definition of linear extremile regression along with an accompanying estimation methodology. The regression coefficient estimators of this method achieve root n consistency, which nonparametric extremile regression may not provide. In particular, while semi-supervised learning can leverage unlabeled data to make more accurate predictions and avoid overfitting to small labeled datasets in high-dimensional spaces, we propose a semi-supervised learning to enhance estimation efficiency, even when the specified linear extremile regression model may be misspecified. Both simulation studies and real data analyses demonstrate the finite sample performance of our proposed methods.



極値回帰（extremile regression）は、分位点回帰の最小二乗法版とも言える手法であり、分布の極端な裾野（テール）をモデル化し理解するための有用なツールとなり得ます。しかし、既存の極値回帰手法はノンパラメトリックなアプローチであるため、高次元設定においては、データの疎性、計算効率の低さ、過学習のリスクといった課題に直面する可能性があります。線形回帰は、その単純さ、解釈の容易さ、実装の簡便さから、特に高次元設定において他の多くの統計モデルや機械学習モデルの基礎となっていますが、本論文では、線形極値回帰の新たな定義と、それに伴う推定手法を提案します。本手法による回帰係数の推定量は$\sqrt{n}$整合性を達成しますが、これはノンパラメトリックな極値回帰では必ずしも得られない性質です。特に、半教師あり学習は、ラベルなしデータを活用することで、高次元空間においてより正確な予測を行い、少数のラベル付きデータセットへの過学習を回避することが可能ですが、本論文では、指定された線形極値回帰モデルが誤設定（ミススペシフィケーション）されている場合であっても推定効率を向上させるための半教師あり学習手法を提案します。シミュレーション研究および実データ解析の双方において、提案手法の有限標本における性能が実証されています。

Deep Nonparametric Conditional Independence Tests for Images

Deep Nonparametric Conditional Independence Tests for Images / 画像に対する深層ノンパラメトリック条件付き独立性検定

Conditional independence tests (CITs) test for conditional dependence between random variables given a vector of conditioning or confounder variables. As existing CITs are limited in their applicability to complex, high-dimensional variables such as images, we introduce deep nonparametric CITs (DNCITs). The DNCITs combine embedding maps, which extract feature representations of high-dimensional variables, with nonparametric CITs applicable to these feature representations. For the embedding maps, we derive general properties on their parameter estimators to obtain valid DNCITs and show that these properties include embedding maps learned through (conditional) unsupervised or transfer learning. For the nonparametric CITs, appropriate tests are selected and adapted to be applicable to feature representations. Through simulations, we investigate the performance of the DNCITs for different embedding maps and nonparametric CITs under varying confounder dimensions and confounder relationships. We apply the DNCITs to brain MRI scans and behavioral traits, given confounders, of healthy individuals from the UK Biobank, confirming null results from a number of ambiguous personality neuroscience studies, now with a larger data set and with our more powerful tests. In addition, in a confounder control study, we apply the DNCITs to brain MRI scans and a confounder set to test for sufficient confounder control. We provide an R package implementing the proposed DNCITs.



条件付き独立性検定（CIT）は、条件付け変数または交絡変数のベクトルが与えられた条件下での、確率変数間の条件付き依存性を検定するものです。既存の条件付き独立性検定（CIT）は、画像のような複雑かつ高次元の変数への適用が限られているため、我々は「深層ノンパラメトリックCIT（DNCIT）」を提案します。DNCITは、高次元変数の特徴表現を抽出する埋め込み写像と、それらの特徴表現に適用可能なノンパラメトリックCITを組み合わせたものです。埋め込み写像に関しては、妥当なDNCITを実現するためのパラメータ推定量の一般的性質を導出し、その性質が（条件付き）教師なし学習や転移学習によって学習された埋め込み写像にも当てはまることを示します。ノンパラメトリックCITについては、適切な検定手法を選定し、特徴表現に適用できるよう調整を行います。シミュレーションを通じて、様々な交絡因子の次元や関係性の下で、異なる埋め込み写像やノンパラメトリックCITを用いた場合のDNCITの性能を検証します。さらに、UKバイオバンクの健常者のデータを用い、脳MRI画像と行動特性（交絡因子を考慮）に対してDNCITを適用しました。これにより、従来の人格神経科学研究において結果が不明瞭であったいくつかの点について、より大規模なデータセットと我々の強力な検定手法を用いて、帰無仮説が棄却されないこと（有意差がないこと）を確認しました。加えて、交絡因子制御に関する研究として、脳MRI画像と交絡因子セットに対してDNCITを適用し、交絡因子の制御が十分に行われているかを検証しました。提案手法であるDNCITを実装したRパッケージも提供します。

Kernel Mean Embedding Deviation Subspace for Unsupervised Learning with Heterogeneous Data

Kernel Mean Embedding Deviation Subspace for Unsupervised Learning with Heterogeneous Data / 異種データを用いた教師なし学習のためのカーネル平均埋め込み偏差部分空間

This paper proposes a method for dimension reduction that preserves information in unsupervised learning with high-dimensional heterogeneous data, specifically targeting change point detection and clustering analysis. Our main strategy is to apply a Corrected Kernel Principal Component Analysis (CKPCA) method to construct the so-called kernel mean embedding deviation subspace. The approach efficiently identifies distributional changes in these dimension reduction subspaces for unsupervised dimension reduction.For change point detection, we demonstrate that the locations and number of change points in the dimension-reduced subspaces are identical to those in the original data.Furthermore, we extend this approach to clustering by embedding the original data into nonlinear lower-dimensional spaces, providing enhanced capabilities for clustering analysis.Additionally, we explain the necessity of using CKPCA, as the classical KPCA fails to identify the kernel mean embedding deviation subspace in these problems.Numerical studies on synthetic and real data sets suggest that the dimension reduction versions of existing methods for change point detection and clustering significantly improve the performance of current approaches in finite sample scenarios.



本論文では、高次元かつ異質なデータを用いた教師なし学習において、情報を保持しつつ次元を削減する手法を提案します。特に、変化点検知とクラスタリング分析を対象としています。主な戦略は、修正カーネル主成分分析（CKPCA）を適用し、いわゆる「カーネル平均埋め込みの偏差部分空間」を構築することです。このアプローチにより、教師なし次元削減において、次元削減された部分空間内での分布の変化を効率的に特定できます。変化点検知に関しては、次元削減された部分空間における変化点の位置と数が、元のデータにおけるそれらと一致することを示します。さらに、元のデータを非線形な低次元空間に埋め込むことでこの手法をクラスタリングに拡張し、クラスタリング分析の能力を向上させます。加えて、従来のKPCAではこれらの問題においてカーネル平均埋め込みの偏差部分空間を特定できないため、CKPCAを使用する必要性についても説明します。合成データおよび実データセットを用いた数値実験の結果、変化点検知やクラスタリングのための既存手法を次元削減版へと拡張することで、有限サンプル環境における現在の手法の性能が大幅に向上することが示唆されました。

Exogenous Randomness Empowering Random Forests

Exogenous Randomness Empowering Random Forests / ランダムフォレストを強化する外生的ランダム性

We offer theoretical and empirical insights into the impact of exogenous randomness on the effectiveness of random forests with tree-building rules independent of training data. We formally introduce the concept of exogenous randomness which can come from feature subsampling or tie-breaking in tree-building processes. We develop non-asymptotic expansions for the mean squared error (MSE) for both individual trees and forests and establish sufficient and necessary conditions for their consistency. In the special example of the linear regression model with independent features, our MSE expansions are more explicit, providing more understanding of the random forests’ mechanisms. It also allows us to derive an upper bound on the MSE with explicit consistency rates for trees and forests. Guided by our theoretical findings, we conduct simulations to further explore how exogenous randomness enhances random forests performance. Our findings unveil that feature subsampling reduces both the bias and variance of random forests compared to individual trees, serving as an adaptive mechanism to balance bias and variance. Furthermore, our results reveal an intriguing phenomenon: the presence of noise features can act as a “blessing” in enhancing the performance of random forests thanks to feature subsampling.



本論文では、学習データに依存しない木構築ルールを持つランダムフォレストの有効性に対し、外生的なランダム性が及ぼす影響について、理論的および実証的な知見を提示します。まず、特徴量のサブサンプリングや木構築プロセスにおける同順位の解消（タイブレーク）に由来しうる「外生的なランダム性」という概念を定式化します。次に、個々の木およびフォレストの双方について、平均二乗誤差（MSE）の非漸近展開を導出し、それらの整合性（コンシステンシー）に関する必要十分条件を確立します。特徴量が独立である線形回帰モデルという特殊な例においては、MSEの展開がより明示的な形となり、ランダムフォレストのメカニズムへの理解を深めることができます。また、これにより、木およびフォレストのMSEの上界を、明示的な整合性レートと共に導出することが可能になります。理論的な知見に基づき、外生的なランダム性がどのようにランダムフォレストの性能を向上させるかをさらに探るためのシミュレーションを行います。その結果、特徴量のサブサンプリングは、個々の木と比較してランダムフォレストのバイアスと分散の双方を低減させ、バイアスと分散のバランスをとる適応的なメカニズムとして機能することが明らかになりました。さらに、興味深い現象も明らかになりました。それは、特徴量のサブサンプリングのおかげで、ノイズとなる特徴量の存在が、ランダムフォレストの性能向上において「恩恵（blessing）」として作用しうるということです。

High-dimensional Parameter Transfer With Fused-Regularizer

High-dimensional Parameter Transfer With Fused-Regularizer / 融合正則化を用いた高次元パラメータ転移

Parameter transfer aims to improve parameter estimation accuracy by leveraging knowledge from related sources. This paper studies the parameter transfer problem from heterogeneous sources for high-dimensional M-estimators. Specifically, we propose a novel one-step estimator with a fused-regularizer and a target-data-oriented constraint, which can robustly capture parameter knowledge from source data in the presence of different types of data distribution shifts. Nonasymptotic bound is provided for the estimation error of target parameter, showing the proposed estimator could achieve effective parameter transfer under distribution shifts, and is guaranteed to perform no worse than any estimators learned only from the target data. We further show that the proposed estimator can achieve the minimax-optimal rate under much weaker conditions than existing methods. In addition, we extend the method to a distributed setting, requiring just one round of communication with source parameter estimators, while retaining the estimation accuracy of the centralized version. Extensive simulations and real data analysis further verify the effectiveness of the method.



パラメータ転移は、関連するソースからの知識を活用することで、パラメータ推定の精度を向上させることを目的としています。本論文では、高次元M推定量を対象に、異質なソースからのパラメータ転移の問題を研究します。具体的には、我々は、フューズド正則化項とターゲットデータ指向の制約を組み込んだ新しいワンステップ推定量を提案します。この推定量は、様々な種類のデータ分布シフトが存在する状況下でも、ソースデータからパラメータに関する知識を頑健に抽出することが可能です。ターゲットパラメータの推定誤差に対する非漸近的な評価境界を提示し、提案推定量が分布シフト下で効果的なパラメータ転移を実現できること、およびターゲットデータのみから学習されたいかなる推定量よりも性能が劣らないことが保証されることを示す。さらに、提案推定量は既存手法よりもはるかに緩やかな条件下でミニマックス最適レートを達成できることを示す。加えて、本手法を分散型設定へと拡張します。この拡張版では、集中型と同等の推定精度を維持しつつ、ソースパラメータ推定量との通信は1ラウンドのみで済む。広範なシミュレーションおよび実データ解析により、本手法の有効性をさらに実証します。

Spectral Truncation Kernels: Noncommutativity in C*-algebraic Kernel Machines

Spectral Truncation Kernels: Noncommutativity in C*-algebraic Kernel Machines / スペクトル切断カーネル：C*代数カーネルマシンにおける非可換性

A central question in vector- and function-valued learning is how to design kernels that capture both local and non-local interactions while remaining computationally tractable. Existing operator-valued kernels offer only partial answers: separable kernels are efficient but fail to model interactions across the function domain, while commutative kernels capture only pointwise structure. To address this, we propose spectral truncation kernels, a new class of positive definite kernels for vector- and function-valued learning based on spectral truncation and C*-algebra. By allowing noncommutative products in the kernel construction, the proposed kernels induce interactions across the data function domain and fill the gap between existing separable and commutative kernels. In addition, by using the C*-algebraic framework, we reduce the computational cost compared to the existing vector-valued RKHS framework with operator-valued kernels.



ベクトル値および関数値学習における中心的な課題は、計算の実行可能性を維持しつつ、局所的および非局所的な相互作用の双方を捉えるカーネルをいかに設計するかという点にあります。既存の作用素値カーネルは部分的な解決策しか提示していません。すなわち、分離可能カーネルは効率的ですが関数領域全体にわたる相互作用をモデル化できず、一方で可換カーネルは点ごとの構造しか捉えられません。これに対処するため、我々はスペクトル切断とC*代数に基づく、ベクトル値および関数値学習のための新しい正定値カーネルのクラスである「スペクトル切断カーネル」を提案します。カーネルの構成において非可換積を許容することで、提案カーネルはデータ関数領域全体にわたる相互作用を誘起し、既存の分離可能カーネルと可換カーネルの間のギャップを埋めるものとなります。さらに、C*代数の枠組みを用いることで、作用素値カーネルを用いた既存のベクトル値RKHS（再生核ヒルベルト空間）の枠組みと比較して、計算コストを低減させています。

Deconvolution in unlinked linear models

Deconvolution in unlinked linear models / 非連結線形モデルにおけるデコンボリューション

Unlinked regression, in which covariates and responses are observed separately without known correspondence, has recently gained increasing attention.Deconvolution, on the other hand, is a fundamental and challenging problem in nonparametric statistics with the aim of estimating the distribution of a latent random variable $Z$ based on observations contaminated by some additive noise. The complexity of this task is heavily influenced by the smoothness of the noise distribution and often leads to slow estimation rates.In this paper, we combine the recent unlinked linear regression problem with the classical deconvolution framework. Specifically, we study nonparametric deconvolution under the assumption that $Z$ is a linear function of an observable multidimensional covariate. This structural constraint allows us to introduce a nonparametric estimator of the distribution of $Z$ which achieves the parametric rate of convergence in the Wasserstein distance of order 1, where the smoothness of the noise does not affect the rate.Furthermore, we introduce nonparametric estimators for the unconditional density of $Z$ and the conditional density of $Z$ given an observed response. This allows us to study the problem of estimating the value of the latent linear predictor, whose link to the observed response is not accessible. Through several simulations, we illustrate the fast convergence rate of our deconvolution estimator and the performance of the proposed conditional estimators of the latent predictor in different simulation scenarios.



共変量と応答変数が対応関係不明のまま別々に観測される「非連結回帰（unlinked regression）」は、近年ますます注目を集めています。一方、デコンボリューション（逆畳み込み）は、加法的ノイズが混入した観測値に基づいて潜在確率変数$Z$の分布を推定することを目的とする、ノンパラメトリック統計における基本的かつ困難な問題です。このタスクの複雑さはノイズ分布の滑らかさに大きく依存し、しばしば推定レートの低下を招きます。本論文では、近年の非連結線形回帰問題と古典的なデコンボリューションの枠組みを組み合わせます。具体的には、$Z$が観測可能な多次元共変量の線形関数であるという仮定の下で、ノンパラメトリック・デコンボリューションを検討します。この構造的制約により、$Z$の分布に関するノンパラメトリック推定量が導入可能となり、この推定量は1次Wasserstein距離においてパラメトリックな収束レートを達成します（この際、ノイズの滑らかさは収束レートに影響しません）。さらに、我々は$Z$の無条件密度および観測された応答変数が与えられた条件の下での$Z$の条件付き密度のためのノンパラメトリック推定量も導入します。これにより、観測された応答変数との直接的な関連が不明な潜在線形予測子の値を推定する問題を検討することが可能になります。いくつかのシミュレーションを通じて、我々のデコンボリューション推定量の高速な収束レートと、異なるシミュレーション・シナリオにおける潜在予測子の条件付き推定量の性能を実証します。

Statistical Learning Theory for Neural Operators

Statistical Learning Theory for Neural Operators / ニューラルオペレータのための統計的学習理論

We present statistical convergence results for the learning of (possibly) non-linear mappings in infinite-dimensional spaces. Specifically, given a map $G_0:\mathcal X\to\mathcal Y$ between two separable Hilbert spaces, we analyze the problem of recovering $G_0$ from $n\in\mathbb{N}$ noisy input-output pairs $(x_i, y_i)_{i=1}^n$ with $y_i = G_0 (x_i)+\varepsilon_i$; here the $x_i\in\mathcal{X}$ represent randomly drawn “design” points, and the $\varepsilon_i$ are assumed to be either i.i.d. white noise processes or subgaussian random variables in $\mathcal{Y}$. We provide general convergence results for least-squares-type empirical risk minimizers over compact regression classes $\mathbf{G}\subseteq L^{\infty}(\mathcal{X},\mathcal{Y})$, in terms of their approximation properties and metric entropy bounds, which are derived using empirical process techniques. This generalizes classical results from finite-dimensional nonparametric regression to an infinite-dimensional setting. As a concrete application, we study an encoder-decoder based neural operator architecture termed FrameNet. Assuming $G_0$ to be holomorphic, we prove algebraic (in the sample size $n$) convergence rates in this setting, thereby overcoming the curse of dimensionality. To illustrate the wide applicability, as a prototypical example we discuss the learning of the non-linear solution operator to a parametric elliptic partial differential equation.



我々は、無限次元空間における（非線形である可能性のある）写像の学習に関する統計的収束結果を提示します。具体的には、2つの可分ヒルベルト空間間の写像$G_0:\mathcal X\to\mathcal Y$が与えられたとき、$y_i = G_0 (x_i)+\varepsilon_i$という形の$n$個のノイズを含む入出力ペア$(x_i, y_i)_{i=1}^n$から$G_0$を復元する問題を解析します。ここで、$x_i\in\mathcal{X}$はランダムに抽出された「設計点」を表し、$\varepsilon_i$は$\mathcal{Y}$におけるi.i.d.（独立同分布）なホワイトノイズ過程またはサブガウス確率変数のいずれかであると仮定します。我々は、コンパクトな回帰クラス$\mathbf{G}\subseteq L^{\infty}(\mathcal{X},\mathcal{Y})$上の最小二乗型経験リスク最小化法について、経験過程の手法を用いて導出された近似特性およびメトリックエントロピーの評価に基づく、一般的な収束結果を提示します。これは、有限次元のノンパラメトリック回帰における古典的な結果を無限次元の設定へと一般化するものです。具体的な応用として、「FrameNet」と呼ばれるエンコーダ・デコーダ型のニューラルオペレータ・アーキテクチャを検討します。$G_0$が正則（ホロモルフィック）であると仮定することで、この設定において（サンプルサイズ$n$に関する）代数的な収束レートを証明し、それによって「次元の呪い」を克服します。その幅広い適用性を示すため、典型的な例として、パラメータ依存の楕円型偏微分方程式に対する非線形解作用素の学習について論じます。

A Single-Loop Stochastic Proximal Quasi-Newton Method for Large-Scale Nonsmooth Convex Optimization

A Single-Loop Stochastic Proximal Quasi-Newton Method for Large-Scale Nonsmooth Convex Optimization / 大規模非平滑凸最適化のためのシングルループ確率的近接準ニュートン法

We propose a new stochastic proximal quasi-Newton method for minimizing the sum of two convex functions in the particular context that one of the functions is the average of a large number of smooth functions and the other one is nonsmooth. The new method integrates a simple single-loop SVRG (L-SVRG) technique for sampling the gradient and a stochastic limited-memory BFGS (L-BFGS) scheme for approximating the Hessian of the smooth function components. The globally linear convergence rate of the new method is proved under mild assumptions. It is also shown that the new method covers a proximal variant of the L-SVRG as a special case, and it allows for various generalization through the integration with other variance reduction methods. For example, the L-SVRG can be replaced with the SAGA or SEGA in the proposed new method and thus other new stochastic proximal quasi-Newton methods with rigorously guaranteed convergence can be proposed accordingly. Moreover, we meticulously analyze the resulting nonsmooth subproblem at each iteration and leverage a compact representation of the L-BFGS matrix with the storage of some auxiliary matrices. As a result, we propose a very efficient and easily implementable semismooth Newton solver for solving the involved subproblems, whose arithmetic operations per iteration are merely order of O(d), where d denotes the dimensionality of the problem. With this efficient inner solver, the new method performs well and its numerical efficiency is validated through extensive experiments on a regularized logistic regression problem.



本研究では、2つの凸関数の和を最小化する問題を対象に、新しい確率的近接準ニュートン法を提案します。ここで想定する特定の状況は、一方の関数が多数の滑らかな関数の平均であり、もう一方が非滑らかな関数であるというものです。この新しい手法は、勾配をサンプリングするための単純なシングルループSVRG（L-SVRG）技術と、滑らかな関数成分のヘッセ行列を近似するための確率的限定メモリBFGS（L-BFGS）スキームを統合したものです。緩やかな仮定の下で、この手法が大域的な線形収束率を持つことが証明されています。また、この手法はL-SVRGの近接型（proximal variant）を特殊なケースとして包含しており、他の分散低減手法との統合を通じて様々な形で一般化できることも示されています。例えば、提案手法におけるL-SVRGをSAGAやSEGAに置き換えることで、収束性が厳密に保証された新たな確率的近接準ニュートン法を同様に提案することが可能です。さらに、各反復で生じる非滑らかな部分問題を詳細に解析し、補助的な行列を保持することでL-BFGS行列のコンパクトな表現を活用しています。その結果、部分問題を解くための非常に効率的かつ実装が容易な半滑らかニュートン法ソルバーを提案しました。このソルバーの反復あたりの演算量は、問題の次元を$d$とすると$O(d)$のオーダーに留まります。このような効率的な内部ソルバーを備えた提案手法は良好な性能を示し、正則化ロジスティック回帰問題を用いた広範な実験を通じて、その数値的な効率性が実証されています。

Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks

Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks / マージンの諸相：斉次ニューラルネットワークにおける最急降下法の暗黙的バイアス

We study the implicit bias of the general family of steepest descent algorithms with infinitesimal learning rate in deep homogeneous neural networks. We show that: (a) an algorithm-dependent geometric margin starts increasing once the networks reach perfect training accuracy, and (b) any limit point of the training trajectory corresponds to a KKT point of the corresponding margin-maximization problem. We experimentally zoom into the trajectories of neural networks optimized with various steepest descent algorithms, highlighting connections to the implicit bias of popular adaptive methods (Adam and Shampoo).



本研究では、深層同次ニューラルネットワーク（deep homogeneous neural networks）において、無限小の学習率を持つ最急降下法アルゴリズムの一般的なファミリーが示す「暗黙のバイアス（implicit bias）」について考察します。具体的には、以下のことを示します。(a)ネットワークが完全な学習精度に達すると、アルゴリズムに依存する幾何学的マージンが増加し始めること、および(b)学習軌道の任意の極限点が、対応するマージン最大化問題のKKT点に対応すること。また、様々な最急降下法で最適化されたニューラルネットワークの軌道を実験的に詳細に分析し、広く使われている適応型手法（AdamやShampoo）の暗黙のバイアスとの関連性を明らかにします。

A Unified Approach to Analysis and Design of Denoising Markov Models

A Unified Approach to Analysis and Design of Denoising Markov Models / ノイズ除去マルコフモデルの解析と設計への統一的アプローチ

Probabilistic generative models based on measure transport, such as diffusion and flow-based models, are often formulated in the language of Markovian stochastic dynamics, where the choice of the underlying process impacts both algorithmic design choices and theoretical analysis. In this paper, we aim to establish a rigorous mathematical foundation for denoising Markov models, a broad class of generative models that postulate a forward process transitioning from the target distribution to a simple, easy-to-sample distribution, alongside a backward process particularly constructed to enable efficient sampling in the reverse direction. Leveraging deep connections with nonequilibrium statistical mechanics and generalized Doob’s $h$-transform, we propose a minimal set of assumptions that ensure: (1) explicit construction of the backward generator, (2) a unified variational objective directly minimizing the measure transport discrepancy, and (3) adaptations of the classical score-matching approach across diverse dynamics. Our framework unifies existing formulations of continuous and discrete diffusion models, identifies the most general form of denoising Markov models under certain regularity assumptions on forward generators, and provides a systematic recipe for designing denoising Markov models driven by arbitrary Lévy-type processes. We illustrate the versatility and practical effectiveness of our approach through novel denoising Markov models employing geometric Brownian motion and jump processes as forward dynamics, highlighting the framework’s potential flexibility and capability in modeling complex distributions.



拡散モデルやフローベースモデルなど、測度輸送（measure transport）に基づく確率的生成モデルは、しばしばマルコフ的確率力学の枠組みで定式化されます。この際、基礎となるプロセスの選択は、アルゴリズムの設計上の選択と理論的解析の双方に影響を及ぼします。本論文では、「ノイズ除去マルコフモデル（denoising Markov models）」の厳密な数学的基礎の確立を目指します。これは、ターゲット分布からサンプリングが容易な単純な分布へと移行する「順方向過程」と、その逆方向への効率的なサンプリングを可能にするよう特別に構築された「逆方向過程」を想定する、広範な生成モデルのクラスです。非平衡統計力学や一般化されたDoobの$h$-変換との深い関連性を活用し、我々は以下の3点を保証する最小限の仮定を提案します：(1)逆方向生成作用素の明示的な構成、(2)測度輸送の不一致（measure transport discrepancy）を直接最小化する統一的な変分目的関数、および(3)多様な力学系への古典的なスコアマッチング手法の適用。我々の枠組みは、連続および離散拡散モデルの既存の定式化を統合し、順方向生成作用素に関する特定の正則性仮定の下でノイズ除去マルコフモデルの最も一般的な形式を特定するとともに、任意のレヴィ型過程によって駆動されるノイズ除去マルコフモデルを設計するための体系的な手法を提供します。幾何ブラウン運動やジャンプ過程を順方向の力学系として採用した新規のノイズ除去マルコフモデルを通じて、本手法の汎用性と実用的な有効性を示し、複雑な分布をモデリングする上での本枠組みの潜在的な柔軟性と能力を強調します。

Nested Subspace Learning with Flags

Nested Subspace Learning with Flags / フラグ（旗）を用いた入れ子状部分空間学習

Many machine learning methods look for low-dimensional representations of the data. The underlying subspace can be estimated by first choosing a dimension q and then optimizing a certain objective function over the space of q-dimensional subspaces (the Grassmannian). Trying different q generally yields non-nested subspaces, which raises an important issue of consistency between the data representations. In this paper, we propose a simple and easily implementable principle to enforce nestedness in subspace learning methods. It consists in lifting Grassmannian optimization criteria to flag manifolds (the space of nested subspaces of increasing dimension) via nested projectors. We apply the flag trick to several classical machine learning methods and show that it successfully addresses the nestedness issue.



多くの機械学習手法は、データの低次元表現を探索します。基底となる部分空間は、まず次元数$q$を選択し、次いで$q$次元部分空間の空間（グラスマン多様体）上で特定の目的関数を最適化することによって推定できます。異なる$q$を試すと、一般に包含関係にない（入れ子構造を持たない）部分空間が得られることになり、データ表現間の整合性という重要な問題が生じます。本論文では、部分空間学習手法において包含関係（入れ子構造）を強制するための、単純かつ実装が容易な原理を提案します。この原理は、入れ子状の射影行列（nested projectors）を介して、グラスマン多様体上の最適化基準をフラッグ多様体（次元が増大する入れ子状の部分空間の空間）へと拡張するものです。我々は、この「フラッグ・トリック（flag trick）」をいくつかの古典的な機械学習手法に適用し、それが包含関係の問題をうまく解決することを示します。

FLAGG: Flexible Autoregressive Graph Generation

FLAGG: Flexible Autoregressive Graph Generation / FLAGG：柔軟な自己回帰グラフ生成

The Deep Graph Generation’s panorama spans two extremes: one-shot and sequential models. The former generates nodes and edges jointly, while the latter samples them autoregressively. Each method performs better in different graph domains depending on size and topology, but neither is applicable to all graph categories. For instance, one-shot methods struggle with generating large graphs, while sequential methods underperform on smaller graphs. A possible way to overcome these limitations is to flexibly combine the two methods in a unique system. In this work, we propose the FLAGG (Flexible Autoregressive Graph Generation) framework, which sequentially generates portions of graphs with one-shot models. FLAGG can apply any one-shot model to make it autoregressive, allowing flexibility in choosing the sequential policy. This policy is specified through a stochastic node removal process, which an Insertion Model learns to reverse. We evaluate FLAGG with the DiGress one-shot model on several data sets of different graph sizes and domains. We show that the approach outperforms both one-shot and autoregressive baselines in terms of sampling quality.



深層グラフ生成の分野は、ワンショットモデルと逐次生成モデルという両極端な手法によって構成されています。前者はノードとエッジを同時に生成するのに対し、後者はそれらを自己回帰的にサンプリングします。各手法はグラフのサイズやトポロジーに応じて異なる領域で優れた性能を発揮しますが、いずれもすべてのグラフカテゴリに適用できるわけではありません。例えば、ワンショット手法は大規模なグラフの生成に苦労する一方、逐次生成手法は小規模なグラフでは性能が低下します。これらの限界を克服する一つの方法は、これら二つの手法を単一のシステム内で柔軟に組み合わせることです。本研究では、ワンショットモデルを用いてグラフの一部を逐次的に生成する、FLAGG（Flexible Autoregressive Graph Generation）フレームワークを提案します。FLAGGは任意のワンショットモデルを自己回帰的に適用可能であり、逐次生成の方針（ポリシー）を柔軟に選択できます。この方針は確率的なノード削除プロセスによって規定され、挿入モデル（Insertion Model）がその逆プロセスを学習します。我々は、異なるグラフサイズや領域を持つ複数のデータセットにおいて、ワンショットモデルであるDiGressとFLAGGを組み合わせて評価を行いました。その結果、サンプリング品質の面で、本手法がワンショットおよび自己回帰ベースラインの双方を上回る性能を示すことを明らかにしました。

A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance

A Two-Timescale Primal-Dual Framework for Reinforcement Learning via Online Dual Variable Guidance / オンライン双対変数ガイダンスによる強化学習のための2時間スケール主双対フレームワーク

We study reinforcement learning by combining recent advances in regularized linear programming formulations with the classical theory of stochastic approximation. Motivated by the challenge of designing algorithms that leverage off-policy data while maintaining on-policy exploration, we propose PGDA-RL, a novel primal-dual projected gradient descent-ascent algorithm for solving regularized Markov decision processes (MDPs). PGDA-RL integrates experience replay-based gradient estimation with a two-timescale decomposition of the underlying nested optimization problem. The algorithm operates asynchronously, interacts with the environment through a single trajectory of correlated data, and updates its policy online in response to the dual variable associated with the occupancy measure of the underlying MDP. We prove that PGDA-RL converges almost surely to the optimal value function and policy of the regularized MDP. Our convergence analysis relies on tools from stochastic approximation theory and holds under weaker assumptions than those required by existing primal-dual RL approaches, notably removing the need for a simulator or a fixed behavioral policy. Under a strengthened ergodicity assumption on the underlying Markov chain, we establish a last-iterate finite-time guarantee with $\widetilde{\mathcal O}(k^{-2/3})$ mean-square convergence, aligning with the best-known rates for two-timescale stochastic approximation methods under Markovian sampling and biased gradient estimates.



本研究では、正則化線形計画法における近年の進展と、確率近似の古典的理論を組み合わせることで、強化学習について検討します。オンポリシーでの探索を維持しつつオフポリシーデータを活用するアルゴリズムを設計するという課題を背景に、正則化マルコフ決定過程（MDP）を解くための新しい主双対射影勾配降下・上昇アルゴリズムであるPGDA-RLを提案します。PGDA-RLは、経験再生（experience replay）に基づく勾配推定と、基底となる入れ子状最適化問題の2つの時間スケールへの分解を統合した手法です。このアルゴリズムは非同期的に動作し、相関のあるデータの単一の軌跡を通じて環境と相互作用し、対象となるMDP（マルコフ決定過程）の占有測度に関連する双対変数に応じてオンラインで方策を更新します。我々は、PGDA-RLが正則化されたMDPの最適価値関数および最適方策に概収束することを証明します。この収束解析は確率近似理論の手法に基づいており、既存の主双対型強化学習（RL）アプローチよりも緩やかな仮定の下で成立します。特に、シミュレータや固定された行動方策を必要としない点が特徴です。対象となるマルコフ連鎖に関するより強いエルゴード性仮定の下で、我々は最終反復（last-iterate）における有限時間での保証を確立しました。具体的には、$\widetilde{\mathcal O}(k^{-2/3})$の平均二乗収束を示しており、これはマルコフ的サンプリングおよびバイアスのある勾配推定を伴う2タイムスケール確率近似法において知られている最良の収束レートと整合するものです。

Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex Optimization

Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex Optimization / 非平滑非凸最適化のための分散型確率的劣勾配法の収束性

In this paper, we focus on the decentralized stochastic subgradient-based methods in minimizing nonsmooth nonconvex functions without Clarke regularity, especially in the decentralized training of nonsmooth neural networks. We propose a general framework thatunifies various decentralized subgradient-based methods, such as decentralized stochastic subgradient descent (DSGD), DSGD with gradient-tracking technique (DSGD-T), and DSGD with momentum (DSGD-M). To establish the convergence properties of our proposed framework, we relate the discrete iterates to the trajectories of a continuous-timedifferential inclusion, which is assumed to have a coercive Lyapunov function with a stable set A. We prove the asymptotic convergence of the iterates to the stable set A with sufficiently small and diminishing step-sizes. These results provide first convergence guarantees for some well-recognized of decentralized stochastic subgradient-based methodswithout Clarke regularity of the objective function. Preliminary numerical experiments demonstrate that our proposed framework yields highly efficient decentralized stochastic subgradient-based methods with convergence guarantees in the training of nonsmoothneural networks.



本論文では、Clarke正則性を仮定しない非平滑かつ非凸な関数の最小化、特に非平滑ニューラルネットワークの分散学習における、分散型確率的劣勾配法に焦点を当てる。我々は、分散型確率的劣勾配降下法（DSGD）、勾配追跡（gradient-tracking）技術を用いたDSGD（DSGD-T）、およびモメンタムを用いたDSGD（DSGD-M）といった、様々な分散型劣勾配法を統合する一般的な枠組みを提案します。提案する枠組みの収束特性を明らかにするため、離散的な反復点列を、安定集合$A$を持つ強制（coercive）なリアプノフ関数を備えた連続時間微分包含（differential inclusion）の軌跡と関連付ける。そして、十分に小さく、かつ減少するステップサイズを用いることで、反復点列が安定集合$A$へ漸近的に収束することを証明します。これらの結果は、目的関数がClarke正則性を満たさない場合における、広く知られた分散型確率的劣勾配法に対して、初めて収束の保証を与えるものです。予備的な数値実験により、提案する枠組みを用いることで、非平滑ニューラルネットワークの学習において、収束保証を伴う極めて効率的な分散型確率的劣勾配法が実現できることが示されました。

Three Types of Calibration using Properties and their Semantic and Formal Relationships

Three Types of Calibration using Properties and their Semantic and Formal Relationships / 特性を用いた3種類のキャリブレーションと、それらの意味的・形式的関係

Fueled by discussions around “trustworthiness” and algorithmic fairness, calibration of predictive systems has regained scholars’ attention. The vanilla definition and understanding of calibration is, simply put, on all days on which the rain probability has been predicted to be $p$, the actual frequency of rain days was $p$. However, the increased attention has led to an immense variety of new notions of “calibration”. Some of the notions are incomparable, serve different purposes, or imply each other. In this work, we provide two accounts which motivate calibration: self-realization of forecasted properties and precise estimation of incurred losses of the decision makers relying on forecasts. We substantiate the former via the reflection principle and the latter by actuarial fairness. For both accounts we formulate prototypical definitions via properties $\Gamma$ of outcome distributions, e.g., the mean or median. The prototypical definition for self-realization, which we call $\Gamma$-calibration, is equivalent to a certain type of swap regret under certain conditions. These implications are strongly connected to the omniprediction learning paradigm. The prototypical definition for precise loss estimation is a modification of decision calibration adopted from Zhao et al., 2021. For binary outcome sets both prototypical definitions coincide under appropriate choices of reference properties. For higher-dimensional outcome sets, both prototypical definitions can be subsumed by a natural extension of the binary definition, called distribution calibration with respect to a property. We conclude by commenting on the role of groupings in both accounts of calibration often used to obtain multicalibration. In sum, this work provides a semantic map of calibration in order to navigate a fragmented terrain of notions and definitions.



「信頼性」やアルゴリズムの公平性をめぐる議論の高まりを受け、予測システムのキャリブレーション（較正）が再び研究者の注目を集めています。キャリブレーションの基本的な定義や理解は、端的に言えば、「降水確率が$p$と予測された日において、実際に雨が降った日の頻度が$p$である」ことです。しかし、関心の高まりとともに、「キャリブレーション」に関する多種多様な新しい概念が生まれています。それらの中には、互いに比較不可能なもの、異なる目的を持つもの、あるいは互いに含意関係にあるものが存在します。本研究では、キャリブレーションを動機づける2つの視点を提示します。それは、予測された特性の「自己実現（self-realization）」と、予測に依存する意思決定者が被る損失の「正確な推定」です。前者は「反射原理（reflection principle）」を用いて、後者は「保険数理的な公平性（actuarial fairness）」を用いて具体化します。これら双方の視点について、結果分布の特性$\Gamma$（例：平均や中央値）を用いた典型的な定義を定式化します。自己実現に関する典型的な定義（我々はこれを$\Gamma$-キャリブレーションと呼ぶ）は、特定の条件下において、ある種の「スワップ・リグレット（swap regret）」と等価です。これらの含意は、「オムニプレディクション（omniprediction）」学習パラダイムと密接に関連しています。正確な損失推定に関する典型的な定義は、Zhaoら（2021）で採用された「意思決定キャリブレーション（decision calibration）」を修正したものです。二値の結果集合においては、基準となる特性を適切に選択することで、これら2つの典型的な定義は一致します。高次元の出力集合に対しては、これら2つの典型的な定義はいずれも、「ある特性に関する分布キャリブレーション（distribution calibration with respect to a property）」と呼ばれる、二値の場合の定義の自然な拡張に包含されます。最後に、マルチキャリブレーション（multicalibration）の実現によく用いられるこれら2つのキャリブレーションの枠組みにおいて、グループ化（grouping）が果たす役割について論じます。要約すると、本研究は、概念や定義が断片化している現状を整理し、キャリブレーションに関する概念的全体像（セマンティック・マップ）を提示するものです。

Embedding Network Autoregression for Time Series Analysis and Causal Peer Effect Inference

Embedding Network Autoregression for Time Series Analysis and Causal Peer Effect Inference / 時系列分析および因果的ピア効果推論のための埋め込みネットワーク自己回帰

We propose an Embedding Network Autoregressive Model for multivariate networked longitudinal data. We assume the network is generated from a latent variable model, and these unobserved variables are included in a structural peer effect model or a time series network autoregressive model. This approach takes a unified view of two related yet different problems: (1) modeling and predicting multivariate networked time series data and (2) causal peer influence estimation in the presence of confounding due to homophily from finite-time longitudinal data. Our estimation strategy comprises estimating latent variables from the observed network, followed by least squares estimation of the network autoregressive model. We show that the momentum and peer effect parameters estimated with our method are consistent and asymptotically normally distributed in setups with a growing number of network vertices ($N$) while considering both a growing number of time points $T$ (for the time series problem) and finite $T$ cases (for the peer effect problem). We allow the number of latent vectors $K$ to grow at appropriate rates. We also develop a selection criterion when $K$ is unknown that provably does not under-select. We show that the theoretical guarantees hold with the selected number for $K$, and study the bias rates when $K$ is misspecified. With the new methods, we study peer effects in conflict and school climate perception using data on more than 7000 students from 23 schools.



本研究では、多変量ネットワーク・縦断データ（longitudinal data）を対象とした「埋め込みネットワーク自己回帰モデル（Embedding Network Autoregressive Model）」を提案します。ネットワークは潜在変数モデルから生成されると仮定し、それらの観測されない変数を、構造的ピア効果モデルまたは時系列ネットワーク自己回帰モデルに組み込みます。このアプローチは、関連しつつも異なる2つの問題、すなわち(1)多変量ネットワーク時系列データのモデリングと予測、および(2)ホモフィリー（同類選択）に起因する交絡が存在する状況下での、有限期間の縦断データを用いた因果的ピア効果の推定、を統一的な視点で扱います。推定手法としては、まず観測されたネットワークから潜在変数を推定し、続いてネットワーク自己回帰モデルの最小二乗推定を行います。ネットワークの頂点数（$N$）が増大する設定において、時系列問題（$T$も増大する場合）とピア効果問題（$T$が有限の場合）の双方を考慮しつつ、本手法で推定されたモメンタム・パラメータおよびピア効果パラメータが一致性を持ち、かつ漸近的に正規分布に従うことを示します。また、潜在ベクトルの数$K$が適切な速度で増大することを許容しています。さらに、$K$が未知の場合に、過小選択（under-selection）を起こさないことが理論的に保証された選択基準を開発しました。選択された$K$の値を用いても理論的保証が成立することを示し、$K$が誤って指定された場合のバイアス率についても検討します。これらの新しい手法を用い、23校の7,000人以上の生徒のデータに基づき、紛争や学校の雰囲気（スクール・クライメート）の認識におけるピア効果について分析を行います。

Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation

Finite-Time Decoupled Convergence in Nonlinear Two-Time-Scale Stochastic Approximation / 非線形2時間スケール確率近似における有限時間での非結合収束

In two-time-scale stochastic approximation (SA), two iterates are updated at varying speeds using different step sizes, with each update influencing the other. Previous studies on linear two-time-scale SA have shown that the convergence rates of the mean-square errors for these updates depend solely on their respective step sizes,a phenomenon termed decoupled convergence. However, achieving decoupled convergence in nonlinear SA remains less understood. Our research investigates the potential for finite-time decoupled convergence in nonlinear two-time-scale SA. We demonstrate that, under a nested local linearity assumption, finite-time decoupled convergence rates can be achieved with suitable step size selection. To derive this result, we conduct a convergence analysis of the matrix cross term between the iterates and leverage fourth-order moment convergence rates to control the higher-order error terms induced by local linearity. To further investigate the necessity of local linearity for decoupled convergence, we also construct an example showing that, even when the fast-time-scale update is linear, the nonlinearity of the slow-time-scale update alone can destroy decoupled convergence.



2つの時間スケールを持つ確率近似（SA）では、異なるステップサイズを用いて2つの反復変数が異なる速度で更新され、それぞれの更新が互いに影響を及ぼし合います。線形な2時間スケールSAに関する先行研究では、これらの更新における平均二乗誤差の収束速度がそれぞれのステップサイズのみに依存することが示されており、この現象は「非結合収束（decoupled convergence）」と呼ばれています。しかし、非線形SAにおいて非結合収束を実現することについては、まだ十分に解明されていません。本研究では、非線形2時間スケールSAにおける有限時間での非結合収束の可能性を調査します。我々は、「入れ子状の局所線形性（nested local linearity）」という仮定の下で、適切なステップサイズを選択すれば、有限時間での非結合収束速度が達成可能であることを示します。この結果を導き出すために、反復変数間の行列交差項の収束解析を行い、局所線形性に起因する高次の誤差項を制御するために4次モーメントの収束速度を利用します。さらに、非結合収束における局所線形性の必要性を探るため、高速時間スケールの更新が線形であっても、低速時間スケールの更新が非線形であるだけで非結合収束が損なわれ得ることを示す例を構築します。

The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler

The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler / 軌道内適応型リープフロッグNo-U-Turnサンプラー

Locally adapting parameters within Markov chain Monte Carlo methods while preserving reversibility is notoriously difficult. The success of the No-U-Turn Sampler (NUTS) largely stems from its clever local adaptation of the integration time in Hamiltonian Monte Carlo via a geometric U-turn condition. However, posterior distributions frequently exhibit multiscale geometries with extreme variations in scale, making it necessary to also adapt the leapfrog integrator’s step size locally and dynamically. Despite its practical importance, this problem has remained largely open since the introduction of NUTS by Hoffman and Gelman (2014).To address this issue, we introduce the Within-Orbit Adaptive Leapfrog No-U-Turn Sampler (WALNUTS), a generalization of NUTS that adapts the leapfrog step size at fixed intervals of simulated time as the orbit evolves. At each interval, the algorithm selects the largest step size from a dyadic schedule that keeps the energy error below a user-specified threshold. Like NUTS, WALNUTS employs biased progressive state selection to favor states with positions that are further from the initial point along the orbit. Empirical evaluations on multiscale target distributions, including Neal’s funnel and the Stock-Watson stochastic volatility time-series model, demonstrate that WALNUTS achieves substantial improvements in sampling efficiency and robustness compared to NUTS.



マルコフ連鎖モンテカルロ法において、可逆性を維持しつつパラメータを局所的に適応させることは、極めて困難であることが知られています。No-U-Turn Sampler（NUTS）の成功は、主に、幾何学的なUターン条件を用いてハミルトニアン・モンテカルロ法の積分時間を巧みに局所適応させたことに起因しています。しかし、事後分布はしばしばスケールが極端に異なるマルチスケールな幾何学的構造を示すため、リープフロッグ積分器のステップサイズも局所的かつ動的に適応させる必要があります。その実用上の重要性にもかかわらず、この問題はHoffmanとGelman（2014）によるNUTSの導入以来、未解決のままでした。この課題に対処するため、我々は「Within-Orbit Adaptive Leapfrog No-U-Turn Sampler（WALNUTS）」を提案します。これはNUTSを一般化したものであり、軌道の進行に伴い、シミュレーション時間の一定間隔ごとにリープフロッグのステップサイズを適応させます。各間隔において、アルゴリズムは、エネルギー誤差をユーザー指定の閾値以下に抑える2進（dyadic）スケジュールの中から、最大のステップサイズを選択します。NUTSと同様に、WALNUTSは、軌道上で初期点からより遠い位置にある状態を優先する「偏りを持たせた漸進的状態選択（biased progressive state selection）」を採用しています。Nealの「漏斗（funnel）」分布やStock-Watsonの確率的ボラティリティ時系列モデルを含む、マルチスケールなターゲット分布を用いた実証評価により、WALNUTSはNUTSと比較してサンプリング効率と堅牢性が大幅に向上することが示されました。

STDE++: Polynomial-Time Amortization for Linear Differential Operators

STDE++: Polynomial-Time Amortization for Linear Differential Operators / STDE++：線形微分作用素に対する多項式時間での償却計算

Optimizing neural networks with losses that contain high-dimensional and high-order differential operators is expensive to evaluate with backpropagation due to $\mathcal{O}(d^{k})$ scaling of the derivative tensor size and the $\mathcal{O}(2^{k-1}L)$ scaling in the computation graph, where $d$ is the domain dimension, $L$ is the number of ops in the forward computation graph and $k$ is the derivative order. Previous works addressed the polynomial scaling in $d$ by amortizing the computation over the optimization process via randomization. Separately, the exponential scaling in $k$ for univariate functions ($d=1$) was addressed with high-order auto-differentiation (AD). In this work, we show how to efficiently perform arbitrary contractions of the derivative tensor of arbitrary order for multivariate functions by properly constructing the input tangents to univariate high-order AD, which can be used to randomize any differential operator efficiently. When applied to Physics-Informed Neural Networks (PINNs) and compared against the original PyTorch implementation of SDGD, our method yields about $1.34\times 10^{3}$ average speedup and $31.8\times$ average memory reduction across the three inseparable 100K-dimensional PDEs in our benchmark; the best case is $1.59\times 10^{3}$ speedup and $33.8\times$ memory reduction on Allen-Cahn. We can now solve 1-million-dimensional PDEs in 8 minutes on a single NVIDIA A100 GPU. Furthermore, we proposed new methods for computing mixed partial derivatives using Taylor mode AD, which scales polynomially with the derivative order. This work opens the possibility of using high-order differential operators in large-scale problems.



高次元かつ高階の微分演算子を含む損失関数を用いてニューラルネットワークを最適化する場合、逆伝播法（バックプロパゲーション）による評価には多大なコストがかかります。これは、微分テンソルのサイズが$\mathcal{O}(d^{k})$、計算グラフの規模が$\mathcal{O}(2^{k-1}L)$で増大するためです（ここで$d$は領域の次元、$L$は順伝播計算グラフにおける演算数、$k$は微分の階数）。従来の研究では、ランダム化を用いて最適化プロセス全体で計算を分散（償却）させることで、$d$に関する多項式的な計算量増大の問題に対処してきました。また、一変数関数（$d=1$）における$k$に関する指数関数的な計算量増大については、高階自動微分（AD）を用いることで対処されてきました。本研究では、一変数高階ADへの入力接ベクトルを適切に構成することで、多変数関数の任意の階数の微分テンソルに対する任意の縮約演算を効率的に実行する手法を提示します。この手法により、あらゆる微分演算子を効率的にランダム化することが可能になります。Physics-Informed Neural Networks（PINNs）に本手法を適用し、SDGDのオリジナルのPyTorch実装と比較したところ、ベンチマーク対象とした3つの分離不可能な10万次元偏微分方程式（PDE）において、平均で約1,340倍の高速化と31.8倍のメモリ削減を達成しました。特にAllen-Cahn方程式においては、最大で1,590倍の高速化と33.8倍のメモリ削減を実現しています。これにより、単一のNVIDIA A100 GPUを用いて、8分間で100万次元のPDEを解くことが可能になりました。さらに、微分階数に対して多項式的な計算量で済むTaylorモードADを用いた、混合偏微分の計算手法も提案しました。本研究は、大規模な問題において高階微分演算子を利用する可能性を切り拓くものです。

Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes

Vecchia-Inducing-Points Full-Scale Approximations for Gaussian Processes / ガウス過程のためのVecchia誘導点（Inducing-Points）を用いたフルスケール近似

Gaussian processes are flexible, probabilistic, non-parametric models widely used in machine learning and statistics. However, their scalability to large data sets is limited by computational constraints. To overcome these challenges, we propose Vecchia-inducing-points full-scale (VIF) approximations combining the strengths of global inducing points and local Vecchia approximations. Vecchia approximations excel in settings with low-dimensional inputs and moderately smooth covariance functions, while inducing point methods are better suited to high-dimensional inputs and smoother covariance functions. Our VIF approach bridges these two regimes by using an efficient correlation-based neighbor-finding strategy for the Vecchia approximation of the residual process, implemented via a modified cover tree algorithm. We further extend our framework to non-Gaussian likelihoods by introducing iterative methods that substantially reduce computational costs for training and prediction by several orders of magnitude compared to Cholesky-based computations when using a Laplace approximation. In particular, we propose and compare novel preconditioners and provide theoretical convergence results. Extensive numerical experiments on simulated and real-world data sets show that VIF approximations are both computationally efficient as well as more accurate and numerically stable than state-of-the-art alternatives. All methods are implemented in the open-source C++ library GPBoost with high-level Python and R interfaces.



ガウス過程は、機械学習や統計学で広く利用されている、柔軟かつ確率的なノンパラメトリックモデルです。しかし、大規模データセットへの適用可能性（スケーラビリティ）は、計算上の制約によって制限されています。こうした課題を克服するため、我々は、グローバルな誘導点（inducing points）法と局所的なヴェッキア（Vecchia）近似法の長所を組み合わせた「Vecchia誘導点フルスケール（VIF）近似」を提案します。ヴェッキア近似は低次元入力や適度に滑らかな共分散関数を持つ設定で優れた性能を発揮する一方、誘導点法は高次元入力やより滑らかな共分散関数に適しています。我々のVIFアプローチは、改良型カバーツリーアルゴリズムを用いて実装された、相関に基づく効率的な近傍探索戦略を「残差過程のヴェッキア近似」に採用することで、これら二つの領域を橋渡しします。さらに、ラプラス近似を用いる際にコレスキー分解に基づく計算と比較して学習および予測の計算コストを数桁削減できる反復法を導入し、非ガウス尤度へと枠組みを拡張しました。特に、新規の事前調整子（preconditioner）を提案・比較し、理論的な収束結果を提示します。シミュレーションデータおよび実データを用いた広範な数値実験により、VIF近似は計算効率に優れているだけでなく、最先端の代替手法と比較してより高い精度と数値的安定性を備えていることが示されました。すべての手法は、PythonおよびRの高度なインターフェースを備えたオープンソースC++ライブラリ「GPBoost」に実装されています。

Statistical guarantees for denoising reflected diffusion models

Statistical guarantees for denoising reflected diffusion models / 反射拡散モデルのノイズ除去に対する統計的保証

In recent years, denoising diffusion models have become a crucial area of research due to their abundance in the rapidly expanding field of generative AI. While recent statistical advances have delivered explanations for the generation ability of idealised denoising diffusion models for high-dimensional target data, implementations introduce thresholding procedures for the generating process to overcome issues arising from the unbounded state space of such models. This mismatch between theoretical design and implementation of diffusion models has been addressed empirically by using a reflected diffusion process as the driver of noise instead. In this paper, we study statistical guarantees of these denoising reflected diffusion models. In particular, under Sobolev smoothness assumptions, we establish rates of convergence in total variation which, up to a polylogarithmic factor, match the minimax lower bound. Our main contributions include the statistical analysis of this novel class of denoising reflected diffusion models and a refined score approximation method in both time and space, leveraging spectral decomposition and rigorous neural network analysis.



近年、急速に拡大する生成AI分野において、ノイズ除去拡散モデル（denoising diffusion models）は極めて重要な研究領域となっています。高次元のターゲットデータに対する理想化されたノイズ除去拡散モデルの生成能力については、近年の統計学の進展により理論的な説明がなされていますが、実際のモデル実装においては、状態空間が非有界であることに起因する問題を克服するために、生成過程に閾値処理（thresholding）が導入されています。拡散モデルの理論的設計と実装との間にあるこのような不整合に対し、ノイズの駆動源として反射拡散過程（reflected diffusion process）を用いることで、経験的な解決が図られてきました。本論文では、これら「ノイズ除去反射拡散モデル」に関する統計的保証について研究します。特に、ソボレフ空間における滑らかさの仮定の下で、全変動（total variation）の意味での収束レートを確立しました。このレートは、ポリログ（polylogarithmic）な因子を除き、ミニマックス下界と一致するものです。我々の主な貢献は、この新しいクラスのノイズ除去反射拡散モデルの統計的解析に加え、スペクトル分解と厳密なニューラルネットワーク解析を活用した、時間および空間の両面における洗練されたスコア近似手法の提示です。

Learning general conditional independence structures via the neighbourhood lattice

Learning general conditional independence structures via the neighbourhood lattice / 近傍格子を用いた一般的な条件付き独立構造の学習

We study the problem of learning multivariate dependencies in nonparametric and high-dimensional settings. This includes but is not limited to graphical models. Our approach effectively combines several features that are missing from previous work on this problem: We show how the entire dependence structure can be learned nonparametrically while simultaneously evading the curse of dimensionality and relaxing common assumptions such as faithfulness. To this end, we introduce and study the neighbourhood lattice decomposition of a distribution, which is a compact, non-graphical representation of conditional independence (CI) that is valid in the absence of a faithful graphical representation. We show that the neighbourhood lattice decomposition exists in any graphical model and can be computed efficiently, nonparametrically, and consistently in high-dimensions without paying the usual curse of dimensionality. This gives a way to learn all of the independence relations implied by any graphical model, without requiring a priori knowledge of the graph or even the graph type. As a special case, our results provide a general solution to the problem of nonparametric estimation of high-dimensional CI structures over any graphical model.



我々は、ノンパラメトリックかつ高次元な設定における多変量依存関係の学習問題について研究します。これにはグラフィカルモデルも含まれますが、それらに限定されるものではありません。我々のアプローチは、この問題に関する従来の研究には欠けていたいくつかの特徴を効果的に組み合わせています。具体的には、「次元の呪い」を回避しつつ、「忠実性（faithfulness）」などの一般的な仮定を緩和しながら、依存関係の構造全体をノンパラメトリックに学習する方法を提示します。そのために、我々は分布の「近傍格子分解（neighbourhood lattice decomposition）」を導入・検討します。これは、忠実なグラフィカル表現が存在しない場合でも有効な、条件付き独立性（CI）のコンパクトかつ非グラフィカルな表現です。我々は、近傍格子分解があらゆるグラフィカルモデルにおいて存在すること、そして、通常の「次元の呪い」に悩まされることなく、高次元空間において効率的かつノンパラメトリックに、かつ整合性（consistency）を保ちながら計算可能であることを示します。これにより、グラフの構造や種類に関する事前知識を必要とせずに、任意のグラフィカルモデルが示唆するすべての独立関係を学習することが可能になります。特別なケースとして、我々の成果は、任意のグラフィカルモデルにおける高次元CI構造のノンパラメトリック推定問題に対する一般的な解決策を提供するものです。

Accelerating Constrained Sampling: A Large Deviations Approach

Accelerating Constrained Sampling: A Large Deviations Approach / 制約付きサンプリングの高速化：大偏差原理に基づくアプローチ

The problem of sampling a target probability distribution on a constrained domain arises in many applications including machine learning. For constrained sampling, various Langevin algorithms such as projected Langevin Monte Carlo (PLMC), based on the discretization of reflected Langevin dynamics (RLD) and more generally skew-reflected non-reversible Langevin Monte Carlo (SRNLMC), based on the discretization of skew-reflected non-reversible Langevin dynamics (SRNLD), have been proposed and studied in the literature. This work focuses on the long-time behavior of SRNLD, where a skew-symmetric matrix is added to RLD. Although acceleration for SRNLD has been studied, it is not clear how one should design the skew-symmetric matrix in the dynamics to achieve good performance in practice. We establish a large deviation principle (LDP) for the empirical measure of SRNLD when the skew-symmetric matrix is chosen such that its product with the outward unit normal vector field on the boundary is zero. By explicitly characterizing the rate functions, we show that this choice of the skew-symmetric matrix accelerates the convergence to the target distribution compared to RLD and reduces the asymptotic variance. Numerical experiments for SRNLMC based on the proposed skew-symmetric matrix show superior performance, which validate the theoretical findings from the large deviations theory.



制約付き領域上の目標確率分布からサンプリングを行う問題は、機械学習を含む多くの応用分野で生じます。制約付きサンプリングに関しては、反射ランジュバン力学（RLD）の離散化に基づく射影ランジュバン・モンテカルロ法（PLMC）や、より一般的には、斜め反射非可逆ランジュバン力学（SRNLD）の離散化に基づく斜め反射非可逆ランジュバン・モンテカルロ法（SRNLMC）など、様々なランジュバン・アルゴリズムが提案・研究されてきました。本研究では、RLDに歪対称行列を加えた力学系であるSRNLDの長時間挙動に焦点を当てます。SRNLDの加速手法については研究されてきましたが、実用上で良好な性能を達成するために、力学系における歪対称行列をどのように設計すべきかは明らかではありませんでした。本研究では、境界上の外向き単位法線ベクトル場との積がゼロになるように歪対称行列を選んだ場合について、SRNLDの経験測度に関する大偏差原理（LDP）を確立しました。レート関数を明示的に特徴付けることで、このような歪対称行列の選択が、RLDと比較して目標分布への収束を加速させ、かつ漸近分散を低減させることを示します。提案された歪対称行列に基づくSRNLMCを用いた数値実験においても優れた性能が確認され、大偏差理論に基づく理論的知見が裏付けられました。

Statistical Test for Attention in Transformers for Images and Time Series

Statistical Test for Attention in Transformers for Images and Time Series / 画像および時系列用Transformerにおけるアテンションの統計的検定

Transformer models have achieved exceptional performance in various domains, including computer vision and time-series analysis. Their core attention mechanism is widely used to interpret model decisions by assigning importance weights to input regions, such as image patches or time series intervals. However, the reliability of these interpretations remains a major concern. High-attention weights do not necessarily indicate genuinely significant features; they may instead be artifacts of the model’s computation, undermining their reliabilities in high-stakes applications such as medical diagnostics. To address this, we propose a novel statistical framework designed to quantify the significance of high-attention regions in Transformer models. Our framework is built on selective inference (SI) to correct for the inherent selection bias that arises from testing regions chosen through the complex attention computation of the Transformer models. A key contribution of this work is a novel computational method that extends SI to the complex non-linearity of self-attention, enabling the computation of valid $p$-values for high-attention regions. These $p$-values serve as a reliable measure of significance, strengthening the interpretability of Transformer decisions. The validity and effectiveness of our approach are demonstrated through numerical experiments and applications to brain image diagnosis and electroencephalography (EEG) data analysis.



Transformerモデルは、コンピュータビジョンや時系列解析など、様々な分野で卓越した性能を達成しています。その中核となるアテンション機構は、画像パッチや時系列区間などの入力領域に重要度（重み）を割り当てることで、モデルの判断根拠を解釈するために広く利用されています。しかし、こうした解釈の信頼性については依然として大きな懸念が残っています。高いアテンション重みが必ずしも真に重要な特徴を示しているとは限らず、モデルの計算過程で生じたアーティファクトである可能性もあり、医療診断のような重要な判断が求められる応用分野において、その信頼性を損なう恐れがあります。この課題に対処するため、我々はTransformerモデルにおける高アテンション領域の有意性を定量化するための新しい統計的枠組みを提案します。本枠組みは、Transformerモデルの複雑なアテンション計算を通じて選択された領域を検定する際に生じる固有の選択バイアスを補正するために、選択的推論（SI）の手法に基づいています。本研究の重要な貢献は、自己アテンション（self-attention）の複雑な非線形性に対してSIを拡張する新しい計算手法を開発した点にあり、これにより高アテンション領域に対する妥当な$p$値の算出が可能になります。これらの$p$値は信頼性の高い有意性の指標として機能し、Transformerの判断の解釈可能性を高めます。本手法の妥当性と有効性は、数値実験、および脳画像診断や脳波（EEG）データ解析への適用を通じて実証されています。

py/cuTAGI: An Open-Source Library for Tractable Approximate Gaussian Inference in Bayesian Neural Networks

py/cuTAGI: An Open-Source Library for Tractable Approximate Gaussian Inference in Bayesian Neural Networks / py/cuTAGI：ベイズニューラルネットワークにおける扱いやすい近似ガウス推論のためのオープンソースライブラリ

This paper introduces pyTAGI, a Python wrapper, and cuTAGI, its high-performance C++/CUDA backend, implementing Tractable Approximate Gaussian Inference (TAGI) for neural networks. TAGI treats all network quantities as Gaussian random variables and derives closed-form expressions for prior/posterior expected values, variances, and covariances, enabling analytic Bayesian learning without relying on gradient descent or backpropagation. The libraries mimic PyTorch’s sequential interface, allowing users to define models by stacking layers in order and performing uncertainty-aware Bayesian inference. Beyond epistemic uncertainty, it also allows quantifying heteroscedastic aleatoric uncertainty. cuTAGI’s custom CPU/GPU kernels and distributed-data-parallel support via NCCL/MPI deliver competitive runtimes, while pyTAGI’s pip-installable frontend and MIT-licensed GitHub repo facilitate community adoption and extension. Version 0.2.1 already supports a comprehensive suite of layers and activations; future work will add eager execution, further kernel optimizations, attention mechanisms, and advanced covariance factorization. Together, py/cuTAGI offer an efficient, open-source foundation for the analytic treatment of Bayesian deep learning.



本論文では、ニューラルネットワーク向けのTractable Approximate Gaussian Inference（TAGI：扱いに適した近似ガウス推論）を実装した、PythonラッパーであるpyTAGIと、その高性能なC++/CUDAバックエンドであるcuTAGIを紹介します。TAGIはネットワーク内のすべての量をガウス確率変数として扱い、事前・事後の期待値、分散、共分散を閉形式（解析的）な式で導出するため、勾配降下法や誤差逆伝播法に依存しない解析的なベイズ学習を可能にします。これらのライブラリはPyTorchのシーケンシャル・インターフェースを模倣しており、ユーザーは層を順に積み重ねてモデルを定義し、不確実性を考慮したベイズ推論を実行できます。認識論的不確実性（epistemic uncertainty）に加え、不均一分散性を持つ偶然的不確実性（heteroscedastic aleatoric uncertainty）の定量化も可能です。cuTAGIは、カスタムCPU/GPUカーネルやNCCL/MPIによる分散データ並列処理のサポートにより、競争力のある実行速度を実現しています。一方、pyTAGIはpipでインストール可能なフロントエンドとMITライセンスのGitHubリポジトリを提供し、コミュニティによる採用や拡張を容易にしています。バージョン0.2.1の時点で、すでに多種多様な層や活性化関数がサポートされており、今後の開発では、Eager実行、さらなるカーネルの最適化、アテンション機構、高度な共分散行列の分解機能などが追加される予定です。これらpyTAGIとcuTAGIは、ベイズ深層学習を解析的に扱うための、効率的かつオープンソースな基盤を提供します。

Gradient Span Algorithms Make Predictable Progress in High Dimension

Gradient Span Algorithms Make Predictable Progress in High Dimension / 勾配スパンアルゴリズムによる高次元空間での予測可能な進捗

We prove that all ‘gradient span algorithms’ have asymptotically deterministic behavior on scaled Gaussian random functions as the dimension tends to infinity. This is a functional generalization of similar results for random quadratic functions and spin glasses. They explain the counterintuitive phenomenon that different training runs of many large machine learning models result in approximately equal cost curves despite random initialization on a complicated non-convex landscape. This ‘predictable progress’ phenomenon is exploited by the AutoML community: Since the optimization progress of a single run is already representative, multiple retries with the same hyperparameters are not necessary.



我々は、次元数が無限大に向かうにつれ、あらゆる「勾配スパンアルゴリズム（gradient span algorithms）」が、スケーリングされたガウス型ランダム関数に対して漸近的に決定論的な挙動を示すことを証明します。これは、ランダムな二次関数やスピンガラスに関する同様の結果を関数空間へと一般化したものです。この結果は、複雑で非凸な損失曲面上でランダムに初期化された大規模機械学習モデルにおいて、異なる学習試行を行ってもほぼ同じコスト曲線が得られるという、直感に反する現象を説明するものです。この「予測可能な進捗（predictable progress）」という現象は、AutoMLコミュニティにおいて活用されています。すなわち、単一の試行における最適化の進捗状況がすでに全体を代表するものであるため、同じハイパーパラメータで何度も再試行する必要がないからです。

Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss

Robust training of implicit generative models for multivariate and heavy-tailed distributions with an invariant statistical loss / 不変統計的損失を用いた、多変量かつ裾の重い分布に対する暗黙的生成モデルのロバスト学習

Implicit generative models are often trained adversarially, which can yield unstable dynamics and mode collapse. The invariant statistical loss (ISL) offers a fully sample-based alternative by comparing empirical ranks of real and generated samples. In this work, we formally characterize ISL as a proper divergence over continuous distributions and establish key regularity properties, showing that it is continuous and differentiable, thereby enabling stable gradient-based optimization without adversarial games. We further enhance ISL along two practical axes. First, to better model heavy-tailed data, where Gaussian latent priors can limit tail expressivity, we introduce Pareto-ISL, which replaces Gaussian noise with a generalized Pareto latent distribution to improve the representation of both typical and extreme events. Second, to handle multivariate data at scale, we propose ISL-slicing: a computationally efficient procedure that projects samples onto random one-dimensional subspaces, computes rank-based losses per projection, and averages them to capture high-dimensional structure. Experiments demonstrate improved tail fidelity with Pareto-ISL and show that ISL-slicing scales effectively to high dimensions. Specifically, in high dimensional settings we show that ISL can be used either as a standalone criterion or as a strong pretraining objective for subsequent adversarial fine-tuning.



陰的生成モデル（implicit generative models）はしばしば敵対的学習によって訓練されるが、これには動的な不安定性やモード崩壊（mode collapse）を招く恐れがあります。不変統計的損失（ISL: Invariant Statistical Loss）は、実データと生成データのサンプルの経験的順位を比較することで、完全にサンプルベースの代替手法を提供します。本研究では、ISLを連続分布上の適切なダイバージェンス（divergence）として定式化し、その主要な正則性（連続性や微分可能性）を確立します。これにより、敵対的ゲームを用いることなく、勾配に基づく安定した最適化が可能となります。さらに、我々は2つの実用的な観点からISLを拡張します。第一に、ガウス分布の潜在事前分布では裾野（tail）の表現力が制限されがちな「裾の重い（heavy-tailed）」データを適切に扱うため、「Pareto-ISL」を導入します。これはガウスノイズを一般化パレート分布の潜在分布に置き換えることで、典型的な事象と極端な事象の双方の表現力を向上させるものです。第二に、大規模な多変量データを扱うために「ISL-slicing」を提案します。これは、サンプルをランダムな1次元部分空間に射影し、各射影における順位ベースの損失を計算して平均化することで、高次元構造を捉える計算効率の良い手法です。実験により、Pareto-ISLを用いることで裾野の再現性が向上すること、およびISL-slicingが高次元データに対しても効果的にスケールすることが示されました。具体的には、高次元設定において、ISLを単独の評価基準として使用できるだけでなく、その後の敵対的ファインチューニングに向けた強力な事前学習の目的関数としても利用できることを示す。

Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes

Adaptive Nonparametric Perturbations of Parametric Models with Generalized Bayes / 一般化ベイズを用いたパラメトリックモデルの適応的ノンパラメトリック摂動

Parametric Bayesian modeling offers a powerful and flexible toolbox for machine learning. Yet the model, however detailed, may still be wrong, and this can make inferences untrustworthy. In this paper we introduce a new class of semiparametric corrections for parametric Bayesian models, when the target of inference is a functional of the true data distribution.Our starting point is a fully Bayesian modeling approach, which explicitly accounts for the possibility that the parametric model is wrong.Asymptotic analysis shows that this approach is both robust to model misspecification and data efficient, achieving fast convergence when the parametric model is close to true. However, the fully Bayesian approach is limited in its practical usefulness by the challenges of conducting inference and computing a Bayes factor for a nonparametric model. We therefore propose a novel model correction based on generalized Bayes, which entirely avoids the need to compute a nonparametric Bayes factor, but preserves the robustness and efficiency of the fully Bayesian approach. We demonstrate our method by estimating causal effects of gene expression from single cell RNA sequencing data. Overall, we offer a new efficient approach to robust Bayesian inference with parametric models.



パラメトリックベイズモデリングは、機械学習において強力かつ柔軟な手法を提供します。しかし、モデルがいかに詳細に構築されていても誤っている可能性があり、その場合、推論結果の信頼性が損なわれる恐れがあります。本論文では、真のデータ分布の汎関数を推論の対象とする場合を想定し、パラメトリック・ベイズ・モデルに対する新しいクラスの半パラメトリック補正手法を提案します。我々のアプローチの出発点は、パラメトリック・モデルが誤っている可能性を明示的に考慮に入れた、完全ベイズ・モデリングの手法です。漸近解析により、この手法はモデルの誤設定に対して頑健（ロバスト）であると同時にデータ効率も高く、パラメトリック・モデルが真の分布に近い場合には高速な収束を実現することが示されています。しかし、完全ベイズ・アプローチは、ノンパラメトリック・モデルにおける推論やベイズ因子の計算に伴う困難さゆえに、実用上の有用性が制限されていました。そこで我々は、一般化ベイズ（generalized Bayes）に基づく新しいモデル補正手法を提案します。この手法は、ノンパラメトリック・ベイズ因子の計算を完全に回避しつつ、完全ベイズ・アプローチの持つ頑健性と効率性を維持するものです。本手法の有効性を示すため、シングルセルRNAシーケンシング・データを用いて遺伝子発現の因果効果を推定する事例を提示します。総じて、我々はパラメトリック・モデルを用いた頑健なベイズ推論のための、効率的かつ新しいアプローチを提案するものです。

Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes

Minimax Optimal Convergence of Gradient Descent in Logistic Regression via Large and Adaptive Stepsizes / 大きく適応的なステップサイズを用いたロジスティック回帰における勾配降下法のミニマックス最適収束

We study gradient descent (GD) for logistic regression on linearly separable data with stepsizes that adapt to the current risk, scaled by a constant hyperparameter \(\eta\). We show that after at most \(1/\gamma^2\) burn-in steps, GD achieves a risk upper bounded by \(\exp(-\Theta(\eta))\), where \(\gamma\) is the margin of the dataset. As \(\eta\) can be arbitrarily large, GD attains an arbitrarily small risk immediately after the burn-in steps, though the risk evolution may be non-monotonic.We further construct hard datasets with margin \(\gamma\), where any batch (or online) first-order method requires \(\Omega(1/\gamma^2)\) steps to find a linear separator. Thus, GD with large, adaptive stepsizes matches the worst-case $1/\gamma^2$ dependence when the sample size is unrestricted. Notably, the classical Perceptron, a first-order online method, also achieves a step complexity of \(1/\gamma^2\), matching GD even in constants.Finally, our GD analysis extends to a broad class of loss functions and certain two-layer networks.



本研究では、線形分離可能なデータに対するロジスティック回帰の勾配降下法（GD）を扱います。ここでは、現在のリスクに適応し、かつ定数ハイパーパラメータ$\eta$でスケーリングされたステップサイズを用います。データセットのマージンを$\gamma$とすると、最大でも$1/\gamma^2$回の「バーンイン」ステップを経た後、GDは$\exp(-\Theta(\eta))$で上界されるリスクを達成することを示します。$\eta$は任意に大きく設定できるため、リスクの推移が非単調になる可能性はあるものの、GDはバーンインステップ直後に任意に小さなリスクを達成可能です。さらに、マージン$\gamma$を持つ「困難な」データセットを構築し、そこでは線形分離面を見つけるために、あらゆるバッチ（またはオンライン）一次最適化手法が$\Omega(1/\gamma^2)$回のステップを必要とすることを示します。したがって、大きな適応的ステップサイズを用いるGDは、サンプルサイズに制限がない場合、最悪ケースにおける$1/\gamma^2$という依存性と整合します。特筆すべき点として、古典的なパーセプトロン（一次オンライン手法）もまた$1/\gamma^2$のステップ計算量を達成し、定数倍を含めてGDと一致します。最後に、本研究におけるGDの解析は、広範なクラスの損失関数や特定の2層ネットワークにも拡張可能です。

Approximation-Free Differentiable Oblique Decision Trees

Approximation-Free Differentiable Oblique Decision Trees / 近似を必要としない微分可能斜め決定木

Decision Trees (DTs) are widely used in safety-critical domains such as medical diagnosis, valued for their interpretability and effectiveness on tabular data. However, training accurate oblique DTs is challenging due to complex optimization landscapes and overfitting risks, particularly in regression. Recent advances have introduced differentiable formulations that enable gradient-based training and joint optimization of decision boundaries and leaf regressors. Yet, existing approaches typically rely on approximations, either through probabilistic softening of boundaries (soft DTs) or quantized gradients such as the Straight-Through Estimator (STE). To overcome these limitations, we propose DTSemNet, a novel, semantically equivalent, and invertible representation of hard oblique DTs as neural networks. DTSemNet enables end-to-end training with standard gradient descent, eliminating the need for approximations in both classification and regression. While classification aligns naturally with this formulation, regression remains challenging due to the joint optimization of internal nodes and leaf regressors. To address this, we analyze the limitations of STE and introduce an annealed Top-$k$ method that provides accurate gradient signals without approximation. Extensive experiments on classification and regression benchmarks show that DTSemNet-trained oblique DTs outperform state-of-the-art differentiable DTs. Furthermore, we demonstrate that DTSemNet can serve as programmatic DT policies in reinforcement learning environments, thereby broadening their applicability.



決定木（DT）は、その解釈可能性と表形式データに対する有効性から、医療診断などの安全性が極めて重要な領域で広く利用されています。しかし、特に回帰タスクにおいて、複雑な最適化の地形（ランドスケープ）や過学習のリスクがあるため、精度の高い斜め決定木（oblique DT）を学習させることは困難です。近年の進展により、勾配に基づく学習や、決定境界と葉ノードの回帰器の同時最適化を可能にする微分可能な定式化が導入されています。しかし、既存の手法は通常、境界の確率的な軟化（ソフト決定木）や、Straight-Through Estimator（STE）のような量子化された勾配といった近似に依存しています。これらの限界を克服するため、我々は「DTSemNet」を提案します。これは、ハードな斜め決定木をニューラルネットワークとして表現するものであり、意味的に等価かつ可逆的な表現となっています。DTSemNetは標準的な勾配降下法によるエンドツーエンドの学習を可能にし、分類と回帰の双方において近似を必要としません。分類タスクはこの定式化と自然に適合しますが、回帰タスクでは内部ノードと葉ノードの回帰器を同時に最適化する必要があるため、依然として課題が残ります。これに対処するため、我々はSTEの限界を分析し、近似なしに正確な勾配信号を提供する「アニール型Top-$k$法（annealed Top-$k$ method）」を導入します。分類および回帰のベンチマークを用いた広範な実験により、DTSemNetで学習された斜め決定木（oblique DT）が、最先端の微分可能決定木を凌駕することが示されました。さらに、DTSemNetを強化学習環境におけるプログラム可能な決定木ポリシーとして利用できることを実証し、その適用範囲を拡大しました。

Underdamped Langevin MCMC with third order convergence

Underdamped Langevin MCMC with third order convergence / 3次収束性を有する減衰型ランジュバンMCMC

In this paper, we propose a new numerical method for the underdamped Langevin diffusion (ULD) and present a non-asymptotic analysis of its sampling error in the 2-Wasserstein distance when the $d$-dimensional target distribution $p(x)\propto e^{-f(x)}$ is strongly log-concave and has varying degrees of smoothness. Precisely, under the assumptions that the gradient and Hessian of $f$ are Lipschitz continuous, our algorithm achieves a 2-Wasserstein error of $\varepsilon$ in $\mathcal{O}\big(\sqrt{d}/\varepsilon\big)$ and $\mathcal{O}\big(\sqrt{d}/\sqrt{\varepsilon}\big)$ steps respectively. Therefore, our algorithm has a similar complexity as other popular Langevin MCMC algorithms under matching assumptions. However, if we additionally assume that the third derivative of $f$ is Lipschitz continuous, then our algorithm achieves a 2-Wasserstein error of $\varepsilon$ in $\mathcal{O}\big(\sqrt{d}/\varepsilon^{\frac{1}{3}}\big)$ steps. To the best of our knowledge, this is the first gradient-only method for ULD with third order convergence. To support our theory, we perform Bayesian logistic regression across a range of real-world datasets, where our algorithm achieves competitive performance compared to an existing underdamped Langevin MCMC algorithm and the popular No U-Turn Sampler (NUTS).



本論文では、低減衰ランジュバン拡散（ULD）のための新しい数値解法を提案し、$d$次元の目標分布$p(x)\propto e^{-f(x)}$が強対数凹性（strongly log-concave）を持ち、かつ様々な程度の滑らかさを有する場合における、2-Wasserstein距離でのサンプリング誤差の非漸近的解析を提示します。具体的には、$f$の勾配とヘッセ行列がリプシッツ連続であるという仮定の下で、我々のアルゴリズムはそれぞれ$\mathcal{O}\big(\sqrt{d}/\varepsilon\big)$ステップおよび$\mathcal{O}\big(\sqrt{d}/\sqrt{\varepsilon}\big)$ステップで$\varepsilon$の2-Wasserstein誤差を達成します。したがって、同様の仮定の下では、我々のアルゴリズムは他の一般的なランジュバンMCMCアルゴリズムと同等の計算量を有します。しかし、$f$の3階導関数もリプシッツ連続であると仮定を強めると、我々のアルゴリズムは$\mathcal{O}\big(\sqrt{d}/\varepsilon^{\frac{1}{3}}\big)$ステップで$\varepsilon$の2-Wasserstein誤差を達成します。我々の知る限り、これは3次の収束性を有するULD向けの、勾配情報のみを用いる初のアルゴリズムです。理論を裏付けるため、様々な実データセットを用いてベイズロジスティック回帰を実施したところ、我々のアルゴリズムは、既存の低減衰ランジュバンMCMCアルゴリズムや広く利用されているNo U-Turn Sampler (NUTS)と比較して、競争力のある性能を達成しました。

Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression

Mixing times of data-augmentation Gibbs samplers for high-dimensional probit regression / 高次元プロビット回帰におけるデータ拡張ギブスサンプラーの混合時間

We investigate the convergence properties of popular data-augmentation samplers for Baye\-sian probit regression. Leveraging recent results on Gibbs samplers for log-concave targets, we provide simple and explicit non-asymptotic bounds on the associated mixing times (in Kullback-Leibler divergence). The bounds depend explicitly on the design matrix and the prior precision, while they hold uniformly over the vector of responses. We specialize the results for different regimes of statistical interest, when both the number of data points $n$ and parameters $p$ are large: in particular we identify scenarios where the mixing times remain bounded as $n,p\to\infty$, and ones where they do not. The results are shown to be tight (in the worst case with respect to the responses) and provide guidance on choices of prior distributions that provably lead to fast mixing. An empirical analysis based on coupling techniques suggests that the bounds are effective in predicting practically observed behaviours.



本研究では、ベイズ・プロビット回帰に用いられる一般的なデータ拡張サンプラーの収束特性を調査します。対数凹型（log-concave）のターゲット分布に対するギブスサンプラーに関する最近の知見を活用し、関連する混合時間（カルバック・ライブラー・ダイバージェンスの観点から）について、単純かつ明示的な非漸近的境界を提示します。これらの境界は、計画行列や事前分布の精度行列に明示的に依存する一方で、応答変数のベクトルに対して一様に成立します。データ点数$n$とパラメータ数$p$が共に大きいという、統計的に重要な異なる状況に対して結果を具体化します。特に、$n, p \to \infty$となる極限において混合時間が有界に留まるシナリオと、そうならないシナリオを特定します。これらの境界は（応答変数に関して最悪の場合において）タイト（厳密）であることが示されており、高速な混合を保証する事前分布の選択に関する指針を提供します。カップリング手法に基づく実証分析により、これらの境界が実際に観測される挙動を予測する上で有効であることが示唆されます。

Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy

Abstract Gradient Training: A Unified Certification Framework for Data Poisoning, Unlearning, and Differential Privacy / 抽象勾配学習：データポイズニング、アンラーニング、差分プライバシーのための統一的認証フレームワーク

The impact of inference-time data perturbation (e.g., adversarial attacks) has been extensively studied in machine learning, leading to well-established certification techniques for adversarial robustness. In contrast, certifying models against training data perturbations remains a relatively under-explored area. These perturbations can arise in three critical contexts: adversarial data poisoning, where an adversary manipulates training samples to corrupt model performance; machine unlearning, which requires certifying model behavior under the removal of specific training data; and differential privacy, where guarantees must be given with respect to substituting individual data points. This work introduces Abstract Gradient Training (AGT), a unified framework for certifying robustness of a given model and training procedure to training data perturbations, including bounded perturbations, the removal of data points, and the addition of new samples. By bounding the reachable set of parameters, i.e., establishing provable parameter-space bounds, AGT provides a formal approach to analyzing the behavior of models trained via first-order optimization methods.



機械学習において、推論時のデータ摂動（敵対的攻撃など）の影響は広範に研究されており、敵対的ロバスト性に関する認証手法が確立されています。対照的に、学習データの摂動に対するモデルの認証は、依然として十分に研究されていない分野です。こうした摂動は、主に3つの重要な文脈で生じます。すなわち、攻撃者が学習サンプルを操作してモデル性能を低下させる「敵対的データポイズニング」、特定の学習データを除去した際のモデル挙動の保証が求められる「マシン・アンラーニング」、そして個々のデータ点の置き換えに関して保証が必要となる「差分プライバシー」です。本研究では、有界な摂動、データ点の除去、新規サンプルの追加など、学習データに対する摂動に対してモデルおよび学習手順のロバスト性を認証するための統一的枠組みである「抽象勾配学習（AGT）」を提案します。AGTは、到達可能なパラメータ集合を制限すること、すなわちパラメータ空間における証明可能な境界を確立することを通じて、一次最適化手法によって学習されたモデルの挙動を解析するための形式的なアプローチを提供します。

Doubly Debiased Robust Subsampling for Transfer Learning

Doubly Debiased Robust Subsampling for Transfer Learning / 転移学習のための二重バイアス補正ロバストサブサンプリング

This paper develops a general framework for doubly debiased robust subsampling for transfer learning. The setting arises when massive source datasets are computationally infeasible to use in full, while naive or heuristic subsampling leads to biased estimators that further inherit transfer bias under source-target distributional shifts. We resolve these challenges through two complementary debiasing mechanisms. Inverse probability weighting removes subsampling bias by ensuring that subsample-based estimators represent the full source distribution, while a target-based one-step refinement recenters estimators towards the target distribution, thereby mitigating transfer bias. These corrections are embedded within a distributionally robust optimization design that simultaneously controls worst-case target risk and enforces source-target alignment through maximum mean discrepancy. To optimize subsampling distributions, we propose a scalarized particle swarm algorithm that efficiently explores the robustness-alignment frontier by adjusting a single tuning parameter. We establish theoretical properties, including asymptotic normality, generalization bounds, oracle inequalities, and minimax optimality under distributional uncertainty. Simulation studies and empirical applications in text sentiment and image recognition demonstrate that the proposed method consistently improves prediction accuracy and robustness compared with uniform subsampling, target-only training, and alignment-only approaches, and that both debiasing mechanisms are essential for reliable transfer.



本論文では、転移学習における二重バイアス補正（doubly debiased）を伴うロバストな部分サンプリングのための一般的な枠組みを構築します。この設定は、大規模なソースデータセットを完全な形で使用することが計算コストの観点から困難である一方で、単純な手法やヒューリスティックな手法による部分サンプリングでは、バイアスのある推定量が生じ、さらにソース・ターゲット間の分布のずれに起因する転移バイアスも引き継いでしまうような状況で生じます。我々は、互いに補完し合う2つのバイアス補正メカニズムを用いることで、これらの課題を解決します。逆確率重み付け（Inverse probability weighting）は、サブサンプルに基づく推定量が元の分布全体を代表するようにすることでサブサンプリングによるバイアスを除去する一方、ターゲット分布に基づいたワンステップの修正は推定量をターゲット分布へと再調整し、それによって転移バイアスを緩和します。これらの修正は、最悪ケースのターゲットリスクを制御しつつ、最大平均不一致（Maximum Mean Discrepancy）を用いてソースとターゲットの整合性を確保する、分布的にロバストな最適化の枠組みに組み込まれています。サブサンプリング分布を最適化するために、我々は単一の調整パラメータを変化させることでロバスト性と整合性のトレードオフ境界（フロンティア）を効率的に探索する、スカラー化粒子群最適化アルゴリズムを提案します。また、漸近正規性、汎化誤差限界、オラクル不等式、および分布の不確実性下でのミニマックス最適性を含む理論的性質を確立します。テキストの感情分析や画像認識におけるシミュレーションおよび実データへの適用を通じて、提案手法が一様サブサンプリング、ターゲットのみを用いた学習、整合性確保のみを行う手法と比較して、予測精度とロバスト性を一貫して向上させること、そして信頼性の高い転移を実現するにはこれら二つのバイアス除去メカニズムの双方が不可欠であることを実証します。

Learning to Play Two-Player Perfect-Information Games without Knowledge

Learning to Play Two-Player Perfect-Information Games without Knowledge / 事前知識なしでの2人完全情報ゲームのプレイ学習

This paper introduces a set of techniques for learning game state evaluation functions through reinforcement learning. First, we generalize tree bootstrapping, i.e. learning the values of states encountered during search rather than restricting updates to states observed during matches, to the setting of reinforcement learning with non-linear function approximation. Second, we modifies Unbounded Best-First Minimax by extending best action sequences to terminal states. Third, we replace the traditional binary game outcome $+1/-1$ with richer reinforcement signals, including quick wins, delayed losses, and scoring. Fourth, we propose a completion mechanism that exploits state resolution.Finally, we introduce a novel action-selection distribution, referred to as the ordinal distribution.Experimental results show that each of these techniques contributes to substantial improvements in playing strength. We integrate them into a unified algorithm, Athénan, and compare it against ExIt, a leading self-play reinforcement learning approach without prior knowledge.Our results demonstrate that Athénan consistently outperforms ExIt.We further evaluate Athénan on the games Hex, Othello, and Arimaa, where it surpasses state-of-the-art performance without relying on domain-specific knowledge. In addition, we consider the single-player game Morpion Solitaire, in which Athénan again reaches state-of-the-art results under the same constraint.Overall, these results show that reinforcement learning, when combined with the proposed techniques, can achieve state-of-the-art performance across a diverse range of games without the need for handcrafted heuristics or expert knowledge.



本論文では、強化学習を用いてゲームの状態評価関数を学習するための一連の手法を提案します。第一に、我々は「ツリーブートストラップ法」（対局中に観測された状態だけでなく、探索中に遭遇した状態の価値も学習する手法）を、非線形関数近似を用いた強化学習の枠組みへと一般化します。第二に、最善手列を終端状態まで拡張することで、「Unbounded Best-First Minimax」アルゴリズムを改良します。第三に、従来の「+1/-1」という二値的な勝敗結果の代わりに、早期勝利、遅延敗北、スコア獲得など、より情報量の多い強化学習シグナルを採用します。第四に、状態の解像度（state resolution）を活用した補完メカニズムを提案します。最後に、「順序分布（ordinal distribution）」と呼ぶ新しい行動選択分布を導入します。実験の結果、これらの各手法がプレイ強度の著しい向上に寄与することが示されました。我々はこれらを統合したアルゴリズム「Athénan」を構築し、事前知識を必要としない自己対戦型強化学習の代表的な手法である「ExIt」と比較した。その結果、Athénanは一貫してExItを上回る性能を示した。さらに、Hex、Othello、ArimaaといったゲームでAthénanを評価したところ、ドメイン固有の知識に頼ることなく、最先端の性能を上回る結果が得られた。加えて、一人用ゲームであるMorpion Solitaireにおいても、同様の制約下で最先端レベルの成果を達成した。総じて、これらの結果は、提案手法を組み合わせることで、強化学習が、手作業によるヒューリスティクスや専門家の知識を必要とせずに、多種多様なゲームにおいて最先端の性能を達成できることを示しています。

Graph-based Clustering Revisited: A Relaxation of Kernel k-Means Perspective

Graph-based Clustering Revisited: A Relaxation of Kernel k-Means Perspective / グラフベース・クラスタリングの再考：カーネルk平均法の緩和という視点から

The well-known graph-based clustering methods, including spectral clustering, symmetric non-negative matrix factorization, and doubly stochastic normalization, can be viewed as relaxations of the kernel k-means approach. However, we posit that these methods excessively relax their inherent low-rank, nonnegative, doubly stochastic, and orthonormal constraints to ensure numerical feasibility, potentially limiting their clustering efficacy. In this paper, guided by our systematic theoretical analyses, we propose Low-Rank Doubly stochastic clustering (LoRD), a model that only relaxes the orthonormal constraint to derive a probabilistic clustering results. Furthermore, by theoretically establishing the equivalence between orthogonality and Block diagonality under the doubly stochastic constraint, we propose B-LoRD. By integrating block diagonal regularization into LoRD, expressed as the maximization of the Frobenius norm, we enhance clustering performance. To ensure numerical solvability, we transform the non-convex doubly stochastic constraint into a linear convex constraint through the introduction of a class probability parameter. The theoretical demonstration of the gradient Lipschitz continuity of our LoRD and B-LoRD enables the proposal of a projected gradient algorithm whose exact iteration admits a sublinear convergence-rate bound and ensures first-order stationarity of every accumulation point for the exact projected gradient iteration. Extensive experiments underscore the effectiveness of our approaches. The code is publicly available at https://github.com/lwl-learning/LoRD.



スペクトルクラスタリング、対称非負行列因子分解、二重確率正規化といった、よく知られたグラフベースのクラスタリング手法は、カーネルk平均法（kernel k-means）の緩和形とみなすことができます。しかし、我々は、これらの手法が数値的な実行可能性を確保するために、本来備わっている低ランク性、非負性、二重確率性、正規直交性といった制約を過度に緩和しており、その結果クラスタリングの有効性が制限されている可能性があると考えています。本論文では、体系的な理論分析に基づき、確率的なクラスタリング結果を導出するために正規直交性の制約のみを緩和したモデル、「Low-Rank Doubly stochastic clustering (LoRD)」を提案します。さらに、二重確率性の制約下における直交性とブロック対角性の等価性を理論的に確立し、「B-LoRD」を提案します。フロベニウスノルムの最大化として定式化されるLoRDにブロック対角正則化を組み込むことで、クラスタリング性能を向上させます。数値的な解法を可能にするため、クラス確率パラメータを導入し、非凸な二重確率制約を線形凸制約へと変換します。LoRDおよびB-LoRDの勾配リプシッツ連続性を理論的に示すことで、射影勾配アルゴリズムを提案可能にしました。このアルゴリズムの厳密な反復は、劣線形な収束率の限界を満たし、かつ厳密な射影勾配反復におけるすべての集積点が一次の定常性を満たすことを保証します。広範な実験により、我々のアプローチの有効性が実証されています。コードはhttps://github.com/lwl-learning/LoRDにて公開されています。

End-to-End Deep Learning for Predicting Metric Space-Valued Outputs

End-to-End Deep Learning for Predicting Metric Space-Valued Outputs / 距離空間値出力を予測するためのエンドツーエンド・ディープラーニング

Many modern applications involve predicting structured, non-Euclidean outputs such as probability distributions, networks, and symmetric positive-definite matrices. These outputs are naturally modeled as elements of general metric spaces, where classical regression techniques that rely on vector space structure no longer apply. We introduce E2M (End-to-End Metric regression), a deep learning framework for predicting metric space-valued outputs. E2M performs prediction via weighted Fréchet means over training outputs, where the weights are learned by a neural network conditioned on the input. This construction provides a principled mechanism for geometry-aware prediction that avoids surrogate embeddings and restrictive parametric assumptions, while fully preserving the intrinsic geometry of the output space. We establish theoretical guarantees, including a universal approximation theorem that characterizes the expressive capacity of the model and a convergence analysis of the entropy-regularized training objective. Through extensive simulations involving probability distributions, networks, and symmetric positive-definite matrices, we show that E2M consistently achieves state-of-the-art performance, with its advantages becoming more pronounced at larger sample sizes. Applications to human mortality distributions and New York City taxi networks further demonstrate the flexibility and practical utility of this framework.



現代の多くの応用において、確率分布、ネットワーク、対称正定値行列といった、構造化された非ユークリッドな出力の予測が求められています。これらの出力は一般の距離空間の要素として自然にモデル化されますが、ベクトル空間の構造に依存する従来の回帰手法は適用できません。本研究では、距離空間値の出力を予測するためのディープラーニング・フレームワークであるE2M（End-to-End Metric regression）を提案します。E2Mは、学習データの出力に対する重み付きフレシェ平均（Fréchet mean）を用いて予測を行います。ここで、重みは入力に条件付けられたニューラルネットワークによって学習されます。この構成により、代替的な埋め込みや制約の多いパラメータ仮定を避けつつ、出力空間の本来の幾何学的構造を完全に保持した、幾何学的構造を考慮した予測が可能になります。我々は、モデルの表現能力を特徴付ける普遍近似定理や、エントロピー正則化された学習目的関数の収束解析など、理論的な保証を確立しました。確率分布、ネットワーク、対称正定値行列を用いた広範なシミュレーションを通じて、E2Mが一貫して最先端の性能を達成すること、そしてサンプルサイズが大きくなるにつれてその利点がより顕著になることを示します。さらに、人間の死亡率分布やニューヨーク市のタクシーネットワークへの適用例により、本フレームワークの柔軟性と実用的な有用性を示します。

The Sample Complexity of Parameter-Free Stochastic Convex Optimization

The Sample Complexity of Parameter-Free Stochastic Convex Optimization / パラメータフリーな確率的凸最適化におけるサンプル複雑度

We study the sample complexity of stochastic convex optimization when problem parameters such as the distance to optimality and the Lipschitz constant are unknown. We pursue two strategies. First, we develop a reliable model selection method that avoids overfitting to the validation set. This method allows us to generically tune the learning rate of stochastic optimization methods to match the optimal known-parameter sample complexity up to $\log\log$ factors. Second, we develop a regularization-based method that is specialized to the case that only the distance to optimality is unknown. More specifically, it uses norm-regularized empirical risk minimization to estimate the distance to optimality to within a constant factor, allowing known-parameter stochastic optimization methods to achieve optimal sample complexity. This method provides perfect adaptability to unknown distance to optimality, demonstrating a separation between the sample and computational complexity of parameter-free stochastic convex optimization. Combining these two methods allows us to simultaneously adapt to multiple problem structures. Experiments performing few-shot learning on CIFAR-10 by fine-tuning CLIP models and prompt engineering Gemini to count shapes indicate that our reliable model selection method can help mitigate overfitting to small validation sets.



本研究では、最適解までの距離やリプシッツ定数といった問題パラメータが未知である状況下での、確率的凸最適化のサンプル複雑性を考察します。我々は2つのアプローチをとります。第一に、検証セットへの過学習を回避する、信頼性の高いモデル選択手法を開発します。この手法を用いることで、確率的最適化法の学習率を汎用的に調整し、パラメータ既知の場合の最適サンプル複雑性を（$\log\log$因子の範囲内で）達成することが可能になります。第二に、最適解までの距離のみが未知である場合に特化した、正則化に基づく手法を開発します。具体的には、ノルム正則化付き経験リスク最小化を用いて最適解までの距離を定数倍の精度で推定し、それによって、パラメータ既知の場合の確率的最適化法でも最適サンプル複雑性を達成できるようにします。この手法は未知の最適解までの距離に対して完全な適応性を提供し、パラメータフリーな確率的凸最適化におけるサンプル複雑性と計算複雑性の間の乖離（セパレーション）を実証するものです。これら2つの手法を組み合わせることで、複数の問題構造に同時に適応することが可能になります。CIFAR-10を用いたCLIPモデルのファインチューニングによるフューショット学習や、Geminiに対する形状カウントのプロンプトエンジニアリングといった実験において、我々の提案する信頼性の高いモデル選択手法が、小規模な検証セットへの過学習を抑制するのに有効であることが示されました。

Near-optimal Delta-convex Estimation of Lipschitz Functions

Near-optimal Delta-convex Estimation of Lipschitz Functions / リプシッツ関数の準最適に近いデルタ凸推定

This paper presents a tractable algorithm for estimating an unknown Lipschitz function from noisy observations and establishes an upper bound on its convergence rate. The approach extends max-affine methods from convex shape-restricted regression to the more general Lipschitz setting. A key component is a nonlinear feature expansion that maps max-affine functions into a subclass of delta-convex functions, which act as universal approximators of Lipschitz functions while preserving their Lipschitz constants. Leveraging this property, the estimator attains the minimax convergence rate (up to logarithmic factors) with respect to the intrinsic dimension of the data under squared loss and subgaussian distributions in the random design setting. The algorithm integrates adaptive partitioning to capture intrinsic dimension, a penalty-based regularization mechanism that removes the need to know the true Lipschitz constant, and a two-stage optimization procedure combining a convex initialization with local refinement. The framework is also straightforward to adapt to convex shape-restricted regression. Experiments demonstrate competitive performance relative to other theoretically justified methods, including nearest-neighbor and kernel-based regressors.



本論文では、ノイズを含む観測値から未知のLipschitz関数を推定するための扱いやすいアルゴリズムを提案し、その収束率の上界を確立します。この手法は、凸形状制約付き回帰におけるmax-affine（区分線形凸）法を、より一般的なLipschitz関数の設定へと拡張するものです。その鍵となるのは、max-affine関数をdelta-convex関数（2つの凸関数の差として表される関数）の特定のクラスへと写像する非線形特徴量展開です。このクラスの関数は、Lipschitz定数を維持しつつLipschitz関数の普遍近似器として機能します。この性質を活用することで、本推定器は、ランダムデザイン設定において、二乗損失およびサブガウス分布の下、データの真の次元（intrinsic dimension）に関して（対数因子を除き）ミニマックス収束率を達成します。本アルゴリズムは、データの真の次元を捉えるための適応的分割、真のLipschitz定数を事前に知る必要をなくすペナルティベースの正則化機構、そして凸最適化による初期化と局所的な精密化を組み合わせた2段階の最適化手順を統合しています。また、この枠組みは凸形状制約付き回帰にも容易に適用可能です。実験により、近傍法やカーネル回帰など、理論的裏付けのある他の手法と比較しても遜色のない性能を示すことが実証されています。

Error Analyses of Auto-Regressive Video Diffusion Models

Error Analyses of Auto-Regressive Video Diffusion Models / 自己回帰型動画拡散モデルの誤差解析

Auto-Regressive Video Diffusion Models (AR-VDMs) have shown strong capabilities in generating long, photorealistic videos, but suffer from two key limitations: (i) history forgetting, where the model loses track of previously generated content, and (ii) temporal degradation, where frame quality deteriorates over time. Yet a rigorous theoretical analysis of these phenomena is lacking, and existing empirical understanding remains insufficiently grounded. In this paper, we introduce Meta-ARVDM, a unified analytical framework that studies both errors through the shared autoregressive structure of AR-VDMs. We show that history forgetting is characterized by the conditional mutual information between the generated output and preceding frames, conditioned on inputs, and prove that incorporating more past frames monotonically alleviates history forgetting, thereby theoretically justifying a common belief in existing works. Moreover, our theory reveals that standard metrics fail to capture this effect, motivating a new evaluation protocol based on a “needle-in-a-haystack” task in closed-ended environments (DMLab and Minecraft). We further show that temporal degradation can be quantified by the cumulative sum of per-step errors, enabling prediction of degradation for different schedulers without video rollout. Finally, our evaluation uncovers a strong empirical correlation between history forgetting and temporal degradation, a connection not previously reported.



自己回帰型動画拡散モデル（AR-VDM）は、写実的で長い動画を生成する高い能力を示していますが、主に2つの限界を抱えています。(i)過去に生成された内容をモデルが追跡できなくなる「履歴の忘却（history forgetting）」と、(ii)時間の経過とともにフレームの品質が低下する「時間的劣化（temporal degradation）」です。しかし、これらの現象に関する厳密な理論的分析は不足しており、既存の経験的な理解も十分な根拠に基づいているとは言えません。本論文では、AR-VDMの共通の自己回帰構造を通じてこれら双方の誤差を研究する、統一的な分析フレームワーク「Meta-ARVDM」を提案します。我々は、履歴の忘却が、入力を条件とした「生成出力」と「先行フレーム」との間の条件付き相互情報量によって特徴付けられることを示します。また、より多くの過去フレームを組み込むことが履歴の忘却を単調に緩和することを証明し、既存研究における一般的な通念を理論的に裏付けます。さらに、標準的な指標ではこの効果を捉えられないことを理論的に明らかにし、閉じた環境（DMLabやMinecraft）における「干し草の山から針を探す（needle-in-a-haystack）」タスクに基づいた新しい評価プロトコルを提案します。加えて、時間的劣化はステップごとの誤差の累積和によって定量化できることを示し、動画のロールアウト（実際の生成実行）を行わずに、異なるスケジューラにおける劣化を予測可能にします。最後に、評価を通じて、履歴の忘却と時間的劣化の間に強い経験的相関があることを明らかにします。これはこれまで報告されていなかった関連性です。

High-Dimensional Analysis of Gradient Flow for Extensive-Width Quadratic Neural Networks

High-Dimensional Analysis of Gradient Flow for Extensive-Width Quadratic Neural Networks / 超広幅2次ニューラルネットワークにおける勾配流の高次元解析

We study the high-dimensional training dynamics of a shallow neural network with quadratic activation in a teacher–student setup. We focus on the extensive-width regime, where the teacher and student network widths scale proportionally with the input dimension, and the sample size grows quadratically. This scaling aims to describe overparameterized neural networks in which feature learning still plays a central role. In the high-dimensional limit, we derive a dynamical characterization of the gradient flow, in the spirit of dynamical mean-field theory (DMFT). Under $\ell_2$-regularization, we analyze these equations at long times and characterize the performance and spectral properties of the resulting estimator. This result provides a quantitative understanding of the effect of overparameterization on learning and generalization, and reveals a double descent phenomenon in the presence of label noise, where generalization improves beyond interpolation. In the small regularization limit, we obtain an exact expression for the perfect recovery threshold as a function of the network widths, providing a precise characterization of how overparameterization influences recovery.



本研究では、教師・生徒設定における、二次関数的な活性化関数を持つ浅いニューラルネットワークの、高次元での学習ダイナミクスを研究します。特に、教師および生徒ネットワークの幅が入力次元に比例して拡大し、サンプルサイズがその二乗のオーダーで増大する「広範な幅（extensive-width）」の領域に焦点を当てます。このスケーリングは、特徴学習が依然として中心的な役割を果たす過剰パラメータ化されたニューラルネットワークを記述することを意図しています。高次元極限において、我々は動的平均場理論（DMFT）の精神に基づき、勾配流の動的な特性を導出します。$\ell_2$正則化の下で、長時間極限におけるこれらの方程式を解析し、得られる推定量の性能およびスペクトル特性を明らかにします。この結果は、過剰パラメータ化が学習と汎化に及ぼす影響についての定量的な理解を提供し、ラベルノイズが存在する場合に、補間（interpolation）を超えて汎化性能が向上する「ダブルディセント（二重降下）」現象を明らかにします。正則化が小さい極限では、ネットワーク幅の関数として完全復元（perfect recovery）の閾値を表す厳密な式を導出し、過剰パラメータ化が復元にどのように影響するかを正確に特徴付けます。

Bridging Domain Invariance and Diversity: A Fine-Grained Risk Bound for Domain Generalization

Bridging Domain Invariance and Diversity: A Fine-Grained Risk Bound for Domain Generalization / ドメイン不変性と多様性の架け橋：ドメイン汎化のための詳細なリスク境界

Domain-invariant representation learning and domain augmentation algorithms are two principal methodological paradigms for addressing domain generalization. They are widely employed in the machine learning literature to enhance domain invariance and domain diversity, respectively. However, existing risk bounds for domain generalization do not simultaneously capture the contributions of both approaches. This limitation arises because bounds derived directly in the original latent space are typically too coarse-grained and ambiguous to characterize how invariance and diversity jointly influence generalization. Since these two properties are often regarded as being inherently contradictory, it becomes difficult to disentangle and rigorously characterize their individual effects. To address this issue, we first observe that the latent representation space can be decomposed into several distinct subspaces, each exhibiting different characteristics and therefore being better suited for analyzing the respective roles of domain invariance and domain diversity. Building on this observation, we propose a unified analytical framework for domain generalization. Specifically, we introduce a Tri-Space Latent Representation and establish its unique decomposability via a direct-sum decomposition. Under this decomposition, each data representation can be uniquely partitioned into three components: domain-invariant features, spurious invariant features, and domain-variant features. Within this framework, we derive a finer-grained bound on the target-domain risk, which consists of two principal terms corresponding to domain diversity and invariant factors. By theoretically analyzing these two terms, we show that domain-invariant representation learning and domain augmentation are both effective and, crucially, compatible strategies for addressing domain generalization. Finally, we design two sets of experiments to empirically validate the relationship between domain invariance and domain diversity, and to examine their respective effects on domain generalization performance.



ドメイン不変表現学習とドメイン拡張アルゴリズムは、ドメイン汎化（domain generalization）に対処するための主要な2つの方法論的パラダイムです。これらは、それぞれドメイン不変性とドメイン多様性を高める手法として、機械学習の文献で広く採用されています。しかし、ドメイン汎化に関する既存の「リスク境界（risk bounds）」は、これら両方のアプローチによる寄与を同時に捉えることができていません。このような限界が生じるのは、元の潜在空間で直接導出された境界が、不変性と多様性が汎化にどのように複合的に影響するかを特徴付けるには、一般にあまりに粗く曖昧だからです。これら2つの特性は本質的に相反するものと見なされることが多いため、それぞれの効果を切り分け、厳密に特徴付けることは困難です。この問題に対処するため、我々はまず、潜在表現空間がいくつかの異なる部分空間に分解可能であることに着目しました。各部分空間は異なる特性を示すため、ドメイン不変性とドメイン多様性のそれぞれの役割を分析するのに適しています。この知見に基づき、我々はドメイン汎化のための統一的な分析フレームワークを提案します。具体的には、「3空間潜在表現（Tri-Space Latent Representation）」を導入し、直和分解によってその一意な分解可能性を確立します。この分解の下では、各データ表現を「ドメイン不変な特徴」、「見かけ上の不変特徴（spurious invariant features）」、および「ドメイン可変な特徴」という3つの成分に一意に分割できます。このフレームワーク内で、我々はターゲットドメインにおけるリスクについて、より詳細な（きめ細かい）境界を導出します。この境界は、ドメイン多様性と不変要因に対応する2つの主要な項で構成されます。これら2つの項を理論的に分析することで、ドメイン不変表現学習とドメイン拡張が、ドメイン汎化に対処する上で有効であり、かつ重要なことに、互いに両立し得る戦略であることを示します。最後に、ドメイン不変性とドメイン多様性の関係を実証的に検証し、ドメイン汎化性能に対するそれぞれの効果を調べるために、2種類の実験を設計・実施します。

The Role of Pseudo-Labels in Self-Training Linear Classifiers on High-Dimensional Gaussian Mixture Data

The Role of Pseudo-Labels in Self-Training Linear Classifiers on High-Dimensional Gaussian Mixture Data / 高次元ガウス混合データにおける線形分類器の自己学習（Self-Training）における疑似ラベルの役割

Self-training (ST) is a simple yet effective semi-supervised learning method. However, why and how ST improves generalization performance by using potentially erroneous pseudo-labels is still not well understood. To deepen the understanding of ST, we derive and analyze a sharp characterization of the behavior of iterative ST when training a linear classifier by minimizing the ridge-regularized convex loss on binary Gaussian mixtures, in the asymptotic limit where input dimension and data size diverge proportionally. The results show that ST improves generalization in different ways depending on the number of iterations. When the number of iterations is small, ST improves generalization performance by fitting the model to relatively reliable pseudo-labels and updating the model parameters by a large amount at each iteration. This suggests that ST works intuitively. On the other hand, with many iterations, ST can gradually improve the direction of the classification plane by updating the model parameters incrementally, using soft labels and small regularization. It is argued that this is because the small update of ST can extract information from the data in an almost noiseless way. However, in the presence of label imbalance, the generalization performance of ST underperforms supervised learning with true labels. To overcome this, two heuristics are proposed to enable ST to achieve nearly compatible performance with supervised learning even with significant label imbalance.



自己学習（Self-training: ST）は、単純ながらも効果的な半教師あり学習手法です。しかし、誤りを含む可能性のある擬似ラベルを用いて、なぜ、そしてどのようにSTが汎化性能を向上させるのかについては、依然として十分に解明されていません。STへの理解を深めるため、本研究では、入力次元とデータサイズが比例して増大する漸近極限において、二値ガウス混合分布に対してリッジ正則化付き凸損失を最小化し線形分類器を学習させる際の、反復的STの挙動を厳密に定式化・解析します。その結果、STによる汎化性能の向上メカニズムは、反復回数によって異なることが示されました。反復回数が少ない場合、STは比較的信頼性の高い擬似ラベルにモデルを適合させ、各反復でモデルパラメータを大きく更新することで汎化性能を向上させます。これは、STが直感的な仕組みで機能していることを示唆しています。一方、反復回数が多い場合、STはソフトラベルと小さな正則化を用い、モデルパラメータを段階的に更新することで、分類境界の方向を徐々に改善できます。これは、STにおける微小な更新が、ノイズの影響をほとんど受けずにデータから情報を抽出できるためであると考えられます。しかし、ラベルの不均衡が存在する場合、STの汎化性能は真のラベルを用いた教師あり学習を下回ります。この課題を克服するため、本研究では、ラベルの不均衡が著しい場合でも教師あり学習に匹敵する性能をSTで実現可能にする、2つのヒューリスティックな手法を提案します。

Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications

Keypoint-Guided Optimal Transport: Models, Algorithms, and Applications / キーポイント誘導型最適輸送：モデル、アルゴリズム、および応用

Existing Optimal Transport (OT) methods mainly derive the optimal transport plan/matching under the criterion of transport cost/distance minimization, which may cause incorrect matching in some cases. In real applications, annotating a few matched keypoints across domains is reasonable or even effortless in annotation burden. It is valuable to investigate how to leverage the annotated keypoints to guide the correct matching in OT. In this paper, we propose a novel KeyPoint-Guided model by ReLation preservation (KPG-RL) that searches for the optimal matching (i.e., transport plan) guided by the keypoints in OT. KPG-RL exploits a mask-based constraint of the transport plan to preserve the matching of keypoint pairs in transport, and guides the matching by relation of each data point to the keypoints. The KPG-RL is developed in both balanced and unbalanced/partial transport settings in Kantorovich and Gromov-Wasserstein formulations. Moreover, we deduce the dual formulation of χ²-regularized KPG-RL model, from which we learn the transport based on deep learning techniques, scaling better to larger numbers of data. With the learned transport plan, two novel neural transport strategies, named manifold barycentric projection and manifold sampling, are developed to transport source data to the target domain data manifold. As applications, we apply the proposed approach to the heterogeneous domain adaptation, multi-omic single-cell alignment, and image-to-image translation. Experiments verified the effectiveness of our approach.



既存の最適輸送（Optimal Transport: OT）手法は、主に輸送コストや距離の最小化を基準として最適輸送計画（マッチング）を導出しますが、この方法では場合によっては誤ったマッチングが生じることがあります。実際の応用場面では、ドメイン間で対応する少数のキーポイントにアノテーションを付与することは合理的であり、アノテーションの負担もそれほど大きくありません。したがって、OTにおいて正しいマッチングを導くために、アノテーションされたキーポイントをどのように活用するかを検討することは有意義です。本論文では、OTにおいてキーポイントを指針として最適マッチング（すなわち輸送計画）を探索する、関係性保持に基づく新しいキーポイント誘導型モデル（KPG-RL）を提案します。KPG-RLは、輸送計画に対するマスクベースの制約を利用して輸送中のキーポイントペアのマッチングを維持するとともに、各データ点とキーポイントとの関係性に基づいてマッチングを誘導します。KPG-RLは、カントロビッチおよびグロモフ・ワッサースタインの定式化において、バランス型およびアンバランス型（または部分型）の輸送設定の両方に対応する形で開発されています。さらに、我々はχ²正則化を導入したKPG-RLモデルの双対問題を導出し、深層学習技術を用いて輸送写像を学習することで、大規模データへの高いスケーラビリティを実現しました。学習された輸送計画に基づき、ソースデータをターゲットドメインのデータ多様体上へと輸送するための、「多様体重心射影（manifold barycentric projection）」および「多様体サンプリング（manifold sampling）」という2つの新しいニューラル輸送手法を開発しました。応用例として、提案手法を異種ドメイン適応、マルチオミクス・シングルセル・アライメント、および画像間変換に適用し、実験を通じてその有効性を実証しました。

Adversarial Rademacher Complexity of Deep Neural Networks

Adversarial Rademacher Complexity of Deep Neural Networks / 深層ニューラルネットワークの敵対的ラデマッハー複雑度

Deep neural networks (DNNs) are highly vulnerable to adversarial attacks. Ideally, a robust model should perform well on both perturbed training data and unseen perturbed test data. While DNNs can fit perturbed training data, generalizing to perturbed test data remains a significant challenge. This motivates the study of generalization guarantees from a learning theory perspective. This paper focuses on adversarial Rademacher complexity (ARC), first introduced by Khim and Loh (2018) and Yin et al. (2019). Their work primarily addressed linear functions and highlighted the open question of how to bound ARC for neural networks. Since then, several attempts have been made, with the latest results applying ARC only to two-layer neural networks. The main challenge arises from the dynamic nature and unknown closed-form solution of adversarial examples. In this paper, we resolve this issue and provide the first bound on ARC for deep neural networks. Our bound is qualitatively comparable to Rademacher complexity bounds in similar settings. The key ingredient is a new concept we introduce, termed intermediate adversarial examples, along with a framework for calculating the covering number that is compatible with them. Finally, we present experiments to analyze poor robust generalization, demonstrating that the weight norm is a crucial factor influencing the robust generalization gap.



深層ニューラルネットワーク（DNN）は、敵対的攻撃に対して極めて脆弱です。理想的には、堅牢なモデルは、摂動が加えられた学習データと、同様に摂動が加えられた未知のテストデータの双方において良好な性能を示すべきです。DNNは摂動が加えられた学習データには適合できますが、摂動が加えられたテストデータに対して汎化性能を確保することは依然として大きな課題です。このことが、学習理論の観点から汎化性能の保証を研究する動機となっています。本論文では、Khim and Loh (2018)およびYinら(2019)によって最初に導入された「敵対的ラデマッハー複雑度（ARC）」に焦点を当てます。彼らの研究は主に線形関数を対象としており、ニューラルネットワークにおけるARCをどのように評価（バウンド）するかという未解決問題を提示していました。その後、いくつかの試みがなされてきましたが、最新の成果においても、ARCの適用対象は2層ニューラルネットワークにとどまっていました。主な課題は、敵対的サンプルの動的な性質と、その閉形式解が未知であることに起因します。本論文では、この問題を解決し、深層ニューラルネットワークに対するARCの評価式を初めて提示します。我々が導出した評価式は、同様の設定における通常のラデマッハー複雑度の評価式と質的に同等のものです。その鍵となるのは、我々が新たに導入する「中間敵対的サンプル（intermediate adversarial examples）」という概念と、それに対応する被覆数（covering number）の計算枠組みです。最後に、堅牢な汎化性能が低い原因を分析する実験を行い、重みノルムが堅牢な汎化ギャップに影響を与える重要な要因であることを示します。

Model-free generalized fiducial inference

Model-free generalized fiducial inference / モデルフリーな一般化フィデューシャル推論

Conformal prediction (CP) was developed to provide finite-sample probabilistic prediction guarantees. While CP algorithms are a relatively general purpose approach to uncertainty quantification, with finite-sample guarantees, they lack versatility. Namely, the CP approach does not prescribe how to quantify the degree to which a data set provides evidence in support of (or against) an arbitrary event from a general class of events. This paper uses tools from imprecise probability theory to build a formal connection between CP and generalized fiducial (GF) inference. These new insights establish a more general inferential lens from which CP can be understood, and demonstrate the pragmatism of fiducial ideas. The formal connection establishes a context in which epistemically-derived GF probability matches aleatoric/frequentist probability. Beyond this fact, this work illustrates how tools from imprecise probability theory, namely lower and upper probability functions, can be applied in the context of the imprecise GF distribution to provide posterior-like, prescriptive inference that is not possible within the CP framework alone. In addition to the primary CP generalization that is contributed, fundamental connections are synthesized between this new model-free GF and three other areas of contemporary research: nonparametric predictive inference (NPI), conformal predictive systems/distributions, and inferential models (IMs).



コンフォーマル予測（CP）は、有限サンプルにおける確率的な予測保証を提供するために開発されました。CPアルゴリズムは不確実性の定量化に対する比較的汎用的なアプローチであり、有限サンプルでの保証を提供しますが、その一方で柔軟性に欠ける面もあります。具体的には、CPのアプローチでは、ある一般的な事象クラスに属する任意の事象をデータセットがどの程度支持（あるいは否定）しているかという度合いを定量化する方法が規定されていません。本論文では、不正確確率論（imprecise probability theory）のツールを用いて、CPと一般化フィデューシャル（GF）推論との間に形式的な関連性を構築します。これらの新たな知見は、CPを理解するためのより一般的な推論の枠組みを確立し、フィデューシャルな考え方の実用性を示すものです。この形式的な関連性により、認識論的に導出されたGF確率が、偶然的（aleatoric）あるいは頻度論的な確率と一致するような状況が明らかになります。本研究は、不正確確率論（imprecise probability theory）におけるツール、具体的には下限および上限確率関数を不正確GF分布の文脈で適用することで、従来のCP（コンフォーマル予測）の枠組みだけでは不可能であった「事後分布的な（posterior-like）」かつ「規範的な（prescriptive）」推論を実現できることを示しています。CPの主要な一般化に加え、本研究では、この新しいモデルフリーなGFと、現代の研究における他の3つの分野――ノンパラメトリック予測推論（NPI）、コンフォーマル予測システム／分布、および推論モデル（IMs）――との間の根本的な関連性を統合的に明らかにしています。

torchgfn: A PyTorch GFlowNet Library

torchgfn: A PyTorch GFlowNet Library / torchgfn：PyTorch用GFlowNetライブラリ

The growing popularity of generative flow networks (GFlowNets or GFNs) among a range of researchers with diverse backgrounds and areas of expertise necessitates a library that facilitates the testing of new features (e.g., training losses and training policies) against standard benchmark implementations, or on a set of common environments. We present torchgfn, a PyTorch library that aims to address this need. Its core contribution is a modular and decoupled architecture which treats environments, neural network modules, and training objectives as interchangeable components. This provides users with a simple yet powerful API to facilitate rapid prototyping and novel research. Multiple examples are provided, replicating and unifying published results. The library is available on GitHub (https://github.com/GFNOrg/torchgfn) and on PyPI (https://pypi.org/project/torchgfn/).



多様な背景や専門分野を持つ研究者の間で生成フローネットワーク（GFlowNetsまたはGFNs）の人気が高まるにつれ、新しい機能（学習損失や学習ポリシーなど）を標準的なベンチマーク実装や共通の環境セットに対して検証しやすくするライブラリの必要性が生じています。本稿では、このニーズに応えることを目的としたPyTorchライブラリ「torchgfn」を提案します。その核心となる貢献は、環境、ニューラルネットワークモジュール、学習目的関数を交換可能なコンポーネントとして扱う、モジュール式かつ疎結合なアーキテクチャにあります。これにより、ユーザーはシンプルかつ強力なAPIを利用して、迅速なプロトタイピングや新規性の高い研究を行うことが可能になります。また、既存の研究成果を再現・統合する複数のサンプルも提供されています。本ライブラリは、GitHub (https://github.com/GFNOrg/torchgfn)およびPyPI (https://pypi.org/project/torchgfn/)で公開されています。

Efficient Modeling of Surrogates to Improve Multi-source High-dimensional Integrative Regression

Efficient Modeling of Surrogates to Improve Multi-source High-dimensional Integrative Regression / 多ソース高次元統合回帰を改善するためのサロゲートモデルの効率的な構築

Surrogate variables play an important role in various fields due to the scarcity or absence of gold-standard labels. We develop a novel approach named SASH for Surrogate-Assisted and data-Shielding High-dimensional integrative regression. It is a semi-supervised approach that efficiently leverages sizable unlabeled samples with error-prone surrogate outcomes from multiple local sites to improve model estimation using the small gold-labeled sample. To facilitate stable and efficient knowledge extraction from the surrogates, our method first obtains a preliminary supervised estimator, and then uses it to assist in training a regularized single-index model (SIM) for the surrogates. Interestingly, through a chain of convex and properly penalized sparse regressions that approximate the SIM loss using bias correction, our method avoids the problem of local minima in the SIM, and fully eliminates the impact of the preliminary estimator’s excessive error. In addition, it protects individual-level information through the aggregation of summary statistics from local sites, leveraging a similar idea of bias-corrected approximation. Through simulation studies, we demonstrate that our method outperforms existing approaches. Finally, we apply our method to develop a genetic risk model for type 2 diabetes using large-scale data sets from UK and Mass General Brigham biobanks, where only a small fraction of subjects in one site are labeled through manual chart review.



「ゴールドスタンダード」となるラベルが不足または存在しない状況において、代理変数（surrogate variables）は様々な分野で重要な役割を果たしています。本研究では、代理変数を利用しつつデータを保護する高次元統合回帰手法として、SASH（Surrogate-Assisted and data-Shielding High-dimensional integrative regression）という新しいアプローチを開発しました。これは半教師あり学習の手法であり、少数のゴールドラベル付きサンプルを用いてモデル推定を改善するために、複数のローカルサイトから得られる、誤差を含みうる代理アウトカムを持つ大量のラベルなしサンプルを効率的に活用します。代理変数から安定的かつ効率的に情報を抽出するため、本手法ではまず予備的な教師あり推定量を求め、それを用いて代理変数を対象とした正則化単一指標モデル（SIM）の学習を支援します。興味深いことに、バイアス補正を用いてSIMの損失関数を近似する一連の凸かつ適切にペナルティ化されたスパース回帰を行うことで、本手法はSIMにおける局所解の問題を回避し、予備的推定量の過大な誤差による影響を完全に排除します。さらに、バイアス補正近似と同様の考え方を活用し、ローカルサイトからの要約統計量を集約することで、個人の情報を保護します。シミュレーション研究を通じて、本手法が既存の手法よりも優れた性能を示すことを実証します。最後に、UKバイオバンクおよびMass General Brighamバイオバンクの大規模データセットを用いて2型糖尿病の遺伝的リスクモデルを構築する際に本手法を適用します。これらのデータセットでは、あるサイトの対象者のごく一部のみが、手作業によるカルテ確認を通じてラベル付けされています。

Dirichlet Active Learning

Dirichlet Active Learning / ディリクレ能動学習

This work introduces Dirichlet Active Learning (DiAL), a Bayesian-inspired approach to the design of active learning algorithms. Our framework models feature-conditional class probabilities as a Dirichlet random field and lends observational strength between similar features in order to calibrate the random field. This random field can then be utilized in learning tasks: in particular, we can use current estimates of mean and variance to conduct classification and active learning in the context where labeled data is scarce. We demonstrate the applicability of this model to low-label rate graph learning by constructing “propagation operators” based upon the graph Laplacian, and offer computational studies demonstrating the method’s competitiveness with the state of the art. Finally, we provide rigorous guarantees regarding the ability of this approach to ensure both exploration and exploitation, expressed respectively in terms of cluster exploration and increased attention to decision boundaries.



本研究では、アクティブラーニングアルゴリズムの設計に対するベイズ的なアプローチであるDirichlet Active Learning (DiAL)を提案します。我々のフレームワークは、特徴量条件付きクラス確率をディリクレ確率場としてモデル化し、その確率場を調整するために類似した特徴量間での観測情報の共有（強度の伝播）を行います。この確率場は学習タスクに利用可能です。具体的には、平均と分散の現在の推定値を用いることで、ラベル付きデータが不足している状況下での分類やアクティブラーニングを実行できます。我々は、グラフ・ラプラシアンに基づく「伝播演算子」を構築することで、ラベル率の低いグラフ学習への本モデルの適用可能性を示し、最先端手法と競合しうる性能を持つことを計算機実験によって実証します。最後に、本アプローチが「探索（exploration）」と「活用（exploitation）」の両方を確実に実現できることについて厳密な保証を提供します。これらはそれぞれ、クラスタの探索および決定境界への注力という形で表現されます。

Information-Theoretic Safe Bayesian Optimization

Information-Theoretic Safe Bayesian Optimization / 情報理論的アプローチに基づく安全なベイズ最適化

We consider a sequential decision making problem, where we aim to optimize an unknown function via noisy evaluations that do not violate an a-priori unknown (safety) constraint. As both the objective and the constraint are unknown, a common approach is to model them using a Gaussian process and restrict evaluations to those regions that are safe with high probability. Most current methods rely on a discretization of the domain and cannot be directly extended to the continuous case. Moreover, they make regularity assumptions about the safety constraint that introduce an additional critical hyperparameter. Instead, in this paper, we propose an information-theoretic safe exploration criterion that exploits solely the GP posterior to identify the safe parameters that are most informative about the safety of other parameters. The combination of this exploration criterion with a well known Bayesian optimization acquisition function yields a novel safe Bayesian optimization selection criterion. Our approach is naturally applicable to continuous domains and does not require additional explicit hyperparameters. We theoretically analyze the method and show that the proposed acquisition function can learn about the reachable safe optimum up to arbitrary precision, while only evaluating safe parameters with high probability. Empirical evaluations demonstrate data-efficiency and scalability of our approach.



本研究では、事前に未知である（安全性）制約に違反することなく、ノイズを含む評価を通じて未知の関数を最適化することを目指す逐次的意思決定問題を扱います。目的関数と制約の双方が未知であるため、一般的にはガウス過程を用いてこれらをモデル化し、高い確率で安全である領域に評価を限定する手法がとられます。既存手法の多くは定義域の離散化に依存しており、連続的な領域へ直接拡張することができません。さらに、それらの手法は安全性制約に関する正則性（滑らかさなど）の仮定を必要とし、それが新たな重要なハイパーパラメータを導入する要因となっています。これに対し本論文では、ガウス過程の事後分布のみを利用して、他のパラメータの安全性に関する情報を最も多く提供する安全なパラメータを特定する、情報理論的な安全探索基準を提案します。この探索基準と、よく知られたベイズ最適化の獲得関数を組み合わせることで、新規の安全なベイズ最適化選択基準を構築します。本手法は連続的な領域に自然に適用可能であり、明示的な追加ハイパーパラメータを必要としません。理論的解析により、提案する獲得関数は、高い確率で安全なパラメータのみを評価しつつ、到達可能な安全な最適解について任意の精度で学習できることを示します。また、実験的評価を通じて、本手法のデータ効率性とスケーラビリティを実証します。

Singular-limit analysis of gradient descent with noise injection

Singular-limit analysis of gradient descent with noise injection / ノイズ注入を伴う勾配降下法の特異極限解析

We study the limiting dynamics of a large class of noisy gradient descent systems in the overparameterized regime. In this regime the zero-loss set of global minimizers of the loss is large, and when initialized in a neighbourhood of this zero-loss set a noisy gradient descent algorithm slowly evolves along this set. In some cases this slow evolution has been related to better generalization properties. We characterize this evolution for the broad class of noisy gradient descent systems in the limit of small learning rate. Our results show that the structure of the noise affects not just the form of the limiting process, but also the time scale at which the evolution takes place. We apply the theory to Dropout, label noise and classical SGD (minibatching) noise, and show that these evolve on two different time scales. Classical SGD even yields a trivial evolution on both time scales, implying that additional noise is required for regularization. The results are inspired by the training of neural networks, but the theorems apply to noisy gradient descent of any loss that has a non-trivial zero-loss set.



本研究では、過剰パラメータ化（overparameterized）領域における、広範なクラスのノイズ付き勾配降下法の極限的な挙動を解析します。この領域では、損失関数の大域的最小値を与える「損失ゼロ集合」が広範囲に及びます。ノイズ付き勾配降下アルゴリズムをこの集合の近傍で初期化すると、アルゴリズムはこの集合に沿って緩やかに推移（進化）していきます。このような緩やかな推移は、場合によっては優れた汎化性能と関連付けられることがあります。本研究では、学習率を微小とする極限において、広範なクラスのノイズ付き勾配降下法におけるこの推移の特性を明らかにします。その結果、ノイズの構造は極限過程の形態だけでなく、推移が生じる時間スケールにも影響を及ぼすことが示されました。この理論をドロップアウト（Dropout）、ラベルノイズ、および従来のSGD（ミニバッチ処理）に伴うノイズに適用したところ、これらが異なる2つの時間スケールで推移することが明らかになりました。特に従来のSGDでは、いずれの時間スケールにおいても推移が自明なもの（変化がない状態）となり、正則化のためには追加のノイズが必要であることが示唆されます。これらの結果はニューラルネットワークの学習に触発されたものですが、その定理は、非自明なゼロ損失集合を持つ任意の損失関数に対するノイズあり勾配降下法に適用されます。

Better Simulations for Validating Causal Discovery with the DAG-Adaptation of the Onion Method

Better Simulations for Validating Causal Discovery with the DAG-Adaptation of the Onion Method / Onion法のDAG適応版を用いた因果発見検証のためのより優れたシミュレーション

The number of methods for learning causal models from data is growing rapidly, as evidenced by the exponential increase in causal discovery publications each year. Due to a lack of real-world datasets with known causal ground truth, most “causal discovery” or “causal structure learning” algorithms are primarily validated with simulation studies. However, the simulation study designs being used (i) vary from one study to another, (ii) have never been formally characterized, and (iii) have not been proven to have desirable properties. As one might expect, publications often report conflicting performance statistics—even for simulation results on purely linear models. Appropriately, several manuscripts have now criticized the most common simulation designs. We propose to resolve the above-mentioned challenges with a novel simulation design: the DAG-adaptation of the Onion (DaO) method. The DaO method takes a directed acyclic graph (DAG) as input and randomly generates coefficient and error-variance parameters of a linear model whose additive error terms may follow any distribution with finite variance. DaO simulations are fundamentally different from existing simulations because the DaO method prioritizes sampling the distribution of correlations rather than the distribution of linear effects. Specifically, the DaO method uniformly samples the space of correlation matrices Markov to a DAG. We compare the DaO method against two alternative simulation designs and provide implementations of the DaO method in Python and R: https://github.com/bja43/DaO_simulation; the Python implementation is available on PyPI: https://pypi.org/project/daosim. We posit that the DaO method is uniform, complete, well characterized, and fair, and should be adopted as a field simulation standard.



データから因果モデルを学習する手法の数は急速に増加しており、因果発見に関する論文数が年々指数関数的に増えていることからもそれがうかがえます。因果関係の真値（グラウンド・トゥルース）が既知である実世界のデータセットが不足しているため、多くの「因果発見」や「因果構造学習」アルゴリズムは、主にシミュレーション研究によって検証されています。しかし、用いられているシミュレーション研究の設計は、(i)研究ごとに異なり、(ii)公式に特徴付けられたことがなく、(iii)望ましい特性を持つことが証明されていません。予想される通り、純粋な線形モデルに関するシミュレーション結果であっても、論文によって性能統計量が矛盾することがよくあります。こうした状況を受け、現在では、最も一般的なシミュレーション設計を批判する論文もいくつか発表されています。そこで我々は、上述の課題を解決する新しいシミュレーション設計として、「DAG-adaptation of the Onion (DaO)」法を提案します。DaO法は、有向非巡回グラフ（DAG）を入力とし、線形モデルの係数および誤差分散パラメータをランダムに生成します。ここで、加法的な誤差項は有限分散を持つ任意の分布に従うことが可能です。DaO法によるシミュレーションは、線形効果の分布よりも相関の分布のサンプリングを優先するという点で、既存のシミュレーションとは根本的に異なります。具体的には、DaO法は、あるDAGに対してマルコフ性を持つ相関行列の空間を一様にサンプリングします。我々は、DaO法を他の2つのシミュレーション設計と比較し、PythonおよびRでの実装を公開しています（https://github.com/bja43/DaO_simulation）。なお、Python実装はPyPIでも利用可能です（https://pypi.org/project/daosim）。我々は、DaO法が一様性、完全性、明確な特性、および公平性を備えており、この分野におけるシミュレーションの標準として採用されるべきであると考えています。

Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models

Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models / 異質性のあるグラフィカルモデルにおけるスパース構造とコミュニティの同時同定

Exploring and detecting community structures hold significant importance in genetics, social sciences, biology, neuroscience and finance, among others. Graphical models are a useful and key tool for community detection through the exploration of sets of variables with group-like properties. In this paper, within the framework of Gaussian graphical models, we propose a decomposition of the underlying graphical structure into low-rank diagonal blocks and a sparse component. This new approach captures the non-overlapping community structure, while uncovering the underlying connectivity, both within and between communities. We show the significance of this decomposition through two modeling perspectives and propose a three-stage estimation procedure with an efficient algorithm to estimate the sparse structure and communities. We provide conditions to ensure local identifiability and extend the traditional irrepresentability condition to an adaptive form by constructing an effective norm that guarantees the consistency of model selection for the adaptive $\ell_1$ penalized estimator in the second stage. We also provide the clustering error bound for the $K$-means procedure in the third stage. We conduct extensive numerical experiments to assess the performance of the proposed method and compare it with existing methods. Finally, we apply our method to a dataset of stock returns, demonstrating its capability to accurately identify non-overlapping community structures.



遺伝学、社会科学、生物学、神経科学、金融などの分野において、コミュニティ構造の探索と検出は極めて重要です。グラフィカルモデルは、グループのような特性を持つ変数集合を探索することによるコミュニティ検出において、有用かつ重要なツールとなります。本論文では、ガウス・グラフィカルモデルの枠組みの中で、基盤となるグラフ構造を、低ランクの対角ブロックとスパース（疎）な成分へと分解する手法を提案します。本手法は、重複のないコミュニティ構造を捉えつつ、コミュニティ内部およびコミュニティ間の潜在的な接続関係を明らかにします。我々は2つのモデリングの視点からこの分解の意義を示し、スパースな構造とコミュニティを推定するための、効率的なアルゴリズムを伴う3段階の推定手順を提案します。局所的な識別可能性を保証するための条件を提示するとともに、第2段階における適応型$\ell_1$ペナルティ付き推定量について、モデル選択の整合性を保証する有効なノルムを構築することで、従来の「非表現可能性条件（irrepresentability condition）」を適応型へと拡張します。また、第3段階の$K$-means法におけるクラスタリング誤差の限界も示します。提案手法の性能を評価し既存手法と比較するために、広範な数値実験を行います。最後に、本手法を株式リターンのデータセットに適用し、重複のないコミュニティ構造を正確に特定できる能力を実証します。

Online Generalized Sparse Regression: How Does Overparametrization Help?

Online Generalized Sparse Regression: How Does Overparametrization Help? / オンライン一般化スパース回帰：過剰パラメータ化はどのように役立つか？

Regularized sparse regression has been extensively studied in the offline setting, but online formulation remains relatively under-explored. This gap stems from four key challenges: (i) the infeasibility of dynamically updating the regularization parameter in every online round, (ii) managing storage and memory complexity, (iii) enabling real-time computation via closed-form updates rather than solving full optimization problems at each round, and (iv) achieving optimal statistical guarantees under realistic assumptions. In this paper, we propose an online generalized-sparsity-constrained regression framework, focusing on online cardinality-constrained linear regression and low-rank matrix sensing. Unlike online regularized regression, our constrained formulation eliminates the need for dynamic parameter tuning. We introduce an efficient online hard-thresholding algorithm that performs closed-form updates and requires storing only summary statistics, making it computationally, memory, and storage efficient. Despite the inherent nonconvexity and combinatorial nature of the formulation, our algorithm achieves global convergence at the optimal statistical rate under realistic assumptions, provided that the projection set is properly overparameterized. Numerical experiments demonstrate that our method consistently outperforms state-of-the-art alternatives.



正則化スパース回帰はオフライン設定では広く研究されてきましたが、オンラインでの定式化については、まだ十分に検討されていません。このギャップは、主に次の4つの課題に起因します。(i)オンラインの各ラウンドで正則化パラメータを動的に更新することの困難さ、(ii)ストレージおよびメモリの複雑さの管理、(iii)各ラウンドで完全な最適化問題を解くのではなく、閉形式（closed-form）の更新によるリアルタイム計算の実現、そして(iv)現実的な仮定の下での最適な統計的保証の達成です。本論文では、オンラインでのカーディナリティ制約付き線形回帰や低ランク行列センシングに焦点を当て、オンライン一般化スパース性制約付き回帰の枠組みを提案します。オンライン正則化回帰とは異なり、我々の制約付き定式化では、動的なパラメータ調整が不要になります。我々は、閉形式の更新を行い、要約統計量のみを保持すればよい効率的なオンライン・ハード・スレッショルディング・アルゴリズムを導入し、計算量、メモリ、ストレージの面で高い効率性を実現しました。定式化が本質的に非凸であり、組合せ論的な性質を持つにもかかわらず、適切な過剰パラメータ化（overparameterization）がなされた射影集合を用いるという条件の下で、我々のアルゴリズムは現実的な仮定において最適な統計的レートでの大域的収束を達成します。数値実験により、我々の手法が既存の最先端手法を一貫して上回ることが示されています。

Extrapolation-Aware Nonparametric Statistical Inference

Extrapolation-Aware Nonparametric Statistical Inference / 外挿を考慮したノンパラメトリック統計推論

We define extrapolation as statistical inference on a conditional function (e.g., a conditional expectation or conditional quantile) evaluated outside the support of the conditioning variable. This type of extrapolation occurs in many data analysis applications and can invalidate the conclusions if not taken into account. While extrapolation is straightforward in parametric models, it becomes challenging in nonparametric models. In this work, we extend the nonparametric statistical model to explicitly allow for extrapolation and introduce a class of extrapolation assumptions that can be combined with existing inference techniques to draw extrapolation-aware conclusions. The proposed extrapolation assumptions stipulate that the conditional function attains its minimal and maximal directional derivative, in each direction, within the observed support. We illustrate how the framework applies to several statistical applications including prediction and uncertainty quantification. We furthermore propose a consistent estimation procedure to adjust existing nonparametric estimates for extrapolation by providing lower and upper extrapolation bounds. The procedure is empirically evaluated on simulated and real-world data.



本研究では、外挿（extrapolation）を、条件付け変数のサポート（定義域）外で評価される条件付き関数（条件付き期待値や条件付き分位点など）に関する統計的推論と定義します。この種の外挿は多くのデータ分析の応用場面で生じ、適切に考慮されなければ結論を無効にする可能性があります。パラメータモデルでは外挿は比較的容易ですが、ノンパラメトリックモデルでは困難を伴います。本研究では、外挿を明示的に扱えるようにノンパラメトリック統計モデルを拡張し、既存の推論手法と組み合わせて外挿を考慮した結論を導き出すための、外挿に関する仮定のクラスを導入します。提案する外挿の仮定は、条件付き関数が各方向における最小および最大の方向微分値を、観測されたサポートの範囲内でとることを規定するものです。我々は、予測や不確実性の定量化を含むいくつかの統計的応用において、この枠組みがどのように適用されるかを示します。さらに、外挿の下限および上限を提供することで、既存のノンパラメトリック推定値を外挿に合わせて調整する一貫性のある推定手順を提案します。この手順は、シミュレーションデータおよび実データを用いて実証的に評価されます。

Bridging Rested and Restless Bandits with Graph-Triggering: Rising and Rotting

Bridging Rested and Restless Bandits with Graph-Triggering: Rising and Rotting / グラフ・トリガーによるRested BanditとRestless Banditの橋渡し：RisingとRotting

Rested and Restless Bandits are two well-known bandit settings that are useful to model real-world sequential decision-making problems in which the expected reward of an arm evolves over time due to the actions we perform or due to the nature. In this work, we propose Graph-Triggered Bandits (GTBs), a unifying framework to generalize and extend rested and restless bandits. In this setting, the evolution of the arms’ expected rewards is governed by a graph defined over the arms. An edge connecting a pair of arms (i,j) represents the fact that a pull of arm i triggers the evolution of arm j, and vice versa. Interestingly, rested and restless bandits are both special cases of our model for some suitable (degenerated) graph. As relevant case studies for this setting, we focus on two specific types of monotonic bandits: rising, where the expected reward of an arm grows as the number of triggers increases, and rotting, where the opposite behavior occurs. For these cases, we study the optimal policies. We provide suitable algorithms for all scenarios and discuss their theoretical guarantees, highlighting the complexity of the learning problem concerning instance-dependent terms that encode specific properties of the underlying graph structure.



「Rested Bandit（休止可能バンディット）」と「Restless Bandit（休止不能バンディット）」は、実行した行動や自然な推移によってアームの期待報酬が時間とともに変化する、現実世界の逐次的意思決定問題をモデル化する上で有用な、よく知られたバンディット設定です。本研究では、これら2つのバンディット設定を一般化・拡張する統一的枠組みとして、「Graph-Triggered Bandits（GTB：グラフ駆動型バンディット）」を提案します。この設定では、アームの期待報酬の推移は、アーム群上に定義されたグラフによって制御されます。アームのペア(i, j)を結ぶエッジは、アームiを選択（プル）することがアームjの状態変化を誘発する（あるいはその逆）という関係を表しています。興味深いことに、Rested BanditとRestless Banditはどちらも、適切な（退化した）グラフを用いることで、我々のモデルの特殊なケースとして表現できます。本設定に関連する事例として、我々は2種類の単調性を持つバンディットに注目します。一つは「Rising（上昇型）」で、トリガー（選択）回数が増えるにつれてアームの期待報酬が増加するものです。もう一つは「Rotting（劣化型）」で、その逆の挙動を示すものです。我々はこれらのケースについて、最適方策を検討します。すべてのシナリオに対して適切なアルゴリズムを提示し、その理論的保証について議論します。その際、グラフ構造の特定の性質を反映した「インスタンス依存項」に関わる学習問題の複雑さを明らかにします。

Causal Falsification of Digital Twins

Causal Falsification of Digital Twins / デジタルツインの因果的反証

Digital twins are simulation-based models designed to predict how a real-world process will evolve in response to interventions. This modelling paradigm holds substantial promise in many applications, but rigorous procedures for assessing their accuracy are essential for safety-critical settings. We consider how to assess the accuracy of a digital twin using real-world data. We formulate this as a causal inference problem, which leads to a precise definition of what it means for a twin to be “correct”. Unfortunately, fundamental results from causal inference mean observational data cannot be used to certify a twin in this sense unless potentially tenuous assumptions are made, such as that the data are unconfounded. To avoid these assumptions, we propose instead to find situations in which the twin is not correct, and present a general-purpose statistical procedure for doing so. Our approach yields reliable and actionable information about the twin under only the assumption of an i.i.d. dataset of observational trajectories, and remains sound even if the data are confounded. We apply our methodology to a large-scale, real-world case study involving sepsis modelling within the Pulse Physiology Engine, which we assess using the MIMIC-III dataset of ICU patients.



デジタルツインは、現実世界のプロセスが介入に対してどのように推移するかを予測するために設計された、シミュレーションベースのモデルです。このモデリング手法は多くの応用分野で大きな可能性を秘めていますが、安全性に関わる重要な場面（セーフティクリティカルな環境）では、その精度を評価するための厳密な手順が不可欠です。我々は、現実世界のデータを用いてデジタルツインの精度を評価する方法を検討します。この問題を因果推論の問題として定式化することで、「ツインが『正しい』とはどういうことか」を厳密に定義できます。しかし残念ながら、因果推論の基本的な知見によれば、データに交絡がない（unconfounded）といった、往々にして不確かな仮定を置かない限り、観測データだけではこの意味でのツインの正当性を保証することはできません。こうした仮定を避けるため、我々は代わりに「ツインが正しくない状況」を見つけ出すアプローチを提案し、そのための汎用的な統計的手法を提示します。我々のアプローチは、i.i.d.（独立同分布）という仮定のみに基づいて、ツインに関する信頼性が高く実用的な情報を提供します。本手法は観測された軌跡のデータセットを対象とし、データに交絡が存在する場合でも妥当性が維持されます。我々は本手法を、Pulse Physiology Engineを用いた敗血症モデリングに関する大規模な実世界ケーススタディに適用し、ICU患者のMIMIC-IIIデータセットを用いてその評価を行いました。

Sliced Wasserstein Regression

Sliced Wasserstein Regression / スライス・ワッサースタイン回帰

While statistical modeling of distributional data has gained increased attention, the case of multivariate distributions has been somewhat neglected despite its relevance in various applications. This is because the Wasserstein distance, commonly used in distributional data analysis, poses challenges for multivariate distributions. A promising alternative is the sliced Wasserstein distance, which offers a computationally simpler solution. We propose distributional regression models with multivariate distributions as responses paired with Euclidean vector predictors. The foundation of our methodology is a slicing transform from the multivariate distribution space to the sliced distribution space for which we establish a theoretical framework, with the Radon transform as a prominent example. We introduce and study the asymptotic properties of sample-based estimators for two regression approaches, one based on utilizing the sliced Wasserstein distance directly in the multivariate distribution space, and a second approach based on a new slice-wise distance, employing a univariate distribution regression for each slice. Both global and local Fréchet regression methods are deployed for these approaches and illustrated in simulations and through applications. These include the joint distribution of excess winter death rates and winter temperature anomalies in European countries as a function of base winter temperature, and also data from finance.



分布データの統計モデリングへの関心が高まる中、多変量分布のケースは、様々な応用分野で重要であるにもかかわらず、これまであまり注目されてきませんでした。その主な理由は、分布データ解析で一般的に用いられるワッサースタイン距離を多変量分布に適用する際に課題が生じるためです。有望な代替案として、計算がより容易な「スライス・ワッサースタイン距離（sliced Wasserstein distance）」が挙げられます。本研究では、ユークリッドベクトルを予測変数とし、多変量分布を応答変数とする分布回帰モデルを提案します。我々の手法の基礎となるのは、多変量分布空間からスライス分布空間への「スライス変換」であり、その代表例であるラドン変換を含め、この変換に関する理論的枠組みを構築します。また、2つの回帰アプローチについて、標本に基づく推定量とその漸近的性質を導入・検討します。一つ目のアプローチは多変量分布空間で直接スライス・ワッサースタイン距離を利用するものであり、二つ目は各スライスに対して一変量分布回帰を用いる、新たなスライスごとの距離に基づくものです。これらのアプローチには、大域的および局所的なフレシェ回帰（Fréchet regression）の手法が適用され、シミュレーションや実データへの応用を通じてその有効性が示されます。応用例としては、欧州諸国における冬季超過死亡率と冬季気温偏差の同時分布（基準となる冬季気温の関数としてモデル化）や、金融分野のデータなどが含まれます。

Testability of Instrumental Variables in Additive Nonlinear, Non-Constant Effects Models

Testability of Instrumental Variables in Additive Nonlinear, Non-Constant Effects Models / 加法的非線形・非定数効果モデルにおける操作変数の検定可能性

We address the issue of the testability of instrumental variables derived from observational data. Most existing testable implications are centered on scenarios where the treatment is a discrete variable, e.g., instrumental inequality (Pearl, 1995), or where the effect is assumed to be constant, e.g., instrumental variables condition based on the principle of independent mechanisms (Burauel, 2023). However, treatments can often be continuous variables, such as drug dosages or nutritional content levels, and non-constant effects may occur in many real-world scenarios. In this paper, we consider an additive nonlinear, non-constant effects model with unmeasured confounders, in which treatments can be either discrete or continuous, and propose an Auxiliary-based Independence Test (AIT) condition to test whether a variable is a valid instrument. We first show that, under the completeness condition, if the candidate instrument is valid, then the AIT condition holds. Moreover, we illustrate the implications of the AIT condition and demonstrate that, under certain additional conditions, the AIT condition is necessary and sufficient to detect all invalid IVs. We also extend the AIT condition to include covariates and introduce a practical testing algorithm. Experimental results on both synthetic and three different real-world datasets show the effectiveness of our proposed condition.



本研究では、観測データから得られる操作変数の検証可能性という問題に取り組みます。既存の検証可能な含意の多くは、処置が離散変数である場合（例：Pearl (1995)の操作変数不等式）や、効果が一定であると仮定される場合（例：Burauel (2023)の独立メカニズムの原理に基づく操作変数条件）に焦点を当てたものです。しかし、現実の多くの場面では、薬剤の投与量や栄養素の含有量のように処置が連続変数であったり、効果が一定でなかったりすることがあります。本論文では、未観測の交絡因子が存在し、処置が離散変数または連続変数のいずれでもあり得る「加法的非線形・非定数効果モデル」を考察し、ある変数が妥当な操作変数であるかどうかを検証するための「補助変数に基づく独立性検定（AIT）」条件を提案します。まず、完全性条件（completeness condition）の下で、候補となる変数が妥当な操作変数であればAIT条件が成立することを示します。さらに、我々はAIT条件の含意を明らかにし、特定の追加条件の下では、AIT条件がすべての無効な操作変数（IV）を検出するために必要かつ十分であることを示します。また、共変量を考慮できるようにAIT条件を拡張し、実用的な検定アルゴリズムを導入します。人工データおよび3種類の異なる実データを用いた実験結果は、提案する条件の有効性を示しています。

Conditional Regression for the Nonlinear Single-Variable Model

Conditional Regression for the Nonlinear Single-Variable Model / 非線形単一変数モデルのための条件付き回帰

Regressing a function $F$ on $\mathbb{R}^d$ without incurring the statistical and computational curse of dimensionality requires exploitable structure. Compositional models $F=f\circ g$ in which $g$ has a low-dimensional range include classical single- and multi-index models as well as certain neural networks; while the case of linear $g$ is well understood, substantially less is known for nonlinear $g$. We study the model $F(X)=f(\Pi_\gamma X)$, where $\Pi_\gamma$ is the closest-point coordinate associated with an unknown regular curve $\gamma$, and $f$ is an unknown one-dimensional link function. The predictor $X$ need not be intrinsically low-dimensional and may have full-dimensional variation throughout a tubular neighborhood of the curve. We construct a nonparametric estimator based on response slicing, local principal component analysis, data-adaptive slice assignment, and one-dimensional local polynomial regression. Under coarse monotonicity of $f$ and sufficient variation normal to the curve relative to the observational noise and the coarse-monotonicity scale, the estimator attains, up to logarithmic factors, the minimax-optimal one-dimensional mean squared rate down to an explicit geometry- and noise-dependent saturation level. When the normal-variation condition is removed, we prove a complementary guarantee for the wide-slice regime. The estimator can be constructed in time $\mathcal{O}(d^2n\log n)$, and the constants and sample-size thresholds in our bounds depend at most polynomially on the ambient dimension $d$.



$\mathbb{R}^d$上の関数$F$を回帰分析する際、統計的および計算的な「次元の呪い」を回避するには、利用可能な構造が必要となります。$g$の値域が低次元である合成モデル$F=f\circ g$には、古典的な単一指標モデルや多重指標モデル、さらには特定のニューラルネットワークが含まれます。$g$が線形である場合の性質はよく理解されていますが、非線形な$g$については、まだ十分に解明されていません。本研究では、$F(X)=f(\Pi_\gamma X)$というモデルを扱います。ここで、$\Pi_\gamma$は未知の滑らかな曲線$\gamma$に関連する最近接点座標（射影）を表し、$f$は未知の1次元リンク関数です。予測変数$X$は本質的に低次元である必要はなく、曲線の管状近傍全体にわたってフル次元の変動を持ち得ます。我々は、応答のスライシング（分割）、局所主成分分析、データ適応的なスライス割り当て、および1次元局所多項式回帰に基づくノンパラメトリック推定量（推定法）を構築します。$f$が大まかな単調性を持ち、かつ観測ノイズや単調性のスケールと比較して曲線に垂直な方向の変動が十分であるという条件下で、この推定量は、幾何学的形状やノイズに依存する明示的な飽和レベルに至るまで、対数因子を除いてミニマックス最適となる1次元平均二乗誤差の収束レートを達成します。垂直方向の変動に関する条件を取り除いた場合でも、我々は「広いスライス」の領域において、これとは異なる保証が成り立つことを証明します。この推定量は$\mathcal{O}(d^2n\log n)$の時間で構築可能であり、誤差評価式に含まれる定数やサンプルサイズの閾値は、埋め込み空間の次元$d$に対して高々多項式的な依存性しか持ちません。

Impatient Bandits: Optimizing for the Long-Term Without Delay

Impatient Bandits: Optimizing for the Long-Term Without Delay / Impatient Bandit（せっかちなバンディット）：遅延なく長期的な最適化を行う

Increasingly, recommender systems are tasked with improving users’ long-term satisfaction. In this context, we study a content exploration task, which we formalize as a bandit problem with delayed rewards. There is an apparent trade-off in choosing the learning signal: waiting for the full reward to become available might take several weeks, slowing the rate of learning, whereas using short-term proxy rewards reflects the actual long-term goal only imperfectly. First, we develop a predictive model of delayed rewards that incorporates all information obtained to date. Rewards as well as shorter-term surrogate outcomes are combined through a Bayesian filter to obtain a probabilistic belief. Second, we devise a bandit algorithm that quickly learns to identify content aligned with long-term success using this new predictive model. We prove a regret bound for our algorithm that depends on the Value of Progressive Feedback, an information-theoretic metric that captures the quality of short-term leading indicators that are observed prior to the long-term reward. We apply our approach to a podcast recommendation problem, where we seek to recommend shows that users engage with repeatedly over two months. We empirically validate that our approach significantly outperforms methods that optimize for short-term proxies or rely solely on delayed rewards, as demonstrated by an A/B test in a recommendation system that serves hundreds of millions of users.



近年、レコメンダーシステムには、ユーザーの長期的な満足度を向上させることがますます求められるようになっています。こうした背景から、我々はコンテンツ探索タスクを研究対象とし、これを「遅延報酬を伴うバンディット問題」として定式化します。学習シグナルの選択には明白なトレードオフが存在します。完全な報酬が確定するのを待つと数週間を要し学習速度が低下する可能性がありますが、一方で短期的な代替報酬（プロキシ報酬）を用いると、実際の長期的な目標を不完全にしか反映できないからです。そこでまず、これまでに得られたすべての情報を組み込んだ、遅延報酬の予測モデルを構築します。報酬と短期的な代替指標（サロゲート・アウトカム）をベイズフィルタで統合し、確率的な信念（ビリーフ）を導き出します。次に、この新しい予測モデルを活用し、長期的な成功に寄与するコンテンツを迅速に特定・学習するバンディットアルゴリズムを考案します。我々は、長期的な報酬が得られる前に観測される短期的な先行指標の質を捉える情報理論的指標である「漸進的フィードバックの価値（Value of Progressive Feedback）」に依存する形で、本アルゴリズムの「リグレット（後悔）」の境界を理論的に証明します。この手法をポッドキャストの推薦問題に適用し、ユーザーが2ヶ月間にわたって繰り返し視聴するような番組の推薦を試みました。数億人のユーザーを抱える推薦システムでのA/Bテストを通じて、短期的な代替指標を最適化する手法や、遅延報酬のみに依存する手法と比較して、我々の手法が有意に優れた性能を示すことを実証しました。

A Neural Network Approach to Learning Solutions of a Class of Elliptic Variational Inequalities

A Neural Network Approach to Learning Solutions of a Class of Elliptic Variational Inequalities / ある種の楕円型変分不等式の解を学習するためのニューラルネットワーク・アプローチ

We develop a weak adversarial approach to solving obstacle problems using neural networks. By employing (generalised) regularised gap functions and their properties we rewrite the obstacle problem (which is an elliptic variational inequality) as a minmax problem, providing a natural formulation amenable to learning. Our approach, in contrast to much of the literature, does not require the elliptic operator to be symmetric. We provide an error analysis for suitable discretisations of the continuous problem, estimating in particular the approximation and statistical errors. Parametrising the solution and test function as neural networks, we apply a modified gradient descent ascent algorithm to treat the problem and conclude the paper with various examples and experiments. Our solution algorithm is in particular able to easily handle obstacle problems that feature biactivity (or lack of strict complementarity), a situation that poses difficulty for traditional numerical methods.



本論文では、ニューラルネットワークを用いて障害物問題を解くための、弱形式に基づく敵対的アプローチを開発します。（一般化された）正則化ギャップ関数とその性質を利用することで、障害物問題（これは楕円型変分不等式の一種です）をミニマックス問題として書き換え、学習に適した自然な定式化を実現します。既存の多くの研究とは異なり、本手法では楕円型作用素が対称であることを必要としません。また、連続問題を適切に離散化した場合の誤差解析を行い、特に近似誤差と統計的誤差の評価を示します。解およびテスト関数をニューラルネットワークとしてパラメータ化し、修正勾配降下・上昇アルゴリズムを適用して問題を解きます。最後に、様々な例や実験結果を提示して論文を締めくくります。特に、本アルゴリズムは、従来の数値解法では扱いが困難な「両活性（biactivity）」（あるいは厳密な相補性の欠如）を伴う障害物問題にも容易に対処可能です。

Differentially Private Synthetic Data Generation for Relational Databases

Differentially Private Synthetic Data Generation for Relational Databases / リレーショナルデータベースのための差分プライバシーを考慮した合成データ生成

Existing differentially private (DP) synthetic data generation mechanisms typically assume a single-source table. In practice, data is often distributed across multiple tables with relationships across tables. In this paper, we introduce the first-of-its-kind algorithm that can be combined with any existing DP mechanisms to generate synthetic relational databases. Our algorithm iteratively refines the relationship between individual synthetic tables to minimize their approximation errors in terms of low-order marginal distributions while maintaining referential integrity. This algorithm eliminates the need to flatten a relational database into a master table (saving space), operates efficiently (saving time), and scales effectively to high-dimensional data. We provide both DP and theoretical utility guarantees for our algorithm. Through numerical experiments on real-world datasets, we demonstrate the effectiveness of our method in preserving fidelity to the original data.



既存の差分プライバシー（DP）対応の合成データ生成手法は、通常、単一のテーブルを対象としています。しかし実際には、データは複数のテーブルに分散し、それらの間に相互関係が存在することが一般的です。本論文では、既存のあらゆるDP手法と組み合わせて合成リレーショナルデータベースを生成できる、初のアルゴリズムを提案します。このアルゴリズムは、参照整合性を維持しつつ、低次周辺分布に関する近似誤差を最小化するように、個々の合成テーブル間の関係を反復的に洗練させます。本アルゴリズムにより、リレーショナルデータベースを単一のマスターテーブルにフラット化する必要がなくなり（空間効率の向上）、効率的な動作が可能となり（時間効率の向上）、高次元データへのスケーラビリティも確保されます。また、本アルゴリズムについて、DPおよび理論的な有用性に関する保証も提示します。実データセットを用いた数値実験を通じて、元のデータの忠実性を維持する本手法の有効性を実証します。

Bayesian Level Set Clustering

Bayesian Level Set Clustering / ベイズ・レベルセット・クラスタリング

Classically, Bayesian clustering interprets each component of a mixture model as a cluster. The inferred clustering posterior is highly sensitive to any inaccuracies in the kernel within each component. As this kernel is made more flexible, problems arise in identifying the underlying clusters in the data. To address this pitfall, this article proposes a fundamentally different approach to Bayesian clustering that decouples the problems of clustering and flexible modeling of the data density f. Starting with an arbitrary Bayesian model for f and a loss function for defining clusters based on f, we develop a Bayesian decision-theoretic framework for density-based clustering. Within this framework, we develop a Bayesian level set clustering method to cluster data into connected components of a level set of f. We provide theoretical support, including clustering consistency, and highlight performance in a variety of simulated examples. An application to astronomical data illustrates improvements over the popular DBSCAN algorithm in terms of accuracy, insensitivity to tuning parameters, and providing uncertainty quantification.



従来、ベイズクラスタリングでは、混合モデルの各成分をクラスタとみなしてきました。しかし、推定されるクラスタリング事後分布は、各成分内のカーネルに含まれる不正確さに対して非常に敏感です。カーネルの柔軟性を高めると、データに内在するクラスタを特定することが困難になるという問題が生じます。こうした落とし穴に対処するため、本論文では、クラスタリングの問題とデータ密度$f$の柔軟なモデリングの問題を切り離す、根本的に異なるベイズクラスタリングのアプローチを提案します。関数$f$に関する任意のベイズモデルと、$f$に基づいてクラスタを定義するための損失関数を出発点として、我々は密度ベースのクラスタリングのためのベイズ決定理論的枠組みを構築します。この枠組みの中で、$f$のレベルセットの連結成分へとデータをクラスタリングする、ベイズ・レベルセット・クラスタリング手法を開発します。クラスタリングの整合性を含む理論的裏付けを示すとともに、様々なシミュレーション例を通じてその性能を実証します。天文学データへの適用例では、広く用いられているDBSCANアルゴリズムと比較して、精度、チューニングパラメータへの依存度の低さ、そして不確実性の定量化といった点において優れていることが示されます。

Canonical Correlation Analysis as Reduced Rank Regression in High Dimensions

Canonical Correlation Analysis as Reduced Rank Regression in High Dimensions / 高次元における低ランク回帰としての正準相関分析

Canonical correlation analysis is a widespread technique for discovering linear relationships between two sets of variables. In high dimensions, however, standard estimates of the canonical directions cease to be consistent without assuming further structure. In this setting, a possible solution consists in leveraging the presumed sparsity of the solution: only a subset of the covariates span the canonical directions. While the last decade has seen a proliferation of sparse canonical correlation analysis methods, practical challenges regarding the scalability and adaptability of these methods still persist. To circumvent these issues, this paper suggests an alternative strategy that uses reduced rank regression to estimate the canonical directions when one of the datasets is high-dimensional while the other remains low-dimensional. By casting the problem of estimating the canonical direction as a regression problem, our estimator is able to leverage the rich statistics literature on high-dimensional regression and is easily adaptable to accommodate a wider range of structural priors. Our proposed solution maintains computational efficiency and accuracy, even in the presence of very high-dimensional data. We demonstrate the advantages of our approach through a series of simulated experiments, achieving a substantial increase in accuracy compared to existing methods. Additionally, we highlight its practical utility by applying it to three real-world datasets, where we show that our method is able to uncover scientifically meaningful associations between variables.



正準相関分析は、2つの変数群の間の線形関係を見出すための広く用いられている手法です。しかし、高次元の状況下では、さらなる構造を仮定しない限り、正準方向の標準的な推定値は一致性を失ってしまいます。このような状況において、一つの解決策として、解が「スパース（疎）」であるという性質（すなわち、共変量の一部のみが正準方向を張るという性質）を利用することが考えられます。過去10年間でスパース正準相関分析の手法は数多く提案されてきましたが、それらの手法のスケーラビリティや適応性に関しては、依然として実用上の課題が残っています。こうした問題を回避するため、本論文では、一方のデータセットが高次元であり、もう一方が低次元である場合に、縮小ランク回帰（reduced rank regression）を用いて正準方向を推定するという代替的な手法を提案します。正準方向の推定問題を回帰問題として定式化することで、提案する推定法は、高次元回帰に関する豊富な統計学の知見を活用できるだけでなく、より広範な構造的仮定（事前情報）にも容易に対応可能となります。提案手法は、極めて高次元なデータに対しても、計算効率と精度の両立を実現します。一連のシミュレーション実験を通じて本手法の利点を示し、既存手法と比較して大幅な精度向上を達成しました。さらに、3つの実データセットへの適用を通じてその実用性を示し、本手法が変数間の科学的に有意義な関連性を明らかにできることを実証しました。

Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications

Pairwise Comparisons without Stochastic Transitivity: Model, Theory and Applications / 確率的推移性を仮定しないペアワイズ比較：モデル、理論、および応用

Most statistical models for pairwise comparisons, including the Bradley-Terry (BT) and Thurstone models and many extensions, make a relatively strong assumption of stochastic transitivity. This assumption imposes the existence of an unobserved global ranking among all the players/teams/items and monotone constraints on the comparison probabilities implied by the global ranking. However, the stochastic transitivity assumption does not hold in many real-world scenarios of pairwise comparisons, especially games involving multiple skills or strategies. As a result, models relying on this assumption can have suboptimal predictive performance. In this paper, we propose a general family of statistical models for pairwise comparison data without a stochastic transitivity assumption, substantially extending the BT and Thurstone models. In this model, the pairwise probabilities are determined by a (approximately) low-dimensional skew-symmetric matrix. Likelihood-based estimation methods and computational algorithms are developed, which allow for sparse data with only a small proportion of observed pairs. Theoretical analysis shows that the proposed estimator achieves minimax-rate optimality, which adapts effectively to the sparsity level of the data. The spectral theory for skew-symmetric matrices plays a crucial role in the implementation and theoretical analysis. The proposed method’s superiority against the BT model, along with its broad applicability across diverse scenarios, is further supported by simulations and real data analysis.



Bradley-Terry (BT)モデルやThurstoneモデル、およびそれらの多くの拡張版を含む、ペア比較（対戦）のための統計モデルの大部分は、確率的推移性（stochastic transitivity）という比較的強い仮定を置いています。この仮定は、すべてのプレイヤー、チーム、あるいは項目間に観測されない「全体的な順位」が存在すること、およびその順位に基づく比較確率に対して単調性制約が課されることを意味します。しかし、現実のペア比較の場面、特に複数のスキルや戦略が関与するゲームにおいては、確率的推移性の仮定が成り立たないことが多々あります。その結果、この仮定に依存するモデルでは、予測性能が最適ではなくなる可能性があります。本論文では、BTモデルやThurstoneモデルを大幅に拡張し、確率的推移性の仮定を必要としない、ペア比較データのための一般的な統計モデル群を提案します。このモデルにおいて、ペア間の比較確率は、（近似的に）低次元の歪対称行列によって決定されます。観測されたペアの割合がわずかであるようなスパースなデータにも対応可能な、尤度に基づく推定法および計算アルゴリズムが開発されました。理論的解析により、提案された推定量はミニマックス最適性を達成し、データのスパース性の度合いに効果的に適応することが示されています。その実装および理論的解析においては、歪対称行列に関するスペクトル理論が重要な役割を果たしています。BTモデルに対する提案手法の優位性や、多様なシナリオにおける幅広い適用可能性は、シミュレーションおよび実データ解析によっても裏付けられています。

Have ASkotch: A Neat Solution for Large-Scale Kernel Ridge Regression

Have ASkotch: A Neat Solution for Large-Scale Kernel Ridge Regression / ASkotch：大規模カーネルリッジ回帰のための優れた解法

Kernel ridge regression (KRR) is a fundamental computational tool, appearing in problems that range from computational chemistry to health analytics, with a particular interest due to its starring role in Gaussian process regression. However, full KRR solvers are challenging to scale to large datasets: both direct (e.g., Cholesky decomposition) and iterative methods (e.g., PCG) incur prohibitive computational and storage costs. The standard approach to scale KRR to large datasets chooses a set of inducing points and solves an approximate version of the problem, inducing points KRR. However, the resulting solution tends to have worse predictive performance than the full KRR solution. In this work, we introduce a new solver, ASkotch, for full KRR that provides better solutions faster than state-of-the-art solvers for full and inducing points KRR. ASkotch is a scalable, accelerated, iterative method for full KRR that provably obtains linear convergence. Under appropriate conditions, we show that ASkotch obtains condition-number-free linear convergence. This convergence analysis rests on the theory of ridge leverage scores and determinantal point processes. ASkotch outperforms state-of-the-art KRR solvers on a testbed of 23 large-scale KRR regression and classification tasks derived from a wide range of application domains, demonstrating the superiority of full KRR over inducing points KRR. Our work opens up the possibility of as-yet-unimagined applications of full KRR across a number of disciplines.



カーネル リッジ回帰(KRR)は基本的な計算ツールであり、計算化学から健康分析に至るまでの範囲の問題に使用され、ガウス過程回帰における主要な役割により特に興味深いものとなっています。ただし、完全なKRRソルバーは、大規模なデータセットにスケールすることが困難です。直接法(例:コレスキー分解)と反復法(例: PCG)の両方で、法外な計算コストとストレージ コストが発生します。KRRを大規模なデータセットにスケールする標準的なアプローチでは、一連の誘導点を選択し、問題の近似バージョンを解決して、点KRRを誘導します。ただし、結果として得られるソリューションは、完全なKRRソリューションよりも予測パフォーマンスが劣る傾向があります。この作業では、フルKRR用の新しいソルバーASkotchを導入します。これは、フルKRRおよび誘導ポイントKRR用の最先端のソルバーよりも高速に優れたソリューションを提供します。ASkotchは、完全なKRRを実現するスケーラブルで高速な反復手法であり、線形収束が得られることが証明されています。適切な条件下では、ASkotchが条件数なしの線形収束を達成することを示します。この収束分析は、リッジ レバレッジ スコアと決定点プロセスの理論に基づいています。ASkotchは、幅広いアプリケーション ドメインから派生した23の大規模なKRR回帰および分類タスクのテストベッドで最先端のKRRソルバーを上回り、ポイントKRRよりも完全なKRRの優位性を実証しています。私たちの研究は、多くの分野にわたって、まだ想像もしていなかった完全なKRRの応用の可能性を切り開きます。

Optimal Convergence Rates for Neural Operators

Optimal Convergence Rates for Neural Operators / ニューラルオペレータの最適収束レート

We introduce the neural tangent kernel (NTK) regime for two-layer neural operators and analyze their generalization properties. For early-stopped gradient descent (GD), we derive fast convergence rates that are known to be minimax optimal within the framework of non-parametric regression in reproducing kernel Hilbert spaces (RKHS). We provide bounds on the number of hidden neurons and the number of second-stage samples necessary for generalization. To justify our NTK regime, we additionally show that any operator approximable by a neural operator can also be approximated by an operator from the RKHS. A key application of neural operators is learning surrogate maps for the solution operators of partial differential equations (PDEs). We consider the standard Poisson equation to illustrate our theoretical findings with simulations.



2層ニューラル演算子にニューラル タンジェント カーネル(NTK)レジームを導入し、その汎化特性を分析します。早期停止勾配降下法(GD)については、カーネル ヒルベルト空間(RKHS)の再現におけるノンパラメトリック回帰の枠組み内でミニマックス最適であることが知られている高速収束率を導出します。隠れたニューロンの数と一般化に必要な第2段階のサンプルの数に制限を設けます。NTKレジームを正当化するために、ニューラル演算子によって近似可能な演算子は、RKHSの演算子によっても近似できることをさらに示します。ニューラル演算子の主な用途は、偏微分方程式(PDE)の解演算子の代理マップを学習することです。理論的発見をシミュレーションで説明するために、標準的なポアソン方程式を考慮します。

Deep Neural Expected Shortfall Regression with Tail-Robustness

Deep Neural Expected Shortfall Regression with Tail-Robustness / 裾野の頑健性を備えたディープニューラル期待ショートフォール回帰

Expected shortfall (ES), also known as conditional value-at-risk, is a widely recognized risk measure that complements value-at-risk by capturing tail-related risks more effectively. Compared with quantile regression, which has been extensively developed and applied across disciplines, ES regression remains in its early stage, partly because the traditional empirical risk minimization framework is not directly applicable. In this paper, we develop a nonparametric framework for expected shortfall regression based on a two-step approach that treats the conditional quantile function as a nuisance parameter. Leveraging the representational power of deep neural networks, we construct a two-step ES estimator using feedforward ReLU networks, which can alleviate the curse of dimensionality when the underlying functions possess hierarchical composition structures. However, ES estimation is inherently sensitive to heavy-tailed response or error distributions. To address this challenge, we integrate a properly tuned Huber loss into the neural network training, yielding a robust deep ES estimator that is provably resistant to heavy-tailedness in a non-asymptotic sense and first-order insensitive to quantile estimation errors in the first stage. Comprehensive simulation studies and an empirical analysis of the effect of El Niño on extreme precipitation illustrate the accuracy and robustness of the proposed method.



期待ショートフォール（ES、条件付きVaRとも呼ばれる）は、分布の裾（テール）に関連するリスクをより効果的に捉えることで、VaR（Value-at-Risk）を補完する広く認知されたリスク尺度です。様々な分野で広範に発展・応用されてきた分位点回帰と比較すると、ES回帰は依然として初期段階にあります。その理由の一つは、従来の経験的リスク最小化の枠組みを直接適用できないことにあります。本論文では、条件付き分位点関数を「厄介なパラメータ（nuisance parameter）」として扱う2段階アプローチに基づき、ES回帰のためのノンパラメトリックな枠組みを構築します。深層ニューラルネットワークの表現力を活用し、フィードフォワードReLUネットワークを用いた2段階ES推定量を作成します。このネットワークは、対象となる関数が階層的な合成構造を持つ場合に、「次元の呪い」を緩和することが可能です。しかし、ESの推定は本質的に、応答変数や誤差の分布が厚い裾（ヘビーテール）を持つ場合に敏感に反応してしまいます。この課題に対処するため、適切に調整されたHuber損失をニューラルネットワークの学習に組み込みます。これにより、厚い裾を持つ分布に対して非漸近的な意味で頑健であり、かつ第1段階での分位点推定誤差に対して一次の感度を持たない（影響を受けにくい）、ロバストな深層ES推定量が得られます。包括的なシミュレーション研究および、極端な降水量に対するエルニーニョ現象の影響に関する実証分析を通じて、提案手法の精度と頑健性を示します。

Identifiability of the Instrumental Variable Model with the Treatment and Outcome Missing Not at Random

Identifiability of the Instrumental Variable Model with the Treatment and Outcome Missing Not at Random / 処置およびアウトカムが非ランダムに欠測している場合の操作変数モデルの識別可能性

Under the instrumental variable model, we can identify the local average treatment effect, also known as the complier average causal effect (CACE). In practice, however, the treatment and outcome are often missing. When they are missing not at random (MNAR), the underlying data distribution cannot be recovered, so the CACE is generally not identifiable without further assumptions. We study the conditions under which the CACE remains identifiable when data are MNAR. Searching exhaustively over missingness mechanisms, we characterize those that identify the CACE without auxiliary information in two settings: (1) missing data in the treatment alone or the outcome alone, and (2) missing data in both the treatment and the outcome under prospective data collection. We unify existing results and establish new ones, giving a complete picture of identifiability in each setting. The results have two practical implications. First, before analyzing data under the instrumental variable model, one should check whether the CACE is identifiable under the assumed missingness mechanism. Second, because the true mechanism is usually unknown and untestable, it is more robust to estimate the CACE under several plausible mechanisms and compare the results.



操作変数モデルの下では、局所平均処置効果（LATE）、別名「コンプライヤー平均因果効果（CACE）」を識別することが可能です。しかし実際には、処置やアウトカムのデータが欠測していることがよくあります。データが「ランダムではない欠測（MNAR）」である場合、真のデータ分布を復元できないため、追加の仮定なしには一般にCACEを識別できません。本研究では、データがMNARである状況下でCACEが識別可能であり続けるための条件を検討します。欠測メカニズムを網羅的に探索し、補助情報なしでCACEを識別できるメカニズムを以下の2つの設定で特定します。(1)処置またはアウトカムのいずれか一方のみに欠測がある場合、および(2)前向き（プロスペクティブ）なデータ収集において処置とアウトカムの両方に欠測がある場合。既存の結果を統合し、新たな結果を確立することで、各設定における識別可能性の全体像を提示します。これらの結果は、2つの実務的な示唆をもたらします。第一に、操作変数モデルの下でデータを分析する前に、仮定された欠測メカニズムの下でCACE（コンプライアンス遵守者平均因果効果）が識別可能かどうかを確認する必要があります。第二に、真のメカニズムは通常未知であり検証も不可能なため、いくつかの妥当なメカニズムの下でCACEを推定し、その結果を比較する方が頑健（ロバスト）です。

Statistical Inference for High-dimensional Partially Linear Models via Debiased Rank Lasso

Statistical Inference for High-dimensional Partially Linear Models via Debiased Rank Lasso / バイアス補正ランクLassoを用いた高次元部分線形モデルの統計的推論

This paper aims to develop tuning-free and robust regularized methods for partially linear models based on partial residual methods. In order to preserve the near-oracle rate of rank Lasso, we construct a new estimator via a data-splitting procedure and name the resulting estimator as data-splitting (DS) rank Lasso, which is based on partial prediction residuals. Thus, the proposed estimation procedure is distinguished from the traditional partial residual based methods, which are based on the model-fitting residuals. We show that the DS rank Lasso enjoys several appealing features including tuning-free property and robust property to heavy-tailed random errors, and possesses near-oracle rate. We further propose statistical inference procedures for individual coefficients using the debiased Lasso techniques. The resulting estimator is termed the debiased DS rank Lasso estimator. This paper reveals an interesting theoretical finding: the DS rank Lasso estimate achieves near-oracle rate and the proposed debiased DS rank Lasso estimator does not suffer asymptotic efficiency loss due to the use of data-splitting. We further establish a simultaneous inference procedure based on multiplier bootstrap. We conduct Monte Carlo studies to assess finite sample performance of the proposed procedures, and illustrate the proposed methodology via an empirical analysis of a real-world data set.



本論文では、部分残差法に基づく部分線形モデルのための、チューニング不要かつ頑健な正則化手法の開発を目指します。ランクLassoの「オラクルに近い（near-oracle）」収束レートを維持するために、我々はデータ分割手順を用いた新しい推定量（部分予測残差に基づく「データ分割（DS）ランクLasso」）を構築します。したがって、提案する推定手順は、モデル適合残差に基づく従来の部分残差法とは区別されます。DSランクLassoは、チューニング不要であることや、裾の重い（heavy-tailed）確率誤差に対して頑健であることなど、いくつかの魅力的な特性を備えており、かつ「オラクルに近い」収束レートを持つことを示します。さらに、バイアス補正Lasso（debiased Lasso）の手法を用いて、個々の係数に対する統計的推測手順を提案します。この結果得られる推定量は、バイアス補正DSランクLasso推定量と呼ばれます。本論文では、DSランクLasso推定量が「オラクルに近い」収束レートを達成すること、および提案するバイアス補正DSランクLasso推定量がデータ分割の使用に起因する漸近的効率性の損失を被らないことという、興味深い理論的知見を明らかにします。さらに、乗数ブートストラップに基づく同時推測手順を確立します。提案手法の有限標本における性能を評価するためにモンテカルロ実験を行い、実データセットを用いた実証分析を通じて提案手法を例示します。

Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters

Sublinear Variational Optimization of Gaussian Mixture Models with Millions to Billions of Parameters / 数百万から数十億のパラメータを持つガウス混合モデルの劣線形変分最適化

Gaussian Mixture Models (GMMs) range among the most frequently used models in machine learning. However, training large, general GMMs becomes computationally prohibitive for data sets that have many data points $N$ of high-dimensionality $D$. For GMMs with arbitrary covariances, we here derive a highly efficient variational approximation, which is then integrated with mixtures of factor analyzers (MFAs). For GMMs with $C$ components, our proposed algorithm substantially reduces runtime complexity from $\mathcal{O}(NCD^2)$ per iteration to a complexity scaling linearly with $D$ and sublinearly with $NC$. In numerical experiments, we first validate that the complexity reduction results in a sublinear scaling for the entire GMM optimization process. Second, we show on large-scale benchmarks that the sublinear algorithm results in speed-ups of an order-of-magnitude compared to the state-of-the-art. Third, as a proof of concept, we finally train GMMs with over 10 billion parameters on about 100 million images, observing training times of less than nine hours on a single state-of-the-art CPU. Finally, and fourth, we demonstrate the effectiveness of large-scale GMMs on the task of zero-shot image denoising, where sublinear training results in state-of-the-art denoising times while competitive denoising performance is maintained.



ガウス混合モデル（GMM）は、機械学習において最も頻繁に使用されるモデルの一つです。しかし、データ点数$N$が多く、かつ次元数$D$が高いデータセットに対して、大規模で一般的なGMMを学習させることは、計算コストの面から現実的ではありません。本研究では、任意の共分散行列を持つGMMに対し、極めて効率的な変分近似法を導出し、それを因子分析器混合モデル（MFA）と統合します。$C$個の成分を持つGMMにおいて、提案アルゴリズムは、1反復あたりの計算量を$\mathcal{O}(NCD^2)$から、$D$に対して線形、かつ$NC$に対して劣線形（sublinear）にスケールする計算量へと大幅に削減します。数値実験において、まず、この計算量の削減がGMM最適化プロセス全体における劣線形スケーリングをもたらすことを検証します。次に、大規模ベンチマークにおいて、この劣線形アルゴリズムが最先端の手法と比較して桁違いの高速化を実現することを示します。さらに、概念実証として、約1億枚の画像を用いて100億以上のパラメータを持つGMMを学習させ、最新のCPU単体で9時間未満という学習時間を達成しました。最後に、ゼロショット画像ノイズ除去タスクにおいて大規模GMMの有効性を実証します。ここでは、劣線形学習を用いることで、競合力のあるノイズ除去性能を維持しつつ、最先端レベルの処理速度を実現しています。

Nonparametric Spectral Density Estimation using Interactive Mechanisms under Local Differential Privacy

Nonparametric Spectral Density Estimation using Interactive Mechanisms under Local Differential Privacy / 局所差分プライバシー下での対話型メカニズムを用いたノンパラメトリック・スペクトル密度推定

We study the problem of estimating the spectral density of a centered stationary Gaussian time series under local differential privacy constraints. Specifically, we propose new interactive privacy mechanisms for three tasks: recovering a single covariance coefficient, recovering the spectral density at a fixed frequency, and global recovery. Our approach achieves faster rates through a two-stage process: we first apply the Laplace mechanism to the truncated value, and then use the resulting privatized sample to learn about the dependence mechanism in the time series. For spectral densities belonging to Hölder and Sobolev smoothness classes, we demonstrate that our algorithms improve upon the non-interactive mechanism of Kroll (2024) for small privacy parameter $\alpha$, since the pointwise rates depend on $n\alpha^2$ instead of $n\alpha^4$. Moreover, we show that the rate $(n\alpha^4)^{-1}$ is optimal for estimating a covariance coefficient with non-interactive mechanisms. However, the $L_2$ rate of our interactive estimator is slower than the pointwise rate. We show how to use these procedures to provide a bona fide locally differentially private estimator of the entire covariance matrix. A simulation study validates our findings.



本研究では、局所差分プライバシー（LDP）の制約下における、平均ゼロの定常ガウス時系列のスペクトル密度推定問題について検討します。具体的には、単一の共分散係数の推定、固定周波数におけるスペクトル密度の推定、および全体的なスペクトル密度の推定という3つのタスクに対し、新たな対話型プライバシー保護メカニズムを提案します。我々のアプローチは、2段階のプロセスを通じてより高速な収束レートを達成します。まず、切り詰められた値に対してラプラス・メカニズムを適用し、得られたプライバシー保護済みのサンプルを用いて、時系列における依存関係のメカニズムを学習します。ヘルダー（Hölder）およびソボレフ（Sobolev）の滑らかさのクラスに属するスペクトル密度に対し、我々のアルゴリズムは、プライバシーパラメータ$\alpha$が小さい場合、Kroll (2024)の非対話型メカニズムよりも優れた性能を示すことを実証します。これは、点ごとの収束レートが$n\alpha^4$ではなく$n\alpha^2$に依存するためです。さらに、非対話型メカニズムを用いて共分散係数を推定する場合、$(n\alpha^4)^{-1}$というレートが最適であることを示します。ただし、我々の対話型推定量の$L_2$レートは、点ごとの収束レートよりも遅いものとなります。また、これらの手順を用いて、共分散行列全体に対する真の局所差分プライバシー（LDP）推定量を提供する方法も示します。シミュレーション研究により、我々の知見の妥当性を検証します。

Test-time regression: a unifying framework for designing sequence models with associative memory

Test-time regression: a unifying framework for designing sequence models with associative memory / テスト時回帰：連想記憶を持つ系列モデルを設計するための統一的枠組み

Sequence models lie at the heart of modern deep learning. However, rapid advancements have produced a diversity of seemingly unrelated architectures, such as Transformers and recurrent alternatives. In this paper, we introduce a unifying framework to understand and derive these sequence models, inspired by the empirical importance of associative recall, the capability to retrieve contextually relevant tokens. We formalize associative recall as a two-step process, memorization and retrieval, casting memorization as a regression problem. Layers that combine these two steps perform associative recall via “test-time regression” over its input tokens. Prominent layers, including linear attention, state-space models, fast-weight programmers, online learners, and softmax attention, arise as special cases defined by three design choices: the regression weights, the regressor function class, and the test-time optimization algorithm. Our approach clarifies how linear attention fails to capture inter-token correlations and offers a mathematical justification for the empirical effectiveness of query-key normalization in softmax attention. Further, it illuminates unexplored regions within the design space, which we use to derive novel higher-order generalizations of softmax attention. Beyond unification, our work bridges sequence modeling with classic regression methods, a field with extensive literature, paving the way for developing more powerful and theoretically principled architectures.



シーケンスモデルは現代の深層学習の中核をなすものです。しかし、急速な技術進歩に伴い、Transformerや再帰型（リカレント）モデルの代替案など、一見すると無関係に思える多様なアーキテクチャが次々と登場しています。本論文では、文脈的に関連するトークンを想起する能力である「連想想起（associative recall）」の経験的な重要性に触発され、これらのシーケンスモデルを理解し導出するための統一的な枠組みを提案します。我々は連想想起を「記憶」と「想起」の2段階のプロセスとして定式化し、記憶の段階を回帰問題として捉えます。これら2つの段階を組み合わせた層は、入力トークンに対する「テスト時回帰（test-time regression）」を通じて連想想起を実行します。線形アテンション、状態空間モデル、高速重みプログラマ（fast-weight programmers）、オンライン学習器、ソフトマックス・アテンションといった主要な層は、回帰の重み、回帰関数のクラス、テスト時の最適化アルゴリズムという3つの設計上の選択によって定義される特殊なケースとして導かれます。我々のアプローチにより、線形アテンションがなぜトークン間の相関を捉えられないのかが明らかになり、ソフトマックス・アテンションにおけるクエリ・キー正規化の経験的な有効性に対する数学的な根拠が示されます。さらに、設計空間内の未開拓領域が明らかになり、それを利用してソフトマックス・アテンションの新たな高次一般化モデルを導出します。単なる統一にとどまらず、本研究はシーケンスモデリングと、膨大な研究蓄積がある古典的な回帰手法とを結びつけるものであり、より強力かつ理論的根拠に基づいたアーキテクチャを開発するための道を切り開くものです。

Particle Filter for Bayesian Inference on Privatized Data

Particle Filter for Bayesian Inference on Privatized Data / プライバシー保護されたデータ上でのベイズ推論のための粒子フィルタ

Differential privacy is a probabilistic framework that protects privacy while preserving data utility. To protect the privacy of the individuals in the data set, differential privacy requires adding a precise amount of noise to a statistic of interest; however, this noise addition alters the resulting sampling distribution, making statistical inference challenging. One of the main differential privacy goals in Bayesian analysis is to make statistical inference based on the private posterior distribution. While existing methods have strengths in specific conditions, they can be limited by poor mixing, strict assumptions, or low acceptance rates. We propose a novel particle filtering algorithm, which features (i) consistent estimates, (ii) Monte Carlo error estimates and asymptotic confidence intervals, (iii) computational efficiency, and (iv) accommodation to a wide variety of priors, models, and privacy mechanisms with minimal assumptions. We empirically evaluate our algorithm through a variety of simulation settings as well as an application to a 2021 Canadian census data set, demonstrating the efficacy and adaptability of the proposed sampler.



差分プライバシーは、データの有用性を維持しつつプライバシーを保護するための確率的枠組みです。データセット内の個人のプライバシーを保護するために、差分プライバシーでは対象となる統計量に適切な量のノイズを加える必要がありますが、このノイズの付加によってサンプリング分布が変化し、統計的推論が困難になります。ベイズ分析における差分プライバシーの主な目標の一つは、プライバシー保護された事後分布に基づいて統計的推論を行うことです。既存の手法は特定の条件下では強みを持つものの、混合（mixing）の悪さ、厳しい仮定、あるいは低い採択率といった制約に直面することがあります。本論文では、(i)一致推定量、(ii)モンテカルロ誤差推定および漸近信頼区間、(iii)計算効率、(iv)最小限の仮定で多様な事前分布・モデル・プライバシー保護メカニズムに対応可能、という特徴を持つ新しい粒子フィルタリングアルゴリズムを提案します。我々は、様々なシミュレーション設定および2021年カナダ国勢調査データセットへの適用を通じて本アルゴリズムを実証的に評価し、提案手法の有効性と適応性を示します。

A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization

A Provably Convergent Plug-and-Play Framework for Stochastic Bilevel Optimization / 確率的二段階最適化のための収束性が保証されたプラグアンドプレイ・フレームワーク

Bilevel optimization has recently attracted significant attention in machine learning due to its wide range of applications and advanced hierarchical optimization capabilities. In this paper, we propose a plug-and-play framework, named PnPBO, for developing and analyzing stochastic bilevel optimization methods. This framework integrates both modern unbiased and biased stochastic estimators into the single-loop bilevel optimization framework introduced in Dagréou et al. (2022), with several improvements. In the implementation of PnPBO, all stochastic estimators for different variables can be independently incorporated, and an additional moving average technique is applied when using an unbiased estimator for the upper-level variable. In the theoretical analysis, we provide a unified convergence and complexity analysis for PnPBO, demonstrating that the adaptation of various stochastic estimators (including PAGE, ZeroSARAH, and mixed strategies) within the PnPBO framework achieves optimal sample complexity. Specifically, in the finite-sum setting, the resulting complexity matches the lower bound in Dagréou et al. (2024) and is comparable to that of single-level optimization (Zhou and Gu, 2019). This resolves the open question of whether the optimal complexity bounds for solving bilevel optimization are identical to those for single-level optimization. Finally, we empirically validate our framework, demonstrating its effectiveness on several benchmark problems and confirming our theoretical findings.



二段階最適化（bilevel optimization）は、その幅広い応用範囲と高度な階層的最適化能力により、近年機械学習分野で大きな注目を集めています。本論文では、確率的二段階最適化手法を開発・分析するための「PnPBO」と名付けたプラグアンドプレイ型の枠組みを提案します。この枠組みは、Dagréouら（2022）によって導入されたシングルループ二段階最適化の枠組みに、現代的な不偏および偏りのある確率的推定量を統合し、さらにいくつかの改良を加えたものです。PnPBOの実装において、異なる変数に対するすべての確率的推定量を独立して組み込むことが可能であり、上位レベルの変数に対して不偏推定量を用いる場合には、追加の移動平均手法が適用されます。理論的分析においては、PnPBOに関する統一的な収束性および計算量の分析を行い、PnPBOの枠組み内で様々な確率的推定量（PAGE、ZeroSARAH、混合戦略など）を適用することで、最適なサンプル計算量が達成されることを示します。具体的には、有限和（finite-sum）の設定において、得られる計算量はDagréouら（2024）における下限と一致し、単一レベル最適化（Zhou and Gu, 2019）の計算量と同等となります。本研究は、二段階最適化（bilevel optimization）を解くための最適計算量限界が、単一レベル最適化の場合と同一であるか否かという未解決の問題を解決するものです。最後に、我々の提案する枠組みを実証的に検証し、いくつかのベンチマーク問題においてその有効性を示すとともに、理論的な知見の妥当性を確認します。

Incorporating external data for analyzing randomized clinical trials: A transfer learning approach

Incorporating external data for analyzing randomized clinical trials: A transfer learning approach / ランダム化臨床試験の分析における外部データの活用：転移学習アプローチ

Randomized clinical trials are the gold standard for analyzing treatment effects. However, increasing costs and ethical concerns may limit trial recruitment, resulting in insufficient sample sizes and potentially invalid inference. Incorporating external trial data with similar characteristics (treatments, diseases, biomarkers, etc.) into the analysis appears promising for addressing these issues. Transfer learning, which in our context utilizes external trials as the source domain and current trials as the target domain, may offer a viable approach. In this paper, we present a formal framework for applying transfer learning to the analysis of clinical trials, considering three key perspectives: transfer algorithm, theoretical foundation, and inference method. To cover broad types of randomized trials, we study this problem under stratified randomization, or more generally, covariate-adaptive randomization. For the algorithm, we adopt a parameter-based transfer learning approach to enhance the lasso-adjusted stratum-specific estimator developed for estimating the treatment effect. A key component in constructing the transfer learning estimator is deriving the regression coefficient estimation within each stratum, accounting for the bias between source and target data. To provide a theoretical foundation, we derive the convergence rate for the estimated regression coefficients and subsequently establish the asymptotic normality for the transfer learning estimator. Our results show that when external trial data resemble current trial data, the sample size requirements can be reduced compared to using only current trial data. Finally, we propose a consistent nonparametric variance estimator to facilitate inference that is robust to model misspecifications and applicable to various commonly used randomization procedures. Numerical studies demonstrate the effectiveness and robustness of our proposed estimator across various scenarios. Our study highlights the potential of transfer learning in analyzing randomized clinical trials.



ランダム化比較試験は、治療効果を分析するための「ゴールドスタンダード（標準的かつ最良の手法）」とされています。しかし、コストの増大や倫理的な懸念から試験への参加者募集が制限される場合があり、その結果、サンプルサイズが不十分となり、推論の妥当性が損なわれる恐れがあります。こうした課題に対処する有望な手段として、類似した特性（治療法、疾患、バイオマーカーなど）を持つ外部試験のデータを分析に組み入れることが考えられます。本研究の文脈において、外部試験をソースドメイン（知識源）、現在の試験をターゲットドメイン（適用先）として利用する「転移学習」は、有効なアプローチとなり得ます。本論文では、転移アルゴリズム、理論的基盤、推論手法という3つの重要な観点を踏まえ、臨床試験の分析に転移学習を適用するための体系的な枠組みを提示します。幅広い種類のランダム化比較試験を対象とするため、層別ランダム化、あるいはより一般的に共変量適応型ランダム化の下でこの問題を検討します。アルゴリズムに関しては、治療効果推定のために開発されたLasso調整済み層別推定量（lasso-adjusted stratum-specific estimator）を強化するべく、パラメータベースの転移学習アプローチを採用します。転移学習推定量を構築する際の重要な要素は、ソースデータとターゲットデータの間のバイアスを考慮しつつ、各層内での回帰係数推定値を導出することです。理論的基盤を確立するために、推定された回帰係数の収束速度を導出し、続いて転移学習推定量の漸近正規性を示します。解析の結果、外部試験のデータが現在の試験のデータと類似している場合、現在の試験のデータのみを使用する場合と比較して、必要なサンプルサイズを削減できることが明らかになりました。最後に、モデルの誤設定に対して頑健（ロバスト）であり、かつ一般的に用いられる様々なランダム化手順に適用可能な推論を可能にするため、一致性を持つノンパラメトリック分散推定量を提案します。数値実験により、提案する推定量の有効性と頑健性が様々なシナリオにおいて実証されます。本研究は、ランダム化比較試験の分析における転移学習の可能性を提示するものです。

Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning

Resilience Beyond Stationary Client Unavailability: Unlocking Efficient and Unbiased Federated Learning / 定常的ではないクライアントの非可用性を超えるレジリエンス：効率的かつ不偏な連合学習の実現

Due to resource constraints or external and internal uncertainties, clients in real-world federated learning systems are often intermittently available edge devices. In highly dynamic environments, the parameter server lacks prior real-time knowledge of clients’ availability, making it challenging to adapt traditional federated learning algorithms to be resilient to uncertainties in client availability. If not carefully addressed, complex client availability can introduce significant bias, potentially harming the performance of the trained model. Most prior work either fails to account for non-stationary client availability dynamics or demands significant memory and computational overhead. This paper aims to develop efficient federated learning algorithms that are provably resilient to heterogeneous and non-stationary stochastic client availability. We propose FedSWE, which admits novel algorithmic structures to (i) compensate for missed computations, (ii) stabilize and diffuse the global updates over rounds, and (iii) evenly mix the local updates through implicit gossiping, despite being agnostic to non-stationary dynamics. Compared with the standard FedAvg, FedSWE introduces light additional memory and computation overhead. We show that FedSWE converges to a stationary point of non-convex objectives while achieving the desired linear speedup property in certain special cases. We corroborate our analysis with numerical experiments over diversified client unavailability dynamics on real-world data sets.



現実世界の連合学習システムにおいて、リソースの制約や内外の不確実性により、クライアントとなるエッジデバイスは断続的にしか利用できないことがよくあります。変化の激しい環境では、パラメータサーバーはクライアントの利用可能性に関するリアルタイムの情報を事前に把握できないため、従来の連合学習アルゴリズムをクライアントの利用可能性の不確実性に対して堅牢なものへと適応させることが困難になります。クライアントの利用可能性の複雑な変動に適切に対処しなければ、大きなバイアスが生じ、学習済みモデルの性能を損なう恐れがあります。既存研究の多くは、クライアントの利用可能性が非定常的に変動することを考慮していないか、あるいは多大なメモリや計算のオーバーヘッドを必要とします。本論文では、異質かつ非定常な確率的変動を伴うクライアントの利用可能性に対して、理論的に堅牢性が保証された効率的な連合学習アルゴリズムの開発を目指します。我々は「FedSWE」を提案します。これは、非定常的な変動を事前に知らなくても機能する新しいアルゴリズム構造を採用しており、(i)実行されなかった計算を補完し、(ii)ラウンド間でのグローバルな更新を安定化・拡散させ、(iii)暗黙的なゴシップ（情報伝播）を通じてローカルな更新を均一に混合することを可能にします。標準的なFedAvgと比較して、FedSWEが追加で必要とするメモリや計算のオーバーヘッドはわずかです。我々は、FedSWEが非凸目的関数の定常点に収束することを示し、特定の条件下では望ましい線形加速特性も達成することを示します。また、現実世界のデータセットを用い、クライアントの利用不可状態の変動パターンを多様に変えた数値実験によって、我々の解析の妥当性を裏付けます。

Leakage and Interpretability in Concept-Based Models

Leakage and Interpretability in Concept-Based Models / 概念ベースのモデルにおける情報漏洩と解釈可能性

Concept-based Models aim to improve interpretability by predicting high-level intermediate concepts, representing a promising approach for deployment in high-risk scenarios. However, they are known to suffer from information leakage, whereby models exploit unintended information encoded within the learned concepts. We introduce an information-theoretic framework to rigorously characterise and quantify leakage, and define two complementary measures: the concepts-task leakage (CTL) and interconcept leakage (ICL) scores. We show that these measures are strongly predictive of model behaviour under interventions and outperform existing alternatives. Using this framework, we identify the primary causes of leakage and, as a case study, analyse how it manifests in Concept Embedding Models, revealing interconcept and alignment leakage in addition to the concepts-task leakage present by design. Finally, we present a set of practical guidelines for designing concept-based models to reduce leakage and ensure interpretability.



「概念ベースのモデル（Concept-based Models）」は、高次の中間概念を予測することで解釈可能性の向上を目指すものであり、リスクの高いシナリオへの導入に向けた有望なアプローチです。しかし、これらのモデルは「情報漏洩（information leakage）」の問題を抱えていることが知られています。これは、モデルが学習された概念に符号化された意図しない情報を利用してしまう現象です。本研究では、情報理論に基づいた枠組みを導入し、この漏洩を厳密に特徴付け・定量化するとともに、互いに補完し合う2つの指標、すなわち「概念・タスク間漏洩（CTL）」スコアと「概念間漏洩（ICL）」スコアを定義します。これらの指標は、介入（interventions）下でのモデルの挙動を強力に予測できること、および既存の代替指標よりも優れていることを示します。この枠組みを用いて漏洩の主な原因を特定し、ケーススタディとして「概念埋め込みモデル（Concept Embedding Models）」における漏洩の現れ方を分析します。その結果、設計上想定される「概念・タスク間漏洩」に加え、「概念間漏洩」や「アライメント漏洩」が存在することが明らかになりました。最後に、漏洩を低減し解釈可能性を確保するための、概念ベースのモデル設計に関する一連の実践的なガイドラインを提示します。

Clustering and Pruning in Causal Data Fusion

Clustering and Pruning in Causal Data Fusion / 因果データ統合におけるクラスタリングとプルーニング

Data fusion, the process of combining observational and experimental data, can enable the identification of causal effects that would otherwise remain non-identifiable. Although identification algorithms have been developed for specific scenarios, do-calculus remains the only general-purpose tool for causal data fusion, particularly when variables are present in some data sources but not others. However, approaches based on do-calculus may encounter computational challenges as the number of variables increases and the causal graph grows in complexity. Consequently, there exists a need to reduce the size of such models while preserving the essential features. For this purpose, we propose pruning (removing unnecessary variables) and clustering (combining variables) as preprocessing operations for causal data fusion. We generalize earlier results on a single data source and derive conditions for applying pruning and clustering in the case of multiple data sources. We give sufficient conditions for inferring the identifiability or non-identifiability of a causal effect in a larger graph based on a smaller graph and show how to obtain the corresponding identifying functional for identifiable causal effects. Examples from epidemiology and social science demonstrate the use of the results.



観測データと実験データを統合するプロセスである「データ融合（data fusion）」は、単独では特定不可能な因果効果の特定を可能にします。特定のシナリオに対する特定アルゴリズムは開発されていますが、特に一部のデータソースにのみ変数が含まれるような状況において、因果データ融合のための汎用的なツールは「do-calculus（do演算）」のみです。しかし、変数の数が増加し因果グラフが複雑化するにつれ、do-calculusに基づく手法は計算上の課題に直面する可能性があります。そのため、モデルの本質的な特徴を維持しつつ、その規模を縮小する必要があります。そこで我々は、因果データ融合の前処理操作として、プルーニング（不要な変数の削除）とクラスタリング（変数の統合）を提案します。単一のデータソースに関する既存の結果を一般化し、複数のデータソースが存在する場合にプルーニングやクラスタリングを適用するための条件を導出します。また、小規模なグラフに基づいて大規模なグラフにおける因果効果の特定可能性（または非特定可能性）を推論するための十分条件を示し、特定可能な因果効果に対して対応する特定関数（identifying functional）を求める方法を提示します。疫学や社会科学の例を用いて、これらの結果の活用法を実証します。

Viscosity Convergence Analysis for Deep Q-Networks

Viscosity Convergence Analysis for Deep Q-Networks / Deep Q-Networkの粘性解としての収束解析

Deep Q-Networks (DQNs) and related residual neural architectures are increasingly used for continuous-time reinforcement learning (CTRL), where optimal value functions solve fully nonlinear second-order Hamilton–Jacobi–Bellman (HJB) equations and may be non-smooth. In this regime, convergence should be analyzed in the viscosity-solution framework. We study a spatially-coupled monotone ResNet architecture whose one-step operator is a non-negative local aggregation, designed to satisfy monotonicity and stability at the operator level. Under a consistency assumption on the learned operator, we obtain operator-level convergence to the viscosity solution via the Barles–Souganidis framework. We then distinguish this idealized operator iteration from practical fitted value iteration with projection onto a neural function class, and discuss the resulting approximation gap. Empirically, on stochastic control benchmarks, the proposed architecture exhibits smaller overshoot near kinks and more stable numerical behavior than pointwise PINN-style baselines in our experiments.



Deep Q-Network（DQN）や関連する残差ニューラルネットワーク（ResNet）アーキテクチャは、連続時間強化学習（CTRL）においてますます利用されるようになっています。CTRLでは、最適価値関数が完全非線形な2階ハミルトン・ヤコビ・ベルマン（HJB）方程式を解く必要があり、その関数は滑らかでない（non-smooth）可能性があります。このような状況下では、収束性を粘性解（viscosity solution）の枠組みで解析する必要があります。本研究では、空間的に結合された単調ResNetアーキテクチャを検討します。このアーキテクチャは、その1ステップ作用素が非負の局所集約（local aggregation）となるように設計されており、作用素レベルで単調性と安定性を満たします。学習された作用素に関する整合性の仮定の下、Barles-Souganidisの枠組みを用いて、粘性解への作用素レベルでの収束を導きます。さらに、この理想化された作用素の反復と、ニューラル関数クラスへの射影を伴う実用的な適合価値反復（fitted value iteration）とを区別し、それによって生じる近似のギャップについて議論します。確率制御のベンチマークを用いた実験において、提案アーキテクチャは、点ごとのPINN（Physics-Informed Neural Networks）スタイルのベースラインと比較して、キンク（折れ曲がり点）付近でのオーバーシュートが小さく、より安定した数値挙動を示すことが確認されました。

Solving Nonlinear PDEs with Sparse Radial Basis Function Networks

Solving Nonlinear PDEs with Sparse Radial Basis Function Networks / スパース動径基底関数ネットワークによる非線形偏微分方程式の解法

We propose a novel framework for solving nonlinear PDEs using sparse radial basis function (RBF) networks. Sparsity-promoting regularization is employed to prevent over-parameterization and reduce redundant features. This work is motivated by longstanding challenges in traditional RBF collocation methods, along with the limitations of physics-informed neural networks (PINNs) and Gaussian process (GP) approaches, aiming to blend their respective strengths in a unified framework. The theoretical foundation of our approach lies in the function space of Reproducing Kernel Banach Spaces (RKBS) induced by one-hidden-layer neural networks of possibly infinite width. We prove a representer theorem showing that the sparse optimization problem in the RKBS admits a finite solution and establish error bounds that offer a foundation for generalizing classical numerical analysis. The algorithmic framework is based on a three-phase algorithm to maintain computational efficiency through adaptive feature selection, second-order optimization, and pruning of inactive neurons. Numerical experiments demonstrate the effectiveness of our method and highlight cases where it offers notable advantages over GP approaches. This work opens new directions for adaptive PDE solvers grounded in rigorous analysis with efficient, learning-inspired implementation.



我々は、スパースな動径基底関数（RBF）ネットワークを用いて非線形偏微分方程式（PDE）を解くための新しい枠組みを提案します。過剰なパラメータ化を防ぎ、冗長な特徴量を削減するために、スパース性を促進する正則化が採用されています。本研究は、従来のRBFコロケーション法が長年抱えてきた課題や、PINN（物理法則を組み込んだニューラルネットワーク）およびガウス過程（GP）アプローチの限界を背景としており、それらの長所を統合的な枠組みの中で融合させることを目指しています。本手法の理論的基盤は、幅が無限大になり得る単一隠れ層ニューラルネットワークによって誘導される、再生核バナッハ空間（RKBS）上の関数空間にあります。我々は、RKBSにおけるスパース最適化問題が有限な解を持つことを示す表現定理を証明し、古典的な数値解析を一般化するための基礎となる誤差限界を確立しました。アルゴリズムの枠組みは、適応的な特徴量選択、二次最適化、および不活性なニューロンの剪定（プルーニング）を通じて計算効率を維持する3段階のアルゴリズムに基づいています。数値実験により本手法の有効性が実証され、GPアプローチと比較して顕著な利点が得られるケースが示されました。本研究は、厳密な解析に基づきつつ、学習の知見を取り入れた効率的な実装を伴う、適応型偏微分方程式（PDE）ソルバーの新たな方向性を切り拓くものです。

Consistency of Augmentation Graph and Network Approximability in Contrastive Learning

Consistency of Augmentation Graph and Network Approximability in Contrastive Learning / 対照学習におけるオーグメンテーション・グラフの整合性とネットワークの近似能力

Contrastive learning leverages data augmentation to develop feature representation without relying on large labeled data sets. However, despite its empirical success, the theoretical foundations of contrastive learning remain incomplete, with many essential guarantees left unaddressed, particularly the realizability assumption concerning neural approximability of an optimal spectral contrastive loss solution. In this work, we overcome these limitations by analyzing pointwise and spectral consistency of the augmentation graph Laplacian. We establish that, under specific conditions for data generation and graph connectivity, as the augmented data set size increases, the augmentation graph Laplacian converges to a weighted Laplace-Beltrami operator on the natural data manifold. These consistency results ensure that the graph Laplacian spectrum effectively captures the manifold geometry. Consequently, they give way to a robust framework for establishing neural approximability, directly resolving the realizability assumption in a current paradigm.



対照学習（contrastive learning）は、大規模なラベル付きデータセットに依存することなく特徴表現を構築するために、データ拡張（data augmentation）を活用します。しかし、経験的な成功を収めている一方で、対照学習の理論的基盤は未完成であり、多くの重要な保証、特に最適スペクトル対照損失解のニューラル近似可能性に関する「実現可能性の仮定（realizability assumption）」については未解決のままです。本研究では、拡張グラフ・ラプラシアン（augmentation graph Laplacian）の点ごとの整合性およびスペクトル整合性を解析することで、これらの限界を克服します。データ生成およびグラフの連結性に関する特定の条件下において、拡張データセットのサイズが増大するにつれ、拡張グラフ・ラプラシアンが自然なデータ多様体上の重み付きラプラス・ベルトラミ作用素に収束することを明らかにします。これらの整合性に関する結果は、グラフ・ラプラシアンのスペクトルが多様体の幾何学的構造を効果的に捉えていることを保証します。その結果、ニューラル近似可能性を確立するための堅牢な枠組みが提供され、現在のパラダイムにおける実現可能性の仮定という課題が直接的に解決されます。

Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions

Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions / 次元の呪いの克服：拡散モデルによる低次元分布の効率的な学習

Despite their empirical success across a wide range of generative tasks, the fundamental principles underlying the ability of diffusion models to learn data distributions are poorly understood. In this work, we develop a new mathematical framework that explains how diffusion models can effectively learn low-dimensional distributions from a finite number of training samples without suffering from the curse of dimensionality. Specifically, motivated by the intrinsic low-dimensional structure of image data, we theoretically analyze a setting in which the data distribution is modeled as a mixture of low-rank Gaussians. Under a suitable network parameterization, we show that optimizing the training objective of diffusion models is equivalent to solving the canonical subspace clustering problem over the training samples, where each subspace basis corresponds to the low-rank covariance of a Gaussian component. This equivalence allows us to show that the sample complexity for learning the underlying distribution scales linearly with the intrinsic dimension of the data, rather than exponentially with the ambient dimension. Our theoretical findings are further supported by empirical evidence that demonstrates phase transition phenomena in generalization on both synthetic and real-world image datasets. Moreover, we establish a correspondence between the learned subspace bases and semantic attributes of image data, providing a principled foundation for controllable image generation.



拡散モデル（diffusion models）は、広範な生成タスクにおいて経験的な成功を収めていますが、データ分布を学習する能力の根底にある基本原理については、十分に理解されていません。本研究では、拡散モデルがいかにして「次元の呪い」に陥ることなく、有限個の学習サンプルから低次元分布を効果的に学習できるかを説明する、新たな数学的枠組みを構築します。具体的には、画像データが持つ本質的な低次元構造に着目し、データ分布を低ランク・ガウス分布の混合モデルとして扱う設定を理論的に解析します。適切なネットワーク・パラメータ化の下で、拡散モデルの学習目的関数の最適化が、学習サンプル上での標準的な部分空間クラスタリング問題を解くことと等価であることを示します。ここで、各部分空間の基底は、ガウス成分の低ランク共分散行列に対応します。この等価性により、真の分布を学習するために必要なサンプル複雑度（sample complexity）が、埋め込み空間の次元（ambient dimension）に対して指数関数的ではなく、データの「本質的次元（intrinsic dimension）」に対して線形にスケールすることを示すことができます。我々の理論的知見は、合成データセットおよび実世界の画像データセットの双方において、汎化性能に関する相転移現象を示す経験的証拠によっても裏付けられています。さらに、学習された部分空間基底と画像データの意味的属性との間の対応関係を確立し、制御可能な画像生成のための原理的な基盤を提供します。

On the Effectiveness of the z-Transform Method in Quadratic Optimization

On the Effectiveness of the z-Transform Method in Quadratic Optimization / 二次最適化におけるz変換法の有効性について

The z-transform of a sequence is a classical tool used in signal processing, control theory, computer science, and electrical engineering. It allows one to study sequences from their generating functions, with many operations that can be equivalently defined on the original sequence and its z-transform. In particular, the z-transform method focuses on asymptotic behaviors and allows the use of Taylor expansions. We present a sequence of results of increasing significance and difficulty for linear models and optimization algorithms, demonstrating the effectiveness and versatility of the z-transform method in deriving new asymptotic results. Starting from the simplest gradient descent iterations in an infinite-dimensional Hilbert space, we show how the spectral dimension characterizes the convergence behavior. We then extend the analysis to Nesterov acceleration, averaging techniques, and stochastic gradient descent.



数列のz変換は、信号処理、制御理論、コンピュータ科学、および電気工学において用いられる古典的なツールです。z変換を用いることで、数列をその母関数から解析することが可能になります。この手法では、元の数列上でもz変換上でも同等に定義できる多くの操作を利用できます。特にz変換法は漸近挙動の解析に重点を置いており、テイラー展開の利用も可能です。本稿では、線形モデルや最適化アルゴリズムを対象に、重要度と難易度が段階的に高まる一連の成果を提示し、新たな漸近的結果を導出する上でのz変換法の有効性と汎用性を示します。まず、無限次元ヒルベルト空間における最も単純な勾配降下法の反復から始め、スペクトル次元がいかに収束挙動を特徴づけるかを明らかにします。続いて、ネステロフの加速法、平均化手法、および確率的勾配降下法へと解析を拡張します。

Domain Adaptation Targeting Heterogeneous and Imbalanced Subgroups

Domain Adaptation Targeting Heterogeneous and Imbalanced Subgroups / 異質かつ不均衡なサブグループを対象としたドメイン適応

Domain adaptation enables generalizable and efficient data-driven research. However, existing work has largely focused on domain adaptation for some intrinsically homogeneous target cohort, overlooking inherent heterogeneity within the target, which can exacerbate biases and unfairness in the presence of subgroups with imbalanced sample sizes. We develop a novel domain adaptation framework that addresses a more complicated target dataset that consists of heterogeneous and data-sparse subgroups and lacks gold-standard label observations. Our method simultaneously handles high-dimensionality, covariate shift, and outcome model heterogeneity by combining a model-assisted debiasing step used for covariate shift correction with an adaptive knowledge-guided sparsification procedure used to mitigate the issue of sample disparity. We also introduce a new model selection strategy to avoid negative knowledge transfer in the absence of labels in the target data. Our method is theoretically justified for being robust to nuisance model misspecification and adaptive to heterogeneity between the subgroups. Numerical experiments and two real-world applications, including genetic risk modeling of type 2 diabetes and prediction of mutation-induced protein stability changes, demonstrate the practical advantages of our method.



ドメイン適応は、汎用性が高く効率的なデータ駆動型研究を可能にします。しかし、既存の研究の多くは、本質的に均質なターゲット集団に対するドメイン適応に焦点を当てており、ターゲット内部の固有の不均質性を見落としてきました。こうした不均質性は、サンプルサイズが不均衡なサブグループが存在する場合、バイアスや不公平性を増大させる可能性があります。本研究では、不均質かつデータが疎（スパース）なサブグループから構成され、かつ正解ラベル（ゴールドスタンダード）の観測値が存在しない、より複雑なターゲットデータセットに対処する新しいドメイン適応フレームワークを開発します。我々の手法は、共変量シフト補正のための「モデル支援型バイアス除去ステップ」と、サンプル数の不均衡問題を緩和するための「適応的かつ知識に基づくスパース化手順」を組み合わせることで、高次元性、共変量シフト、およびアウトカムモデルの不均質性に同時に対応します。また、ターゲットデータにラベルが存在しない状況下での「負の知識転移（negative knowledge transfer）」を回避するため、新しいモデル選択戦略も導入します。本手法は、妨害パラメータモデル（nuisance model）の誤設定に対して頑健であり、サブグループ間の不均質性にも適応できるという点で理論的に正当化されます。数値実験および2つの実世界への応用（2型糖尿病の遺伝的リスクモデリングや、変異によるタンパク質安定性変化の予測など）を通じて、本手法の実用的な利点を示します。

Dimension Reduction for Derivative-Informed Operator Learning: An Analysis of Approximation Errors

Dimension Reduction for Derivative-Informed Operator Learning: An Analysis of Approximation Errors / 微分情報を利用した作用素学習のための次元削減：近似誤差の解析

We study the derivative-informed learning of nonlinear operators between infinite-dimensional Hilbert spaces. Such operators can arise as solution maps of partial differential equations, and their approximation by accurate surrogate models can accelerate simulation-intensive tasks of scientific and engineering interest, including inference, control, and uncertainty quantification. Since efficiently performing such tasks often requires an accurate representation of the operator’s derivatives, we analyze the approximation capabilities of neural operators measured by Sobolev norms over infinite-dimensional Gaussian input measures. We focus on the reduced basis neural operator, which employs linear encoders/decoders defined on dominant input/output subspaces. We study two methods for generating the subspaces: principal component analysis (PCA) and derivative-informed subspaces (DIS). These use the dominant eigenvectors of the covariance of the data or the derivatives as bases for the subspaces, respectively. We derive bounds for errors arising from both dimension reduction and latent neural network approximations, including sampling errors associated with the empirical estimation of the PCA/DIS subspaces. Our analysis is validated through numerical experiments, which demonstrate that subspaces informed by the underlying operator (DIS or output PCA) yield smaller generalization errors in the Sobolev norm, while input PCA may underperform unless ranks and training sample sizes are sufficiently large.



本研究では、無限次元ヒルベルト空間間の非線形作用素に対する、導関数情報を活用した学習（derivative-informed learning）について検討します。こうした作用素は偏微分方程式の解写像として現れることがあり、高精度なサロゲートモデルによる近似を行うことで、推論、制御、不確実性定量化など、科学技術分野における計算負荷の高いタスクを高速化できます。これらのタスクを効率的に実行するには、作用素の導関数を正確に表現する必要があることが多いため、我々は無限次元ガウス入力測度上のソボレフノルムを用いて、ニューラル作用素の近似能力を解析します。特に、主要な入出力部分空間上で定義された線形エンコーダ／デコーダを用いる「縮約基底ニューラル作用素（reduced basis neural operator）」に焦点を当てます。部分空間を生成する手法として、主成分分析（PCA）と導関数情報を活用した部分空間（DIS）の2つを検討します。これらはそれぞれ、データまたは導関数の共分散行列の主要固有ベクトルを部分空間の基底として利用するものです。我々は、次元縮約および潜在空間でのニューラルネットワーク近似に起因する誤差の限界（バウンド）を導出します。これには、PCA/DIS部分空間の経験的推定に伴うサンプリング誤差も含まれます。我々の分析は数値実験によって検証されており、その結果、基礎となる作用素（DISや出力PCA）の情報を活用した部分空間はソボレフノルムにおいてより小さな汎化誤差をもたらす一方、入力PCAはランクや学習サンプルサイズが十分に大きくない限り性能が劣る可能性があることが示されました。

Locally Private Estimation with Public Features

Locally Private Estimation with Public Features / 公開特徴量を用いた局所プライバシー保護推定

We initiate the study of locally differentially private (LDP) learning with public features. We define semi-feature LDP, where some features are publicly available while the remaining ones, along with the label, require protection under local differential privacy. Under semi-feature LDP, we consider three fundamental estimation problems: non-parametric density estimation, classification, and regression. Given the smoothness assumption, we show that the minimax convergence rate is significantly improved compared to classical LDP. Then, we propose HistOfTree, an estimator that fully leverages the information contained in both public and private features. Theoretically, HistOfTree reaches the minimax optimal convergence rate. Empirically, HistOfTree achieves superior performance on both synthetic and real data. We also explore scenarios where users have the flexibility to select features for protection manually. In such cases, we propose an estimator and a data-driven parameter tuning strategy, leading to analogous theoretical and empirical results.



本研究では、公開特徴量（public features）を伴う局所差分プライバシー（LDP）下での学習について検討を開始します。我々は「セミ特徴量LDP（semi-feature LDP）」を定義します。これは、一部の特徴量は公開される一方で、残りの特徴量とラベルについては局所差分プライバシーによる保護が必要とされる設定です。このセミ特徴量LDPの下で、非パラメトリック密度推定、分類、回帰という3つの基本的な推定問題を考察します。平滑性に関する仮定を置くことで、従来のLDPと比較してミニマックス収束レートが大幅に改善されることを示します。そして、公開特徴量と非公開特徴量の双方に含まれる情報を最大限に活用する推定器「HistOfTree」を提案します。理論的には、HistOfTreeはミニマックス最適収束レートを達成します。また、実証的には、合成データと実データの双方において優れた性能を示します。さらに、ユーザーが保護対象とする特徴量を手動で柔軟に選択できるシナリオについても検討します。そのような場合に対して、我々は推定器とデータ駆動型のパラメータ調整戦略を提案し、同様の理論的・実証的結果が得られることを示します。

scikit-activeml: A Comprehensive and User-Friendly Active Learning Library

scikit-activeml: A Comprehensive and User-Friendly Active Learning Library / scikit-activeml：包括的かつ使いやすい能動学習ライブラリ

scikit-activeml is a user-friendly open-source Python library for active learning on top of scikit-learn. Included are implementations of a large collection of query strategies, models, and visualization tools in pool- and stream-based active learning for classification or regression tasks with single or multiple annotators. The flexible design of the active learning cycle enables individual adaptations to a variety of learning scenarios. Our source code with comprehensive documentation is available at https://scikit-activeml.github.io.



scikit-activemlは、scikit-learnを基盤とした、アクティブラーニング（能動学習）のための使いやすいオープンソースPythonライブラリです。分類や回帰のタスク（単一または複数のアノテーターによるもの）を対象に、プール型およびストリーム型のアクティブラーニングにおける多種多様なクエリ戦略、モデル、可視化ツールが実装されています。アクティブラーニングサイクルの柔軟な設計により、様々な学習シナリオに合わせて個別に適応させることが可能です。包括的なドキュメントを含むソースコードは、https://scikit-activeml.github.ioで公開されています。

Ehrenfeucht-Haussler Rank and Chain of Thought

Ehrenfeucht-Haussler Rank and Chain of Thought / Ehrenfeucht-HausslerランクとChain of Thought（思考の連鎖）

The notion of rank of a Boolean function has been a cornerstone in PAC learning, enabling quasipolynomial-time learning algorithms for polynomial-size decision trees. We present a novel characterization of rank, grounded in the well-known Transformer architecture. We show that the rank of a function $f$ corresponds to the minimum number of Chain of Thought (CoT) iterations required by a single-layer Transformer with hard attention to compute $f$. Based on this characterization, we establish tight bounds on the number of CoT iterations required for specific problems, showing that \(\ell\)-fold function composition necessitates exactly \(\ell\) CoT iterations. Furthermore, we analyze the problem of identifying the position of the \(k\)-th occurrence of 1 in a Boolean sequence, proving that it requires \(k\) CoT iterations. Finally, we introduce the notion of the multi-head rank that captures multi-head single-layer transformers, and perform the analysis of PAC-learnability of the classes of functions with bounded multi-head rank.



ブール関数の「ランク（rank）」という概念はPAC学習における重要な基盤であり、多項式サイズの決定木に対する準多項式時間学習アルゴリズムを可能にしてきました。本研究では、広く知られるTransformerアーキテクチャに基づいた、ランクの新たな特徴付けを提示します。具体的には、関数$f$のランクが、ハードアテンション（hard attention）を備えた単層Transformerが$f$を計算するために必要な「思考の連鎖（Chain of Thought: CoT）」の反復回数の最小値に対応することを示します。この特徴付けに基づき、特定の課題に必要なCoT反復回数についてタイトな（厳密な）境界を確立し、関数の$\ell$回の合成には正確に$\ell$回のCoT反復が必要であることを示します。さらに、ブール列における1の$k$回目の出現位置を特定する問題を分析し、これには$k$回のCoT反復が必要であることを証明します。最後に、マルチヘッド単層Transformerを捉える概念として「マルチヘッドランク」を導入し、マルチヘッドランクが有界な関数クラスのPAC学習可能性について分析を行います。

Feedback-Enhanced Online Multiple Testing with Applications to Conformal Selection

Feedback-Enhanced Online Multiple Testing with Applications to Conformal Selection / フィードバック強化型オンライン多重検定とコンフォーマル選択への応用

This work studies online multiple testing with feedback, where decisions are made sequentially, and the true state of the hypothesis is revealed after decisions are made, either instantly or with a delay, and under either full or bandit feedback. We propose Generalized alpha-investing with feedback (GAIF) along with its adaptive variants, a feedback-enhanced framework that dynamically adjusts thresholds using revealed outcomes, ensuring finite-sample false discovery rate (FDR)/marginal FDR (mFDR) control. We further extend GAIF to online conformal testing by constructing valid conformal $p$-values and developing feedback-enhanced testing rules with finite-sample mFDR control. We also propose a feedback-driven score selection criterion to adaptively choose the candidate score that is most effective for the testing procedure, together with a theoretical analysis of its optimality. Numerical simulations and real-data applications demonstrate the effectiveness of our methods.



本研究では、フィードバックを伴うオンライン多重検定（online multiple testing）を扱います。この設定では、意思決定が逐次的に行われ、その決定後に仮説の真の状態が（即時または遅延を伴って、かつ完全フィードバックまたはバンディットフィードバックの下で）明らかになります。我々は、フィードバックを伴う一般化アルファ・インベスティング（GAIF）およびその適応型バリアントを提案します。これは、判明した結果を用いて閾値を動的に調整し、有限サンプルにおける偽発見率（FDR）や周辺FDR（mFDR）の制御を保証する、フィードバック強化型フレームワークです。我々はさらに、有効なコンフォーマル$p$値を構築し、有限サンプルでのmFDR（修正偽発見率）制御を伴うフィードバック強化型検定規則を開発することで、GAIFをオンライン・コンフォーマル検定へと拡張します。また、検定手順において最も有効な候補スコアを適応的に選択するためのフィードバック駆動型スコア選択基準を提案し、その最適性に関する理論的解析も行います。数値シミュレーションおよび実データへの適用により、提案手法の有効性が実証されています。

AgentPEN: A Prediction-Explanation Network for Sequential Stock Movement via LLMs and Recurrent Generation

AgentPEN: A Prediction-Explanation Network for Sequential Stock Movement via LLMs and Recurrent Generation / AgentPEN：LLMと再帰的生成を用いた時系列株価変動の予測・説明ネットワーク

The importance of explainability in stock prediction is increasingly recognized, especially for audit and regulatory purposes. Meanwhile, financial news corpora are often key drivers behind stock price fluctuations. However, the raw news data obtained is usually highly noisy, has a highly variable scope of influence in time and space, and is not precisely synchronized with stock price data. In this paper, we propose a prediction-explanation network called AgentPEN, which can provide clear explanations for complex temporal price patterns. Specifically, AgentPEN jointly aligns text and price streams by an LLM-based Representation Fusion Agent and then adopts a Deep Recurrent Generation module to explore the distribution of stock movements. The LLM-based Representation Fusion Agent is designed in a Selection-Memory-Fusion manner: the Text Selection Module picks up useful information from massive text data; the Text Memory Module evaluates and writes the text memory from a two-view perspective, including Temporal Memory and Spatial Memory; the Information Fusion Module models the interaction between text and price data. Next, the fused representation is sent to the Deep Recurrent Generation module to convert insights into stock movement predictions. Experiments on multiple real-world datasets have shown that AgentPEN surpasses the state-of-the-art baselines both in prediction accuracy and explainability.



特に監査や規制対応の観点から、株価予測における説明可能性の重要性がますます認識されています。一方、金融ニュースのコーパスは、株価変動の主要な要因となることが多々あります。しかし、取得される生のニュースデータには通常、多大なノイズが含まれ、その影響範囲（時間的・空間的）も大きく変動し、株価データとも正確には同期していません。本論文では、複雑な時系列の価格パターンに対して明確な説明を提供できる「AgentPEN」という予測・説明ネットワークを提案します。具体的には、AgentPENはLLM（大規模言語モデル）ベースの「表現融合エージェント」を用いてテキストと価格のストリームを統合・整合させ、その後、「深層再帰生成モジュール」を採用して株価変動の分布を探索します。LLMベースの表現融合エージェントは、「選択・記憶・融合（Selection-Memory-Fusion）」の仕組みで設計されています。すなわち、テキスト選択モジュールが膨大なテキストデータから有用な情報を抽出し、テキスト記憶モジュールが「時間的記憶」と「空間的記憶」という2つの視点からテキスト情報を評価・記録し、情報融合モジュールがテキストデータと価格データの相互作用をモデル化します。次に、統合された表現が深層再帰生成モジュールに送られ、そこから得られた知見が株価変動の予測へと変換されます。複数の実データセットを用いた実験により、AgentPENは予測精度と説明可能性の両面において、最先端の既存手法（ベースライン）を上回ることが示されました。

Safe Learning Under Irreversible Dynamics via Asking for Help

Safe Learning Under Irreversible Dynamics via Asking for Help / 「助けを求めること」による不可逆的ダイナミクス下での安全な学習

Most learning algorithms with formal regret guarantees essentially rely on trying all possible behaviors, which is problematic when some errors cannot be recovered from. Instead, we allow the learning agent to ask for help from a mentor and to transfer knowledge between similar states. We show that this combination enables the agent to learn both safely and effectively. Under standard online learning assumptions, we provide an algorithm whose regret and number of mentor queries are both sublinear in the time horizon for Markov decision processes with irreversible dynamics and infinite state spaces. Our proof involves a sequence of three reductions, making our result more general than a single algorithm. Conceptually, our result may be the first formal proof that it is possible for an agent to obtain high reward while becoming self-sufficient in an unknown, unbounded, and high-stakes environment without resets.



形式的なリグレット（後悔）保証を伴う学習アルゴリズムの多くは、本質的に「考えられるあらゆる行動を試すこと」に依存していますが、これは回復不可能なエラーが生じうる状況では問題となります。これに対し、本研究では、学習エージェントがメンター（指導者）に助けを求めたり、類似した状態間で知識を転移させたりすることを可能にしました。この組み合わせにより、エージェントは安全かつ効果的に学習できることを示します。不可逆的なダイナミクスと無限の状態空間を持つマルコフ決定過程を対象に、標準的なオンライン学習の仮定の下で、リグレットとメンターへの問い合わせ回数の双方が時間軸（試行回数）に対してサブ線形となるアルゴリズムを提示します。我々の証明は3段階の還元（リダクション）プロセスを経ており、単一のアルゴリズムに関する結果にとどまらない、より汎用的な成果となっています。概念的には、リセット（初期状態への復帰）が不可能な、未知かつ無制限で、失敗の代償が大きい環境において、エージェントが高い報酬を獲得しつつ自律性を確立することが可能であることを示した、初の形式的な証明である可能性があります。

Pointwise Confidence Estimation in the Non-linear $\ell^2$-regularized Least Squares

Pointwise Confidence Estimation in the Non-linear $\ell^2$-regularized Least Squares / 非線形$\ell^2$正則化最小二乗法における点ごとの信頼区間推定

We consider a high-probability non-asymptotic confidence estimation in the $\ell^2$-regularized non-linear least-squares setting with fixed design. In particular, we study confidence estimation for local minimizers of the regularized training loss. We show a pointwise confidence bound, meaning that it holds for the prediction on any given fixed test input $x$. Importantly, the proposed confidence bound scales with similarity of the test input to the training data in the implicit feature space of the predictor (for instance, becoming very large when the test input lies far outside of the training data). This desirable last feature is captured by the weighted norm involving the inverse-Hessian matrix of the objective function, which is a generalized version of its counterpart in the linear setting, $x^{\top} \text{Cov}^{-1} x$. Our generalized result can be regarded as a non-asymptotic counterpart of the classical confidence interval based on asymptotic normality of the MLE estimator. We propose an efficient method for computing the weighted norm, which only mildly exceeds the cost of a gradient computation of the loss function. Finally, we complement our analysis with empirical evidence showing that the proposed confidence bound provides better coverage/width trade-off compared to a confidence estimation by bootstrapping, which is a gold-standard method in many applications involving non-linear predictors such as neural networks.



本研究では、固定計画（fixed design）の下での$\ell^2$正則化非線形最小二乗法における、高確率な非漸近的信頼性推定について検討します。特に、正則化された学習損失の局所最適解に対する信頼性推定を扱います。我々は点ごとの信頼区間（pointwise confidence bound）を提示します。これは、任意の固定されたテスト入力$x$に対する予測において成立するものです。重要な点として、提案する信頼区間は、予測器の暗黙的な特徴空間においてテスト入力が学習データとどれだけ類似しているかに応じて変化します（例えば、テスト入力が学習データの分布から大きく外れている場合、その値は非常に大きくなります）。この望ましい特性は、目的関数のヘッセ行列の逆行列を用いた重み付きノルムによって表現されます。これは、線形モデルにおける$x^{\top} \text{Cov}^{-1} x$という量を一般化したものです。我々の一般化された結果は、最尤推定量の漸近正規性に基づく従来の信頼区間の、非漸近的な対応物とみなすことができます。また、この重み付きノルムを計算するための効率的な手法を提案します。その計算コストは、損失関数の勾配計算のコストをわずかに上回る程度に抑えられています。最後に、数値実験を通じて解析結果を補完します。その結果、提案手法による信頼区間は、ニューラルネットワークなどの非線形予測器を用いる多くの応用分野で標準的な手法とされているブートストラップ法による信頼性推定と比較して、被覆率（coverage）と区間幅（width）のトレードオフにおいてより優れた特性を示すことが確認されました。

torchsom: The Reference PyTorch Library for Self-Organizing Maps

torchsom: The Reference PyTorch Library for Self-Organizing Maps / torchsom：自己組織化写像（SOM）のための標準的PyTorchライブラリ

This paper introduces torchsom, an open-source Python library that provides a reference implementation of the Self-Organizing Map (SOM) in PyTorch. This package offers three main features: (i) dimensionality reduction, (ii) clustering, and (iii) friendly data visualization. It relies on a PyTorch backend, enabling (i) fast and efficient training of SOMs through GPU acceleration, and (ii) easy and scalable integration with the PyTorch ecosystem. torchsom also follows the scikit-learn API for ease of use and extensibility. The library is released under the Apache 2.0 license with 90% test coverage, and its source code and documentation are available at https://github.com/michelin/TorchSOM.



本論文では、PyTorchを用いた自己組織化マップ（SOM）のリファレンス実装を提供するオープンソースのPythonライブラリ「torchsom」を紹介します。このパッケージは、(i)次元削減、(ii)クラスタリング、(iii)わかりやすいデータ可視化、という3つの主要機能を提供します。PyTorchをバックエンドに採用することで、(i) GPU加速によるSOMの高速かつ効率的な学習と、(ii) PyTorchエコシステムとの容易かつスケーラブルな統合を実現しています。また、torchsomは使いやすさと拡張性を考慮し、scikit-learnのAPIに準拠した設計となっています。本ライブラリはApache 2.0ライセンスの下で公開されており、テストカバレッジは90%に達しています。ソースコードおよびドキュメントはhttps://github.com/michelin/TorchSOMで公開されています。

Gradient Estimation for Mixture Variational Inference

Gradient Estimation for Mixture Variational Inference / 混合変分推論における勾配推定

Mixture distributions are expressive variational families for black-box VI, but their discrete component choices complicate gradient estimation. We systematize reparameterization-based estimators for mixtures in a common notation, giving self-contained derivations and extending several to new settings. In particular, we provide an elementary derivation of a single-sample post-stratified estimator—previously derived via transport equations—and prove a variance reduction relative to simple random sampling. We also broaden the applicability of implicit reparameterization and reduce its computational complexity. Across different benchmarks, we find that stratified estimators are consistently robust when feasible; among single-sample methods, the post-stratified estimator frequently perform best, while implicit reparameterization is the most computationally demanding. Our analysis clarifies when each method should be used and provides efficient algorithms that make mixture-based variational inference practical.



混合分布はブラックボックス変分推論（VI）において表現力の高い変分族ですが、その離散的な成分選択は勾配推定を複雑にします。本研究では、混合分布に対する再パラメータ化に基づく推定量を共通の記法で体系化し、自己完結的な導出を示すとともに、いくつかの手法を新たな設定へと拡張します。特に、従来は輸送方程式を用いて導出されていた「単一サンプル事後層別推定量（single-sample post-stratified estimator）」について、初等的な導出を行い、単純ランダムサンプリングと比較して分散が低減されることを証明します。また、暗黙的再パラメータ化（implicit reparameterization）の適用範囲を拡大し、その計算量を削減します。様々なベンチマークにおいて、層別推定量は適用可能な場合には一貫して堅牢（ロバスト）であることが確認されました。単一サンプル手法の中では、事後層別推定量が最も優れた性能を示すことが多く、一方で暗黙的再パラメータ化は計算負荷が最も高い手法でした。本解析により、各手法をいつ使用すべきかが明確になり、混合分布に基づく変分推論を実用的なものにする効率的なアルゴリズムが提供されます。

Adaptive Algorithms for Infinitely Many-Armed Bandits: A Unified Framework

Adaptive Algorithms for Infinitely Many-Armed Bandits: A Unified Framework / 無限多腕バンディット問題のための適応的アルゴリズム：統一的枠組み

We consider a bandit problem where the budget is smaller than the number of arms, which may be infinite. In this regime, the usual objective in the literature is to minimize simple regret. To analyze broad classes of distributions with potentially unbounded support, where simple regret may not be well-defined, we take a slightly different approach and seek to maximize the expected simple reward of the recommended arm, providing anytime guarantees. To that end, we introduce a distribution-free algorithm, OSE, that adapts to the distribution of arm means and achieves near-optimal rates for several distribution classes. We characterize the sample complexity through the rank-corrected inverse squared gap function. In particular, we recover known upper bounds and transition regimes for $\alpha$ less or greater than $1/2$ when the quantile function is $\lambda_\eta = 1-\eta^{\alpha}$. We additionally identify new transition regimes depending on the noise level relative to $\alpha$, which we conjecture to be nearly optimal. Additionally, we introduce an enhanced practical version, PROSE, that achieves state-of-the-art empirical performance for the main distribution classes considered in the literature.



本研究では、予算がアーム数（無限の場合もあり得る）よりも少ないバンディット問題を扱います。この設定において、既存文献での一般的な目的は単純リグレット（simple regret）の最小化です。単純リグレットが適切に定義できない可能性のある、非有界な台（サポート）を持つ広範な分布クラスを解析するために、我々は少し異なるアプローチをとり、推奨アームの期待単純報酬を最大化することを目指し、かつ「エニタイム保証（anytime guarantees）」を提供します。そのために、アームの平均値の分布に適応し、いくつかの分布クラスにおいて準最適（near-optimal）なレートを達成する、分布に依存しないアルゴリズム「OSE」を導入します。我々は、ランク補正された逆二乗ギャップ関数を用いてサンプル複雑性を特徴付けます。特に、分位点関数が$\lambda_\eta = 1-\eta^{\alpha}$である場合、$\alpha$が$1/2$未満または$1/2$を超える際の既知の上界および遷移領域を再現します。さらに、$\alpha$に対するノイズレベルに依存する新たな遷移領域を特定し、それが準最適であると推測しています。加えて、既存文献で検討されている主要な分布クラスにおいて最先端の経験的性能を達成する、実用性を高めたバージョン「PROSE」も導入します。

Efficient Inference under Label Shift in Unsupervised Domain Adaptation

Efficient Inference under Label Shift in Unsupervised Domain Adaptation / 教師なしドメイン適応におけるラベルシフト下での効率的な推論

In many real-world applications, researchers aim to deploy models trained in a source domain to a target domain, where obtaining labeled data is often expensive, time-consuming, or even infeasible. While most existing literature assumes that the source and target data follow the same joint distribution, distribution shifts are common in practice. This paper considers a particular type of distribution shift, label shift, and develops an efficient inference procedure for general parameters characterizing the unlabeled target population. A central idea is to model the outcome density ratio between the labeled source data and unlabeled target data. To this end, we propose a progressive estimation strategy that unfolds in three stages: an initial heuristic guess, a consistent estimation, and ultimately, an efficient estimation. This self-evolving process is novel in the statistical literature and of independent interest. We also highlight the connection between our approach and prediction-powered inference (PPI), which uses machine learning models to improve statistical inference in related settings. We rigorously establish the asymptotic properties of the proposed estimators and demonstrate their superior performance compared to existing methods. Through simulation studies and multiple real-world applications, we illustrate both the theoretical contributions and practical benefits of our approach.



多くの実社会の応用において、研究者はソースドメインで学習させたモデルをターゲットドメインに適用することを目指しますが、ターゲットドメインではラベル付きデータの入手が困難（高コスト、時間のかかる作業、あるいは不可能）であることが少なくありません。既存の文献の多くは、ソースデータとターゲットデータが同一の同時分布に従うと仮定していますが、実際には分布のずれ（distribution shift）が頻繁に生じます。本論文では、分布のずれの一種である「ラベルシフト（label shift）」に注目し、ラベルなしターゲット母集団を特徴付ける一般的なパラメータについて、効率的な推論手法を開発します。その核心となるアイデアは、ラベル付きソースデータとラベルなしターゲットデータの間におけるアウトカム（結果変数）の密度比をモデル化することです。この目的のため、我々は「初期のヒューリスティックな推定」、「一致性のある推定」、そして最終的な「効率的な推定」という3段階で展開する、段階的な推定戦略を提案します。この自己発展的なプロセスは統計学の文献において新規性があり、それ自体が独立した関心の対象となります。また、関連する設定下で機械学習モデルを用いて統計的推論を改善する「予測駆動型推論（PPI）」と、本手法との関連性についても論じます。我々は、提案する推論量の漸近的性質を厳密に確立し、既存手法と比較して優れた性能を示すことを実証します。シミュレーション研究や複数の実社会への応用を通じて、本手法の理論的貢献と実用上の利点の双方を明らかにします。

From Zipf’s Law to Neural Scaling through Heaps’ Law and Hilberg’s Hypothesis

From Zipf’s Law to Neural Scaling through Heaps’ Law and Hilberg’s Hypothesis / Zipfの法則からNeural Scalingへ：Heapsの法則とHilbergの仮説を介して

We inspect the deductive connection between the neural scaling law and Zipf’s law–two statements discussed in machine learning and quantitative linguistics. The neural scaling law describes how the cross entropy rate of a foundation model–such as a large language model–changes with respect to the amount of training tokens, parameters, and compute. By contrast, Zipf’s law posits that the distribution of tokens exhibits a power law tail. Whereas similar claims have been made in more specific settings, we show that the neural scaling law is a consequence of Zipf’s law under certain broad assumptions that we reveal systematically. The derivation steps are as follows: We derive Heaps’ law on the vocabulary growth from Zipf’s law, Hilberg’s hypothesis on the entropy scaling from Heaps’ law, and the neural scaling from Hilberg’s hypothesis. We illustrate these inference steps by a toy example of the Santa Fe process that satisfies all four statistical laws.



本論文では、機械学習と計量言語学の分野で議論されている「ニューラル・スケーリング則（neural scaling law）」と「ジップの法則（Zipfのlaw）」との間の論理的なつながりを検証します。ニューラル・スケーリング則は、大規模言語モデルなどの基盤モデルにおけるクロスエントロピー率が、学習トークン数、パラメータ数、計算量に応じてどのように変化するかを記述するものです。対照的に、ジップの法則は、トークンの分布がべき乗則に従う裾（テール）を持つことを主張します。特定の条件下で同様の主張がなされたことはありますが、本論文では、体系的に明らかにするいくつかの広範な仮定の下で、ニューラル・スケーリング則がジップの法則から導かれる結果であることを示します。導出のステップは以下の通りです。まずジップの法則から語彙の増大に関する「ヒープスの法則（Heaps’ law）」を導き、次にヒープスの法則からエントロピーのスケーリングに関する「ヒルバーグの仮説（Hilbergのhypothesis）」を導き、最後にヒルバーグの仮説からニューラル・スケーリング則を導きます。これら4つの統計的法則すべてを満たす「サンタフェ・プロセス（Santa Fe process）」のトイ・モデル（単純化された例）を用いて、これらの推論ステップを具体的に示します。

Symmetric Rank-k Methods

Symmetric Rank-k Methods / 対称ランクk法

This paper proposes a novel class of block quasi-Newton methods for convex optimization which we call symmetric rank-$k$ (SR-$k$) methods. Each iteration of SR-$k$ incorporates the curvature information with $k$ Hessian-vector products achieved from the greedy or random strategy. We prove that SR-$k$ methods have the local superlinear convergence rate of $\mathcal{O}\big((1-k/d)^{t(t-1)/2}\big)$ for minimizing smooth and strongly convex functions, where $d$ is the problem dimension and $t$ is the iteration counter. This is the first explicit superlinear convergence rate for block quasi-Newton methods, and it successfully explains why block quasi-Newton methods converge faster than ordinary quasi-Newton methods in practice. We also leverage the idea of SR-$k$ methods to study the block BFGS and block DFP methods, showing their superior convergence rates.



本論文では、凸最適化のための新しいクラスのブロック準ニュートン法として、「対称ランク-$k$（SR-$k$）法」を提案します。SR-$k$法の各反復ステップでは、貪欲法またはランダムな戦略を用いて得られる$k$個のヘッセ行列・ベクトル積を利用し、曲率情報を組み込みます。滑らかかつ強凸な関数の最小化において、SR-$k$法が$\mathcal{O}\big((1-k/d)^{t(t-1)/2}\big)$という局所超線形収束率を持つことを証明します（ここで、$d$は問題の次元、$t$は反復回数）。これはブロック準ニュートン法に対する初の明示的な超線形収束率の提示であり、なぜブロック準ニュートン法が実際には通常の準ニュートン法よりも高速に収束するのかを理論的に説明するものです。さらに、SR-$k$法の考え方を応用してブロックBFGS法やブロックDFP法についても検討し、それらが優れた収束率を持つことを示します。

Bayesian Transfer Learning for Artificially Intelligent Geospatial Systems: A Predictive Stacking Approach

Bayesian Transfer Learning for Artificially Intelligent Geospatial Systems: A Predictive Stacking Approach / AI搭載地理空間システムのためのベイズ転移学習：予測スタッキング・アプローチ

Building artificially intelligent geospatial systems requires rapid delivery of spatial data analysis on massive scales with minimal human intervention. Depending on their intended use, learning about underlying spatial processes can also involve model assessment and uncertainty quantification. We devise transfer learning frameworks for deployment in artificially intelligent systems, where a massive data set is split into smaller data sets that stream into the analytical framework to propagate learning and assimilate learning for the entire data set. Specifically, we develop Bayesian predictive stacking for multivariate spatial data and demonstrate rapid automated probabilistic learning from massive spatial data sets. We illustrate the effectiveness of our approach through extensive simulation experiments and through the analysis of a massive dataset on vegetation index that are indistinguishable from traditional (and more expensive) statistical approaches.



人工知能（AI）を搭載した地理空間システムの構築には、人間の介入を最小限に抑えつつ、大規模な空間データ解析を迅速に実行することが求められます。用途によっては、背後にある空間的プロセスを学習する過程で、モデルの評価や不確実性の定量化が必要となる場合もあります。本研究では、AIシステムへの実装を想定した転移学習の枠組みを考案しました。この枠組みでは、大規模なデータセットを小さなデータセットに分割し、それらを解析フレームワークに順次入力することで、学習の伝播とデータセット全体への学習内容の統合を行います。具体的には、多変量空間データに対する「ベイズ予測スタッキング」を開発し、大規模な空間データセットから迅速かつ自動的に確率的な学習を行う手法を実証します。広範なシミュレーション実験に加え、植生指数に関する大規模データセットの解析を通じて本手法の有効性を示し、その結果が従来（かつ高コスト）の統計的手法による解析結果と見分けがつかないものであることを明らかにします。

Optimising Utility Functions in Multi-Objective Markov Decision Processes

Optimising Utility Functions in Multi-Objective Markov Decision Processes / 多目的マルコフ決定過程における効用関数の最適化

Multi-Objective Markov Decision Processes (MOMDPs) are among the most prevalent formal frameworks for addressing sequential decision-making problems involving multiple, potentially conflicting objectives. In most MOMDP approaches, a utility function is employed to aggregate these objectives into a single scalar criterion that encodes user preferences. Despite its widespread adoption, the theoretical foundations of MOMDPs remain incomplete in two main respects: first, there is no general characterisation of the classes of utility functions that guarantee the existence of an optimal policy; second, we do not know which preference relations can be represented by utility functions. This work advances both lines of research through a theoretical analysis of MOMDPs. Specifically, we examine each problem under the two principal formulations of utility functions for MOMDPs: the Scalarised Expected Returns (SER) criterion and the Expected Scalarised Returns (ESR) criterion. Our formal findings allow us to derive formal conditions that describe the families of utility functions and preference relations for which MOMDP algorithms should focus. These analyses can guide the development of new MOMDP algorithms explicitly grounded in our formal results.



多目的マルコフ決定過程（MOMDP）は、互いに競合し得る複数の目的を伴う逐次的意思決定問題に対処するための、最も一般的な形式的枠組みの一つです。多くのMOMDP手法では、ユーザーの選好を反映した単一のスカラー指標へと各目的を統合するために、効用関数が用いられます。広く採用されているにもかかわらず、MOMDPの理論的基盤は主に2つの点で未完成のままです。第一に、最適方策の存在を保証する効用関数のクラスに関する一般的な特徴付けが存在しないこと、第二に、どのような選好関係が効用関数によって表現可能かが不明であることです。本研究は、MOMDPの理論的分析を通じて、これら双方の研究課題を前進させるものです。具体的には、MOMDPにおける効用関数の主要な2つの定式化、すなわち「スカラー化期待収益（SER）」基準と「期待スカラー化収益（ESR）」基準のそれぞれについて問題を検討します。得られた形式的な知見に基づき、MOMDPアルゴリズムが対象とすべき効用関数や選好関係のクラスを規定する条件を導出します。これらの分析は、本研究の形式的結果に明確な根拠を置いた新しいMOMDPアルゴリズムの開発を導くものとなります。

Robustness Against Weak or Invalid Instruments: Exploring Nonlinear Treatment Models with Machine Learning

Robustness Against Weak or Invalid Instruments: Exploring Nonlinear Treatment Models with Machine Learning / 弱操作変数や無効な操作変数に対する頑健性：機械学習を用いた非線形処置効果モデルの検討

We discuss causal inference for observational studies with possibly invalid instrumental variables. We propose a novel methodology called two-stage curvature identification (\texttt{TSCI}) by exploring the nonlinear treatment model with machine learning. The first-stage machine learning enables improving the instrumental variable’s strength and adjusting for different forms of violating the instrumental variable assumptions. The success of \texttt{TSCI} requires the instrumental variable’s effect on treatment to differ from its violation form. A novel bias correction step is implemented to remove bias resulting from the potentially high complexity of machine learning. Our proposed \texttt{TSCI} estimator is shown to be asymptotically unbiased and Gaussian even if the machine learning algorithm does not consistently estimate the treatment model. Furthermore, we design a data-dependent method to choose the best among several candidate violation forms. We apply \texttt{TSCI} to study the effect of education on earnings.



本研究では、妥当ではない可能性のある操作変数を用いた観測研究における因果推論について論じます。機械学習を用いて非線形な処置モデルを検討することにより、「2段階曲率識別（TSCI）」と呼ぶ新しい手法を提案します。第一段階の機械学習により、操作変数の強さを向上させるとともに、操作変数の仮定に対する様々な形の違反を調整することが可能になります。TSCIが有効に機能するためには、処置に対する操作変数の効果が、その仮定違反の形態とは異なるものである必要があります。また、機械学習の高い複雑性に起因するバイアスを除去するために、新たなバイアス補正ステップを導入しています。提案するTSCI推定量は、たとえ機械学習アルゴリズムが処置モデルを一致推定量として推定できなかったとしても、漸近的に不偏であり、かつガウス分布に従うことが示されています。さらに、複数の候補となる違反形態の中から最適なものを選択するための、データ依存型の手法も設計します。最後に、教育が所得に与える影響を分析する事例にTSCIを適用します。

A Theoretical Framework for Masked Pretraining (MPT)

A Theoretical Framework for Masked Pretraining (MPT) / マスク付き事前学習（MPT）の理論的枠組み

Recently, Masked Pretraining (MPT) based on reconstruction pretraining tasks has risen to a promising self-supervised learning paradigm across various domains and achieves remarkable performance in multiple downstream tasks. However, the theoretical understanding of the working mechanism behind MPT is still limited. In this paper, we introduce a new theoretical framework to analyze MPT and understand the crucial role of masking in extracting meaningful representations. We establish theoretical connections between MPT and another popular self-supervised paradigm: contrastive learning. We prove that the masking technique implicitly creates positive pairs that are semantically similar and the reconstruction loss pulls them together in the feature space. Besides, as a result of the implicit alignment, we point out the dimensional collapse issue of MPT and propose a Uniformity-enhanced MPT (U-MPT) loss that can effectively address this issue and bring significant improvements in downstream tasks including linear evaluation, cross-dataset fine-tuning and out-of-distribution generalization on real-world data sets. Furthermore, we establish downstream guarantees of U-MPT and theoretically analyze the influence of masking strategies. Based on the theoretical analysis, we propose a new masking strategy which enhances the downstream performance of MPT and explains current improvements of masking strategies with our theoretical perspective.



近年、再構成事前学習タスクに基づくマスク化事前学習（MPT）は、様々な領域において有望な自己教師あり学習のパラダイムとして台頭しており、複数の下流タスクで目覚ましい性能を達成しています。しかし、MPT（Masked Prediction Task）の動作メカニズムに関する理論的な理解は、依然として限定的です。本論文では、MPTを分析し、有意義な表現を抽出する上でマスキングが果たす重要な役割を理解するための、新たな理論的枠組みを導入します。我々は、MPTと、もう一つの一般的な自己教師あり学習パラダイムである対照学習（contrastive learning）との間の理論的な関連性を明らかにします。具体的には、マスキング手法が意味的に類似した「ポジティブペア（正のペア）」を暗黙的に生成し、再構成損失（reconstruction loss）がそれらを特徴空間上で互いに近づける働きをすることを証明します。さらに、この暗黙的なアラインメントの結果として生じるMPTの「次元崩壊（dimensional collapse）」の問題を指摘し、この問題に効果的に対処する「Uniformity-enhanced MPT (U-MPT)」損失を提案します。この手法は、線形評価、クロスデータセット・ファインチューニング、実データセットにおける分布外（OOD）汎化といった下流タスクにおいて、大幅な性能向上をもたらします。加えて、U-MPTの下流タスクにおける性能保証を確立し、マスキング戦略の影響を理論的に分析します。この理論的分析に基づき、MPTの下流タスクでの性能を向上させる新たなマスキング戦略を提案するとともに、既存のマスキング戦略における性能向上についても、我々の理論的視点から説明を行います。

From learnable objects to learnable random objects

From learnable objects to learnable random objects / 学習可能なオブジェクトから学習可能な確率的オブジェクトへ

We consider the relationship between learnability of a “base class” of functions on a set $X$, and learnability of a class of statistical functions derived from the base class. For example, we refine results showing that learnability of a family $h_p: p \in \Theta$ of functions implies learnability of the family of functions $h_\mu(p) = \mathbb{E}_\mu[h_p]$, where $\mathbb{E}_\mu$ is the expectation with respect to $\mu$, and $\mu$ ranges over probability distributions on $X$. We will look at both Probably Approximately Correct (PAC) learning, where example inputs and outputs are chosen at random, and online learning, where the examples are chosen adversarially. For agnostic learning, we establish improved bounds on the sample complexity of learning for statistical classes, stated in terms of combinatorial dimensions of the base class. We connect these problems to techniques introduced in model theory for “randomizing a structure”. We also provide counterexamples for realizable learning, in both the PAC and online settings.



本研究では、集合$X$上の関数の「基底クラス」の学習可能性と、その基底クラスから導出される統計的関数クラスの学習可能性との関係を考察します。例えば、関数族$\{h_p : p \in \Theta\}$が学習可能であれば、関数族$\{h_\mu(p) = \mathbb{E}_\mu[h_p]\}$（ここで$\mathbb{E}_\mu$は$\mu$に関する期待値であり、$\mu$は$X$上の確率分布の集合を動く）も学習可能であることを示す結果を精緻化します。入力と出力の例がランダムに選ばれる「確率的近似的正確（PAC）学習」と、例が敵対的に選ばれる「オンライン学習」の双方を検討します。アグノスティック学習に関しては、基底クラスの組合せ的次元を用いて記述される、統計的クラスの学習におけるサンプル複雑度の改良された限界（バウンド）を確立します。これらの問題を、モデル理論において「構造をランダム化する」ために導入された手法と結びつけます。また、実現可能（realizable）な学習設定におけるPAC学習とオンライン学習の双方について、反例も提示します。

Prob-GParareal: A Probabilistic Numerical Parallel-in-Time Solver for Differential Equations

Prob-GParareal: A Probabilistic Numerical Parallel-in-Time Solver for Differential Equations / Prob-GParareal：微分方程式のための確率的数値解法に基づく時間並列ソルバー

We introduce Prob-GParareal, a probabilistic extension of the GParareal algorithm designed to provide uncertainty quantification for the Parallel-in-Time (PinT) solution of (ordinary and partial) differential equations (ODEs, PDEs). The method employs Gaussian processes (GPs) to model the Parareal correction function, in line with GParareal, further enabling the propagation of numerical uncertainty across time and yielding probabilistic forecasts of the system’s evolution. Furthermore, Prob-GParareal accommodates probabilistic initial conditions and maintains compatibility with classical numerical solvers, ensuring its straightforward integration into existing Parareal frameworks. Here, we first conduct a theoretical analysis of the computational complexity and derive error bounds of Prob-GParareal. Then, we numerically demonstrate the accuracy and robustness of the proposed algorithm on five benchmark ODE systems, including chaotic, stiff, and bifurcation problems. To showcase the flexibility and potential scalability of the proposed algorithm, we also consider Prob-nnGParareal, a variant obtained by replacing the GPs in Parareal with the nearest-neighbors GPs, illustrating its improved computational performance on an additional PDE example. This work bridges a critical gap in the development of probabilistic counterparts to established PinT methods.



本研究では、常微分方程式（ODE）および偏微分方程式（PDE）の「時間並列（PinT）」解法における不確実性の定量化を目的として、GPararealアルゴリズムを確率的に拡張した「Prob-GParareal」を提案します。この手法は、GPararealと同様にガウス過程（GP）を用いてParareal補正関数をモデル化し、さらに時間軸に沿った数値的不確実性の伝播を可能にすることで、システムの挙動に関する確率的予測を実現します。加えて、Prob-GPararealは確率的な初期条件にも対応し、従来の数値解法との互換性を維持しているため、既存のPararealフレームワークへの容易な統合が可能です。本稿では、まずProb-GPararealの計算量に関する理論的解析を行い、誤差限界を導出します。次いで、カオス、スティフ（硬い）、分岐問題を含む5つのベンチマークODEシステムを用い、提案アルゴリズムの精度とロバスト性を数値的に実証します。提案アルゴリズムの柔軟性と潜在的なスケーラビリティを示すため、我々はParareal法におけるガウス過程（GP）を近傍ガウス過程（nearest-neighbors GPs）に置き換えた派生手法である「Prob-nnGParareal」も検討し、別の偏微分方程式（PDE）の例を用いてその計算性能の向上を実証します。本研究は、確立されたPinT（時間並列）手法に対する確率的アプローチの開発において、重要なギャップを埋めるものです。

Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods

Unveiling the Statistical Foundations of Chain-of-Thought Prompting Methods / Chain-of-Thought（思考の連鎖）プロンプト手法の統計的基盤の解明

Chain-of-Thought (CoT) prompting and its variants have gained significant attention as effective methods for solving multi-step reasoning tasks with pretrained large language models (LLMs). However, their theoretical underpinnings remain insufficiently explored. We analyze CoT prompting from a statistical perspective, offering insights into why “pretrained LLMs + CoT prompting” performs well. Additionally, we examine the role of the transformer architecture and the inclusion of intermediate reasoning steps in enhancing performance. We introduce a multi-step latent variable model to capture the reasoning process. In this model, we show that the estimator induced by CoT prompting approximates a Bayesian estimator that solves the reasoning task by inferring the posterior distribution from examples in the prompt. We prove that the statistical error of the CoT estimator consists of (i) a prompting error, which is incurred in inferring the desired task from the prompt, and (ii) a pretraining error, which is the statistical error of the pretrained LLM. We further prove that the prompting error decreases exponentially as the number of examples in the prompt increases. For the pretrained LLM, we construct a transformer model class that explicitly approximates the target distribution and establish the generalization error under the Pac-Bayes framework.



Chain-of-Thought（CoT）プロンプティングとその派生手法は、事前学習済み大規模言語モデル（LLM）を用いて多段階の推論タスクを解決する有効な手法として大きな注目を集めています。しかし、その理論的基盤については、まだ十分に解明されていません。我々は統計的な観点からCoTプロンプティングを分析し、「事前学習済みLLM + CoTプロンプティング」がなぜ高い性能を発揮するのかについて知見を提示します。さらに、性能向上におけるTransformerアーキテクチャの役割や、中間的な推論ステップを組み込むことの意義についても検討します。推論プロセスを捉えるために、多段階の潜在変数モデルを導入します。このモデルにおいて、CoTプロンプティングによって導かれる推定器は、プロンプト内の例から事後分布を推定することでタスクを解決するベイズ推定器を近似していることを示します。また、CoT推定器の統計的誤差が、(i)プロンプトから所望のタスクを推論する際に生じる「プロンプティング誤差」と、(ii)事前学習済みLLM自体の統計的誤差である「事前学習誤差」の和で構成されることを証明します。さらに、プロンプト内の例の数が増えるにつれて、プロンプティング誤差が指数関数的に減少することも証明します。事前学習済みLLMに関しては、ターゲット分布を明示的に近似するTransformerモデルクラスを構築し、PAC-ベイズの枠組みの下で汎化誤差を確立します。

OptunaHub: A Platform for Black-Box Optimization

OptunaHub: A Platform for Black-Box Optimization / OptunaHub：ブラックボックス最適化のためのプラットフォーム

Black-box optimization (BBO) underpins advances in domains such as AutoML and Materials Informatics, yet implementations of algorithms and benchmarks remain fragmented across research communities. We introduce OptunaHub (https://hub.optuna.org/), a community-oriented, decentralized platform for distributing BBO components under a unified Optuna-compatible interface. OptunaHub enables independent publication, discovery, and reuse of optimization algorithms and benchmark problems through a lightweight Python module, a contributor-driven registry, and a searchable web interface. The source code is publicly available in the optunahub, optunahub-registry, and optunahub-web repositories under the Optuna organization on GitHub (https://github.com/optuna/).



ブラックボックス最適化（BBO）は、AutoMLやマテリアルズ・インフォマティクスといった分野の進歩を支えていますが、アルゴリズムやベンチマークの実装は依然として研究コミュニティ間で断片化しています。そこで我々は、Optunaと互換性のある統一インターフェースの下でBBOコンポーネントを流通させるための、コミュニティ主導型かつ分散型のプラットフォーム「OptunaHub」（https://hub.optuna.org/）を導入します。OptunaHubは、軽量なPythonモジュール、コントリビューター主導のレジストリ、および検索可能なWebインターフェースを通じて、最適化アルゴリズムやベンチマーク問題の独立した公開、発見、再利用を可能にします。ソースコードは、GitHub上のOptuna組織（https://github.com/optuna/）にある`optunahub`、`optunahub-registry`、`optunahub-web`の各リポジトリで公開されています。

MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent Diffusion Models

MarkDiffusion: An Open-Source Toolkit for Generative Watermarking of Latent Diffusion Models / MarkDiffusion：潜在拡散モデルにおける生成型電子透かしのためのオープンソース・ツールキット

We introduce MarkDiffusion, an open-source Python toolkit for generative watermarking of latent diffusion models. It comprises three key components: a unified implementation framework for streamlined watermarking algorithm integration and user-friendly interfaces; a mechanism visualization suite that intuitively presents embedded and extracted watermark patterns to aid public understanding; and a comprehensive evaluation module offering standard implementations of 24 tools for assessing detectability, robustness, and output quality, plus 8 automated evaluation pipelines. Counts reflect the initial release; see the repository for the latest version. Through MarkDiffusion, we seek to assist researchers, enhance public awareness of and engagement with generative watermarking, help build consensus, and advance research and applications. Code is available at https://github.com/THU-BPM/MarkDiffusion.



我々は、潜在拡散モデル（Latent Diffusion Models）に対する生成透かし（generative watermarking）のためのオープンソースPythonツールキット「MarkDiffusion」を紹介します。本ツールキットは、透かしアルゴリズムの統合を効率化し、ユーザーフレンドリーなインターフェースを提供する「統一実装フレームワーク」、埋め込まれた透かしパターンや抽出されたパターンを直感的に提示し一般の理解を助ける「メカニズム可視化スイート」、そして検出可能性・堅牢性・出力品質を評価する24種類のツールの標準実装と8種類の自動評価パイプラインを備えた「包括的評価モジュール」という3つの主要コンポーネントで構成されています（数値は初期リリース時点のものです。最新版についてはリポジトリを参照してください）。MarkDiffusionを通じて、我々は研究者の支援、生成透かしに対する一般の認知と関与の向上、合意形成の促進、そして研究および応用の発展を目指します。コードはhttps://github.com/THU-BPM/MarkDiffusionで公開されています。

A Library for Learning Neural Operators

A Library for Learning Neural Operators / ニューラルオペレータ学習用ライブラリ

We present NeuralOperator, an open-source Python library for operator learning. Neural operators generalize neural networks to maps between function spaces instead of finite-dimensional Euclidean spaces. They can be trained and inferenced on input and output functions given at various discretizations, satisfying a discretization convergence properties. Part of the official PyTorch Ecosystem, NeuralOperator provides all the tools for training and deploying neural operator models, as well as developing new ones, in a high-quality, tested, open-source package. It combines cutting-edge models and customizability with a gentle learning curve and simple user interface for newcomers and researchers.



我々は、オペレーター学習（operator learning）のためのオープンソースPythonライブラリ「NeuralOperator」を提示します。ニューラルオペレーターは、ニューラルネットワークを有限次元ユークリッド空間間の写像から関数空間間の写像へと一般化したものです。これらは、様々な離散化状態で与えられた入力関数および出力関数を用いて学習や推論を行うことができ、離散化収束性を満たします。公式PyTorchエコシステムの一部であるNeuralOperatorは、ニューラルオペレーターモデルの学習、デプロイ、および新規開発に必要なすべてのツールを、高品質かつテスト済みのオープンソースパッケージとして提供します。最先端のモデルや高いカスタマイズ性を備えつつ、初心者や研究者が容易に扱える学習曲線の緩やかさとシンプルなユーザーインターフェースを両立させています。

参考文献

• Journal of Machine Learning Research Papers Volume 27

関連情報

• Journal of Machine Learning Research Papers: 論文一覧