在基于物理信息的深度神经网络中使用距离函数精确施加边界条件

date

Apr 18, 2025

slug

pinnbianjietiaojian

status

Published

tags

神经网络

summary

type

Post

在本文中，我们介绍了一种基于距离场的新方法，以在物理学深度神经网络中精确施加边界条件。在无网格和粒子方法中满足狄利克雷边界条件的挑战是众所周知的。这个问题也与用于求解偏微分方程的物理信息神经网络（PINN）的开发有关。我们在人工神经网络中引入了几何感知试验函数，以改进偏微分方程深度学习中的训练。为此，我们使用构造固体几何（R 函数）和广义重心坐标（平均值势场）的概念来构造，这是一个到中域边界的近似距离函数。为了精确施加齐次狄利克雷边界条件，将试验函数取φ（x）乘以 PINN 近似，并通过跨有限插值将其泛化用于先验满足复杂几何上的非齐次狄利克雷（本质）、诺依曼（自然）和 Robin 边界条件。在此过程中，我们消除了与搭配方法中边界条件的满足相关的建模误差，并确保在 Ritz 方法中逐点满足运动学可接受性。使用这个新的拟设，神经网络的训练得到了简化：对损失函数的唯一贡献来自需要满足控制方程的内部配置点的残差。数值解是使用强形式搭配和 Ritz 最小化计算的。为了传达主要思想并评估该方法的准确性，我们提出了凸和非凸多边形域以及具有弯曲边界的域上的线性和非线性边界值问题的数值解。在一维中对线弹性、平流-扩散和光束弯曲的问题进行基准测试; 在稳态热方程的二维中，考虑了拉普拉斯方程、双谐波方程（基尔霍夫板弯曲）和非线性 Eikonal 方程。使用 R 函数构建近似距离函数扩展到更高的维度，我们通过在四维超立方体上求解具有齐次狄利克雷边界条件的泊松问题来展示其用途。所提出的方法始终优于标准的基于 PINN 的搭配方法，这强调了在 PINN 中构造损失函数时准确（先验）满足边界条件的重要性。本研究为对精确几何进行无网格分析提供了一种途径，无需域离散化。

关键词：深度学习，无网格方法，距离函数， R函数，跨有限插值，精确几何

1. 简介

基于监督学习（深度神经网络）的机器学习算法在计算机视觉、图像处理和语音识别等领域相对成熟。一些关于物理信息神经网络（PINN）解决边界值问题的最早研究可以追溯到 Lagaris 等人 [13] 以及 McFall [4] 和 McFall 和 Mahan [5] 的贡献。这些研究为该方法的最新兴趣和进步提供了动力。在过去的 3-4 年里，基于 PINN 的无网格方法出现了许多新的发展，用于求解低阶和高阶偏微分方程（PDE）。该线程中的一些主要贡献基于：搭配 [6\u20128]、变分原理（深 Ritz）[9， 10] 和 Petrov-Galerkin 结构域分解 [11， 12]。Lu 等 [13] 概述了该解决方案的 PINN

这些发展之所以成为可能，是因为自动微分工具的进步，这些工具可以有效地计算非线性复合函数的导数，而随机梯度下降算法可以为非线性、非凸优化问题提供准确的解。此外，Tensorflow [14] 和 PyTorch [15] 等公共领域数据分析包的可用性也降低了该领域的新手进入门槛。在使用神经网络求解偏微分方程的范围内，需要强调的是，与众所周知的计算方法（有限元及其泛化、有限体积、边界元、无网格等）不同，函数近似基于基函数的线性组合，必须先验地选择和定义，深度神经网络中的函数近似是通过激活函数的非线性函数组合σ : → R，它通过求解过程产生最佳近似函数。σ的一个流行选择是：σ（x）：= ReLU（x） = max（0， x），这被称为整流线性单元（ReLU）激活函数。使用 PINN 的搭配方法基于最小化最小二乘残差（非线性和非凸均方误差损失函数），以满足 PDE 和搭配点的边界条件，其解产生定义人工神经网络中近似函数的参数。

在基于 PINN 的深度搭配 [6] 和深度 Ritz [9] 方法中，边界条件的不精确施加会对神经网络的训练以及方法的准确性产生不利影响 [16–18]。在复杂的几何图形上，这个缺点变得更加严重。这个问题从一开始就一直困扰着无网格伽辽金方法 [19， 20]，并且对于任意二维和三维几何结构仍然无法提供万无一失的解决方案。无网格基函数也是非多项式的，因此另一个障碍是合适的基于单元的数值积分方案，该方案对于非线性仿真是一致的（通过补丁测试）和稳定的（没有杂散模式）。由于求解近似函数是 PINN 中最小化过程的一部分，因此可以为整个域使用简单的（例如，蒙特卡洛）积分方案。因此，如果实现了一种在 PINN 中对复杂几何结构施加边界条件的可靠方法，则可以产生准确且稳健的无网格方法。在本文中，我们通过在 PINN 中提出一种精确施加边界条件的新方法来解决这个问题，着眼于在 Rd （d = 2， 3）中实现复杂几何形状的无网格仿真。我们的主要贡献如下：

我们在物理信息神经网络中引入了一种新的几何感知方法，该方法使用 R 函数和跨有限插值在复杂（仿射、弯曲和乘连接）几何上精确施加边界条件。这种几何感知方法基于对边界集的近似距离函数（ADF）的构造，最初由 Kantorovich 提出以满足狄利克雷边界条件 [21]，并使用 R 函数理论进行扩展，最初由 Rvachev [22]，然后由 Rvachev 及其同事 [23\u201225] 以及 Shapiro 及其同事 [26\u201231] 在无网格方法中精确施加狄利克雷、诺依曼和罗宾边界条件。Ho ̈llig 等人 [32] 提出了一种与 Kantorovich 方法相融合的无网格方法，他们使用乘以权重函数（近似距离函数）的网状样条来解决狄利克雷问题。我们还借鉴了以前的研究 [33]，其中 R 函数用于定义多边形域上的平滑近似距离场。

2. 源于平均值电位 [34–36] 的近似距离场在 PINN 中也用于求解偏微分方程。

3. 在完全满足物理信息神经网络中的边界条件上，网络的训练被简化，这有利于 PINN 近似的收敛和提高精度。

4. R 函数在 R4 中的新应用：四维超立方体上的泊松方程解。

5. 实现了在不离散域的情况下求解弯曲域上的 PDE（网格生成），这为对精确几何进行无网格仿真（等几何分析）提供了一条途径 [37]。

首先，我们介绍了之前在有限元和无网格分区方法方面的一些联系，以更好地理解和放置 PINN 近似及其在求解 PDE 中的用途。有限元对 r 自适应性的贡献在计算力学中有着悠久的历史。例如，在使用有限元的有限变形模拟中，在势能泛函最小化过程中，最佳节点位置和求解系数都同时被视为未知数[38]。由于由 ReLU 激活函数组成的 PINN 近似可以精确表示分段仿射函数（Delaunay 基函数）[39]，因此可以将 ReLU 网络解视为变分 r 自适应有限元解程序。自适应解决方案可以通过 Grinspun [40] 提出的具有优势的基细化策略来实现（例如，“悬挂节点”不是问题），而不是在 h 自适应有限元中细化单元，并且类似的近似细化视角可以与多层神经网络相关联 [41]。Opschoor等[42]研究了ReLU网络和hp有限元之间的联系。由 Kansa [43， 44] 发起，具有正定径向基函数（RBF）的无网格搭配方案，例如 Gaussian 和 Hardy's

逆多二次方已被用于求解偏微分方程 [45， 46]。Schaback 和 Wendland [47] 讨论了核方法（例如，径向基函数）与机器学习和无网格方法的联系。如何在高斯 RBF（控制高斯的支撑宽度）中设置“形状参数”的选择是一个悬而未决的问题，因为它取决于问题，如果要保持指数收敛而不加剧条件数，则必须为边界和内部点仔细选择。一种相关的方法是局部最大熵（max-ent）无网格方法 [48]，该方法产生紧凑支持的指数形式基函数，这些基函数构成单位划分 [49]，具有线性完备性，并提供从 Delaunay 基函数 [50] 到全局最大熵基函数 [51] 的平滑过渡。考虑一个节点集，其中节点（中心）位于 {习}in=1。当通过高斯权重函数 [52\u201254] 的镜头观察时，单个参数 {βi}in=1 控制每个高斯权重函数的支撑宽度。Rosolen 等 [55] 提出了一种变分自适应公式，以找到 {βi}in=1 的最佳值，使泊松方程和非线性弹性的势能泛函最小。由于 RBF 可以在具有单个隐藏层的神经网络中表示 [56， 57]，因此神经网络解决方案优化了中心 {习}in=1 以及支撑宽度 {βi}in=1 的位置 [56]。已经引入了用于 hpapproximation 的基于 RBF 的单位分区网络 [58]，并且已经使用稀疏高斯网络进行了数值实验来求解偏微分方程 [59]。最后，我们提到了 Greco 和 Arroyo [60] 最近的工作，他们提出了一种基于高阶最大近似的偏微分方程搭配方案，该方案在具有仿射和弯曲边界的域上提供了准确的仿真结果。在 Section 9.1.7 中，我们展示了一个使用高斯神经网络的一维示例。由于 PINN 相对于现有的无网格（基集）方法提供了极大的灵活性，因此使用搭配和 Ritz 方法以及人工神经网络解决复杂几何结构上的 PDE 具有重大前景。

在强配置 PINN 方法中，损失函数由来自域内部的残差（称为内部或 PDE 损失）和来自域边界的残差（称为边界（条件）损失）组成 [6]。均方误差损失函数有三个不同的贡献：（1）必须满足 PDE 的内部配置点的残余误差;（2）必须满足基本（狄利克雷）边界条件的边界搭配点处的残差;（3）必须满足 Robin 或自然（Neumann）边界条件的边界配置点处的残差。早期的方法 [1， 3–5] 已经认识到精确施加边界条件在人工神经网络中的重要性。Lagaris 等人 [1] 考虑了试验函数中的两项，第一项是精确施加边界条件的解析函数，第二项被选为 PINN 近似和在边界上消失的函数的乘积;对于不规则边界，Lagaris 等人 [3] 在第一项中使用 RBF 网络来满足边界上离散点集合的边界条件。McFall等[4,5]以及最近的Sheng和Yang [61]引入了一个与边界相关的长度因子（到边界的距离的度量）来施加边界条件，Berg和Nystro ̈m [7]使用低容量神经网络近似距离函数，以对复杂的几何形状施加边界条件。在最近的许多研究中[16\u201218,62]，已经研究了通过PINN中的损失函数施加基本边界条件的含义，数值实验证实了边界残差项的存在损害了随机梯度下降算法的收敛性和方法的准确性。

为了解决这个问题，PINN 文献中引入了补救措施，例如使用两个神经网络，一个用于偏微分方程，另一个用于满足基本边界条件 [3， 7， 61–63]，通过增广变分公式引入惩罚参数来弱施加基本边界条件 [9]，以及使用 Nitsche 的方法施加基本边界条件 [64]。其中一些方法反映了以前在无网格和粒子方法中采用的方法，以满足基本的边界条件[19,20,65]。在无网格伽辽金方法中，拉格朗日乘子的空间选择很微妙;penalty 方法会导致鞍点问题，并且必须满足 inf-sup 条件;尽管 Nitsche 的方法在变分上是一致的，但必须明智地选择其中的稳定参数。对于复杂几何结构上的低维问题，准确而稳健的无网格方法仍然难以捉摸。由于从通用近似定理 [66， 67] 中我们知道，具有一个隐藏层的神经网络可以任意精确地表示任何 L2 函数，因此可以选择一个先验满足边界条件的拟设，以便损失函数仅用需要满足偏微分方程的内部配置点的残差来表示。如果基本边界条件完全满足，那么这就排除了 Ritz 方法中的“变分犯罪”[68]。最后，也是最重要的一点，在深度搭配 [6] 中，必须单独最小化的多个项（内部损失和边界损失）被合并到一个目标（损失）函数中。当此损失函数最小化时，实现的解决方案取决于分配给每个目标函数的权重（相等的权重是无偏选择），这反映了每个残差误差贡献的重要性。Rohrhofer等[69]讨论了与多目标约束优化中出现的帕累托前沿相关的网络训练。在 NVIDIA SimNetTM 工具包 [70] 中，有符号距离函数权重用于动态分配 PDE 和边界损失项的空间变化权重函数。由于这些权重与问题有关，因此不应先验地固定它们，因为那样的话，训练损失的大小本身就是一个误导性的误差度量。为了确定该方法的准确性，必须评估 u 和 u' 中的误差。我们在第 9-11 节中提供了支持这一论点的数值结果，并指出了新方法的优点。

在本文中，我们通过为神经网络构建一个试验函数来解决 PINN 公式中竞争损失项的问题，该函数先验满足深度搭配中的所有边界条件，并且在深度 Ritz 方法中使用时满足运动学可接受性。这消除了损失函数中的边界项。我们的方法基于构造到域边界的距离函数（精确或近似），它可以处理复杂域上的基本（狄利克雷）和混合（狄利克雷和罗宾）边界条件。只要可用且适用，我们就会使用精确距离函数。然而，一般来说，我们使用两种不同的技术构建近似距离函数：R 函数理论 [23， 30]）和平均值势场理论 [34–36]。这些方法提供了近似距离函数，这些函数具有在具有单位（向内）法向导数的域边界上为零的理想属性。此外，它们在域内部是光滑的，这是精确距离函数并不总是具备的特性。符号仅依赖于其参数符号的函数对布尔逻辑进行编码，称为 R 函数。R 函数为线段、曲线和实线区域提供隐式函数表示，并由布尔运算（否定、合取、析取、等价）组成。均值电势场是产生 Lp 距离电场的奇异双层电势的特定形式 [36]。对于 R2 中的域，这个奇异势被定义为距其边界的距离的第 p 次方的倒数的积分。对于 p = 1 的多边形，可以使用 ADF 的闭式表达式 [34]，但对于 R2 中的闭合曲线，需要数值积分来计算 ADF。一旦形成了近似距离函数，就可以使用依赖于超有限插值来施加基本边界条件和 Robin 边界条件的方法 [23， 25]。具有近似值的 R 函数，如 B 样条曲线 [27， 31] 和 RBF [71] 已用于无网格伽辽金方法中，以解决边界值问题。

本文的其余部分组织如下。在第 2 节中，我们讨论了距离函数的性质，在第 3 节中，描述了 R 函数的基本要素和近似距离函数的构造。特别是，提出了使用 R 等价组合连接 R 函数，本文对此进行了介绍。平均值坐标（多边形）和超有限平均值插值（闭合曲线）的表达式中出现的归一化权重函数的倒数是一个近似距离字段。这些是 Lp 距离场的特定实例（p = 1），将在第 4 节中讨论。关于在 Rfunction 方法 [22， 23] 中使用归一化函数和解结构，我们在第 5 节中描述了使用 ADF 在 PINN 中构建一个完全满足二阶和四阶问题边界条件的拟设。第 6 节介绍了深度神经网络中试验函数的构造，以及前馈神经网络和反向传播（计算损失函数的梯度并使用随机梯度下降）算法的摘要。搭配和深度 Ritz 公式的损失函数在第 7 节中介绍。第 8 节讨论了数值实现，其中我们还提供了一些主要函数的代码片段。第 9 节和第 10 节介绍了一维和二维数值模拟，我们将这种新方法应用于具有仿射和弯曲边界的凸和非凸域上的一系列边界值问题（泊松、谐波坐标、板弯曲、Eikonal 方程）。此外，第 11 节还求解了四维超立方体上的泊松方程。这些数值结果清楚地证明了在 PINN 中精确施加边界条件的好处——它简化了网络的训练，并提高了方法的准确性和稳健性。最后，我们以第 12 节结束，总结了本文的主要进展并讨论了未来研究的一些主题。

距离函数及其属性有符号距离函数是曲线和曲面的隐式表示，还提供几何对象谓词的快速计算。设 S ⊂ Rd 表示边界为 ∂S 的域（开放、有界集）。精确距离函数 d（x）给出了 Rd ∈ 的任何点 x 到 ∂S 之间的最短距离。很明显，d（x）在 ∂S 上同样为零。计算精确的距离函数需要求解 Eikonal 方程（参见 Section 10.5），这在计算上是昂贵的。因此，需要构造一个具有封闭形式（非迭代算法）表达式的近似距离函数或 ADF（正式由 φ（x）表示）。此外，由于精确距离函数可能只是连续的，而不能连续微分，因此它可能不适合用于求解偏微分方程的试验函数。由于我们的目标是在搭配或 Ritz 方法中使用 ADF 来解决边界值问题，因此它们的微分属性很重要。如果对整个边界 ∂ S 施加了基本边界条件，

则 ADF 在 ∂S 上必须为零，在 S 上为正，并且其梯度不得在任何 x ∈ ∂S 中消失。此外，由于精确距离函数在域的内轴上具有导数不连续性，因此对于具有 PINN 的搭配方法，必须在试验函数中使用距离函数的平滑近似。对于二阶问题，在域内部具有梯度不连续性的 C0 距离函数不能用于搭配方法，因为距离函数的拉普拉斯算子在搭配点处将是无界的。当用于求解 PDE 时，这些考虑因素至关重要。例如，S 中的正性排除了域内奇点的存在，这通常很难构建，如 McFall [4] 所指出的那样。

为了清晰起见，我们使用 ν ：= ν（x）来表示边界 ∂S 上的单位向内法向量（出现在与 R 函数相关的理论中），并使用 n ：= n（x）作为 ∂S 上的单位向外法向量（在定义 Neumann 或 Robin 边界条件时使用）。值得注意的是，n = −ν。如果 R2 中的 ∂S 由分段线段和曲线组成，那么我们使用 φi ：= φi（x）来表示每条曲线或线段的 ADF。对于 ∂S 上的点 x ∈ Rd，距离函数的任何近似值都必须满足 φ = 0。此外，为了模拟精确的距离函数，关于边界上 ν 的法向导数应该是单位，∂d/∂ν = ∇d ·ν = 1，并且希望所有高阶正态导数都消失。第 m 阶近似距离函数要求二阶到第 m 阶法线导数在 ∂S 上的所有正则点（单位法线定义明确）上消失 [23]：

这样的函数被称为归一化为 m 阶。对于有限 m，归一化函数仅在边界附近匹配精确距离函数;对于远离边界的点，它会偏离确切的距离。除了在实体建模、网格生成、实时渲染和计算机视觉中使用距离函数的应用外，归一化一阶距离函数也是在水平集方法中初始化和分配远离界面的点处的延伸速度的合适选择[72]。正如Biswas和Shapiro [29]所指出的，使用归一化距离函数可以减轻线段或曲线连接处附近的凸起现象[73]，因为在表面的表示中不需要起伏（存在局部极值）。

3. R 函数和近似距离函数

当近似距离函数 φi（x）已知时，∂ 的分区时，可以使用φ（x）构造到任意复边界 ∂S 的复合近似距离函数 φi（x）。考虑一个实值函数 F（ω1， ω2， . . . ， ωq），其中 ωi（x）： Rd → R （i = 1， . . . ， q）也是实值函数。如果 F（·）的符号完全由其参数 ωi（x）的符号决定，那么 F（·）被称为 R 函数 [26， 30]。 R 函数由 T. L. Rvachev 于 1963 年提出 [26]。例如，F1（x， y） = 1 + x2 + y2 和 F2（x， y） = xy 是 R2 中的 R 函数，而 F3（x， y） = √x2 + y2 − 1 和 F4（x， y） = sin xy 不是。Rvachev 和 Sheiko [23] 以及 Shapiro [26] 提供了 Rfunctions 的重要性质。通过将集合论布尔运算与此类函数相结合，可以解决半解析几何（实体建模）的逆问题。

上述 R 函数的推广是 [30]：

其中（+）和（−）符号分别定义 R 析取和 R 合取。如果 ω1 和 ω2 表示三角形的边，则三角形不等式用（2）表示，其中 −1 < α < 1 是两条边之间夹角的余弦值。对于 α = 1，将恢复最大和最小 R 函数。如果 ω1 和 ω2 为正，则 ω1 ∨ ω2 和 ω1 ∧ ω2 也为正。（2）中定义的 R 函数在 ω1 = ω2 = 0 的点上不是解析函数。平滑度可以通过定义函数来获得（α = 0 被选中） [30]

3.1. 线段和曲线的归一化函数

Shapiro 和 Tsukanov [74] 使用 R 函数描述了线段和曲线的表示，并讨论了它们的微分特性。让我们考虑一条连接 x1 ：= （x1， y1）和 x2 ：= （x2， y2）的线段。该段的中心用 xc ：= （x1 + x2）/2 表示，段的长度为：L = ||x2 − x1||。现在，我们定义 [25]

这是从点 x 到穿过 x1 和 x2 的线的有符号距离函数。由于线段的表示可以看作是一条无限直线与半径为 L/2 的圆盘的交点，因此我们考虑以下归一化为一阶的修剪函数 [25]：

其中 t ≥ 0 定义一个 center 位于 xc 的磁盘。现在，有了 f （x）和 t（x），我们定义了一个归一化函数（最高一阶）φ（x），它在远离线段的所有点上都是 C2 [25， 29]：

图 2 提供了线段的 f 、 t 和 φ 的图形说明。对于四分之一圆弧，函数 f 、 t 和 φ 如图 3 所示。在图 4 中，给出了圆和椭圆的近似距离函数（归一化为 1 阶）。半径为 R 且中心位于 xc ：= （xc， yc）的圆的 ADF 由下式给出