深度神经网络技术性适用于病理图像剖析，其在病症的初期检验具备重要的使用价值，如用在分析乳癌的前哨淋巴结活检，对人体表皮细胞生长因子蛋白激酶2（human epidermal growth factor receptor 2，HER2）染色进行分级。
从显微镜图像到数字化全玻片（WSI）的转变使人们能够使用计算机算法对病理图像进行分析，这种转变促进了人工智能AI辅助诊疗系统的发展。组织玻片扫描数字化是病理人工智能技术性发展趋势的前提条件。数据病理切成片是将一整张载玻片开展全信息、多方位的迅速扫描，使载玻片夹层中的生物物理信息变为数字化的病理切成片。传统式的手术治疗定期检查是根据显微镜观查机构玻片，虽然成本低、简约、便捷，但无法一次观查一整张玻片中的生物信息，只有观查部分视线。而玻片数字化技术性的发展使显微镜图像可以整合到可视化数字矩阵中，也可通过显示屏进行观察和分析。数字化全玻片（WSI）矩阵采用多层金字塔结构。金字塔的顶层表示最低分辨率，例如1x放大倍率，该分辨率随其深度而增加，底层包含最高放大倍率，可达100,000 × 100,000像素。20x、40x 或60x等高放大倍率图像包含更精细的信息，可用于观察组织结构、检测基因蛋白质和其他生物标志物。但是，随着放大倍率的增加，要处理的信息量也增加，则需更多的处理时间。感兴趣区域（ROI）的提取是医学影像分析中的常见步骤，是操作人员手动挑选预期用于分析的图像集。在现代病理学中，有大量的多维高分辨率全玻片图像（WSI）图块，承载着巨多的组织结构和功能信息。尽管当代计算机算力很好，但也难挑战如此大量的数据信息，并且准确性还至关重要。ROI自动提取可以显著减少数据处理量，加快计算速度，提高分析的准确性并减少对病理学家的依赖。高效的ROI提取可以降低神经网络训练的复杂性。分子级图像分析的ROI提取需要更精准，因为同一标本的不同部分呈现出的基因和蛋白质表达是不同的。无论使用哪种测试方法，人体表皮生长因子受体2（HER2)状态都会根据区域的不同而发生变化。本文探讨的是一种基于vision transformer(VTI模型）的ROI自动提取检测算法在人体表皮生长因子受体2（HER2)分级中的应用。首先将WSI划分为固定大小的非重叠图像区域（切块），在 10 ×放大倍率下，每个块为 224 × 224 像素。然后使用相应块的 1 ×版本评估每个块的组织面积和伪影。如果一个块超过75% 像素强度值都高于 200，代表这个块主要是脂肪或空无组织区域，这时会因有效组织结构极少而被判断为无效的块。如果块包含组织伪影，也会被视为无效的块。对有效的块进行图像质量评估，以确保仅使用高质量的模块进行ROI检测。然后通过本文所说的vision transfer算法（ViT模型)将这些10×放大倍率下高质量的块分类为代表性ROI和非代表性ROI。ViT模型下，将每个块作为向量送入Transformer编码矩阵，以确定每个块的相关性。Transformer这种方法已经为众多计算机视觉应用实现了最先进的精度。其神经网络也在大量的5倍交叉实验中进行了训练和验证。最后，通过图像配准（Image Registration)将分类结果及其坐标位置从H&E WSI复制到CISH/FISH WSI，通过检测这些目标ROI来实现HER2分级或图像分析。研究中使用Shimaris系列5来进行HER2分级，该系统以CISH WSI来确定癌患者的HER2等级。首先通过手动在标本上选择ROI，然后Shimaris将ROI坐标位置复制到CISH WSI，之后再训练机器学习从ROI中自动检测HER2分级的标志物。最后通过收集、分析数据，完成模型的训练、评估和选择：ViT模型下的自动ROI提取，在20x放大倍率下准确度为99%，在10个x 放大倍率下准确度为97%。经过调试，可达到99.3%的准确性，并将自动HER2分级时间缩短至15秒。
下图显示了结合ViT模型的ROI自动检测方法构架。此方法经过必要的调整后也可用于其他的基于 WSI 的图像分析的应用。往期推荐
微信扫描下方二维码，关注我们微信公众号，定期更新哦~
川公网安备 51010402000667号