从小肺结节到肺癌，从免疫组化到肺功能检测，AI(人工智能)都可以看到。医生是做什么的？ 　　

　　

　　作者鲸鱼 　　

　　

　　来源医学界呼吸频道 　　

　　

　　本文摘要 　　

　　

　　机器来看片：又来要砸医生的饭碗？ 　　

　　

　　还能找突变：你怎么变得这么聪明？ 　　

　　

　　失业的危机：人们不需要医生了吗？ 　　

　　

　　1 　　

　　

　　机器来看片：又来要砸医生的饭碗？ 　　

　　

　　组织学、病理学、影像学，这些看“电影”的医学学科，在很多医学生心中都是一门“玄学”。上课的时候，所谓的“明显特征”总是在老师嘴里，自己却连病灶都找不到。考试时，不比其他妇儿“四大金刚”能“多记点”；更不用说这些课程特有的电影阅读考试了。大多数人不是在“读”片，而是在“猜”片3354。也许他们能猜对？就跟抽卡一样！ 　　

　　

　　图1.1“电影”的“形而上学” 　　

　　

　　但是，这些医学生心中的“玄学”，对机器来说，一点也不神秘。这些图像数字化后，机器可以直接接受。3354在基于卷积神经网络(CNN)的深度学习之前，它在图像处理中就表现出了非凡的作用。从“发现”肾脏组织、肾小球、细胞核，到乳腺癌、骨肉瘤的后期诊断、结直肠癌的分析、胶质瘤的分级、前列腺癌与上皮组织的鉴别、间质性肺病的分类.各种应用都不一样。 　　

　　

　　图1.2发表在《自然医学》上的研究 　　

　　

　　最近，美国纽约大学在《自然医学》上发表了一项研究，使用数字化的病理切片作为“教材”，教会了机器如何找出肺癌组织，还能辨别其组织来源，甚至连基因突变都能看出来1！不是说病理学是“金标准”，培养一个病理学家需要十年吗？这种看电影的“玄学”怎么这么快就被机器学会了？ 　　

　　

　　图1.3学五步，别把它当成狗 　　

　　

　　让机器学习“看电影”的技巧，类似于教医学生看切片。只是人类在显微镜下观察切片后会头晕，但计算机学起来真的很快！ 　　

　　

　　研究人员选择谷歌的开源算法Inception V3作为计算机的大脑，然后开始训练。首先从基因组数据共享空间数据库中下载肺癌和正常肺组织的数字图像，然后将这些病理切片分为训练集(70%)、验证集(15%)和测试集(15%)，它们是机器的“原始教材”。在训练过程中，数字化的病理切片被切割成512512像素的图像，不到50%的组织图像被去除。接下来，机器就开始用这些挑选出来的约80万张图片的“参考资料”来“刷题”了！ 　　

　　

　　图1.4切片在人和机器眼里是很不一样的！ 　　

　　

　　那么，机器就变成了能够分辨肺鳞状细胞癌（LUSC）、肺腺癌（LUAD）和正常肺组织的“学霸”了!你太棒了，你是来砸病理学家的饭碗的吗？ 　　

　　

　　2 　　

　　

　　还能找突变：你怎么变得这么聪明？ 　　

　　

　　基于测试集的结果表明，在区分肺癌和正常肺组织时，这种新模型的受试者工作特征曲线(ROC)曲线下面积高达0.990，高于之前基于图像特征的0.852和基于血清DNA分析的0.943。但在区分肺腺癌和鳞状细胞癌时，AUC也能达到0.968，比以前的结果高出10%2。 　　

　　

　　图2.1在回答“是癌症吗？”几乎不会出错。 　　

　　

　　在与其他模型的比赛中获胜后，研究人员邀请了三名病理学家与他们的机器进行比赛。结果这三位病理学家的水平真的很高，勤勤恳恳看完片子得到的结果和机器得到的一样好。在机器分类错误的一小部分图像之中，有一半病理学家们也没看出来；而至少被一名病理学家看错的54张切片中，有45张被机器正确地分类，这提示这一 　　

算法有可能为病理学家提供有价值的参考意见。

　　

Fig 2.2 机器和病理学家的水平阅片不分伯仲

　　

不过，机器的优势在于快！肉眼阅片怎么也得花上三五分钟，怎么也比不上机器以秒计算的速度。加之病理报告的出具需要两名以上的医生阅片，从绝对的速度上来看，真的是医生是很难比得上机器。同时，除了最常用的HE染色切片之外，医生往往需要根据自己的判断选用不同的免疫组化标记物获取更多的信息或对自己的判断进行验证，这一过程花得时间就更长了。

　　

Fig 2.3 试着通过图像找出LUAD中的基因突变

　　

嫌染色染得慢？那不如让机器来试试！研究人员乘胜追击，又想继续通过病理切片的形态学特征来判断肺癌是否带有基因突变。这些基因层面上的突变或许真的能带来宏观形态的改变，但却很难通过肉眼来辨识。不过，机器在“阅片”时，除了能分辨肉眼能看到的形态、颜色等信息之外，还能进一步地分析其纹理等特征，除了能够“看”到每一个像素之外，还能够进一步地分析像素之间的关系，从而获得更多的信息。

　　

Fig 2.4 通过图像直接找突变，表现不俗

　　

说干就干！依葫芦画瓢，研究人员选取了肿瘤组织中基因突变率大于10%的切片来训练机器，来自320张切片的超过21万张图像被用作训练集和验证集，而来自另外62张切片的4.4万张图像则被用作测试集。果不其然，机器能够基于图像发现与基因突变相关的形态改变，而这些改变人用肉眼难以在HE染色的切片上分辨出来。结果显示，对于6种常见的突变基因STK11、EGFR、FAT1、SETBP1、KRAS和TP53，机器“阅片”的AUC在0.733-0.856之间。

　　

Fig 2.5 颜色越深，代表这一区域带有相应突变的可能越大

　　

虽然现在我们并不太清楚机器是如何从HE切片上“看”出基因突变的，但在未来使用一些可视化的工具，或许能够指出机器在识别突变时识别出的宏观形态学特征。不过，目前的研究至少表明形态-基因之间的确有联系，并且这种联系能够不一定要借助于免疫组化染色的方法来发现，不一定需要经过一天的等待之后才能知道结果……

　　

Fig 2.6 来自59名患者的62张切片2.4万张图像按照基因突变重新排列

　　

肺癌的基因突变对于其治疗和预后有特别的意义。目前已经有针对EGFR的靶向药物，STK11在15-30%的非小细胞肺癌种失活，未来也可能开发出针对这一突变的靶向药物<4>。STK11与KRAS突变可能与肿瘤的侵袭性有关<5>；TP53与肿瘤的预后也有密切的关系<6>。如果能够在瞬间就获得关于免疫组化、基因突变的检测结果，那么许多患者可能就能更早地开始靶向治疗或参与临床试验。

　　

Fig 2.7 使用外部样本进一步测试模型性能

　　

此外，这一神经网络模型也一定程度上成功接受了外部样本的挑战。研究人员使用了来自纽约大学的92张冰冻切片（a）、140张石蜡包埋（b）切片以及102张肺组织活检（c）切片来对这一模型进行测试。结果发现这一模型在5倍镜、20倍镜下对于LUAD及LUSC的均有相当的准确率。不过，模型也会将出血、血管、炎症、坏死等误认为LUAD，气管软骨有时会被当作LUSC，纤维化瘢痕有可能被当作正常肺组织或LUAD。

　　

Fig 2.8 正常肺组织、LUAD及LUSC

　　

本文的一位作者、纽约大学的病理学系的Aristotelis Tsirigos, PhD说：“这项研究真正的亮点在于并不是人工智能能够表现得和人类一样好，而是这一模型能够提供人类无法提供的结果。”<7>

　　

Fig 2.9 模型究竟是如何分辨的呢？

　　

那么，以后是不是都不需要病理医生了呢？这一研究的另一位作者、纽约大学放射学系、人口健康学系的Narges Razavian, PhD则认为：“很高兴能够通过我们的研究提高病理学家的准确度，同时我们也证明了人工智能可以发现肿瘤细胞及其周围组织中的特征，而这些特征人的肉眼未曾能注意。数据和运算能力之间的协作创造出了许多前所未有的机会来改善医学和科学。”<8>

　　

3

　　

失业的危机：人们不需要医生了吗？

　　

每每有人工智能相关的研究发布，总会有不少人感叹未来也许不再需要医生了。不过，主持这项研究的Dr. Tsirigos 预测病理学家并不会很快就被深度学习所取代。他问：“你是否希望人工智能为你做出最后的决定？我对此持保留意见。这一模型提供的是第二种意见，以避免医生犯错。”<9>

　　

Fig 3.1 本文的作者之一、长那么帅怪不得不怕失业的 Aristotelis Tsirigos, PhD

　　

同时，他指出参与研究的病理学家接受了这一模型，甚至想要和它一起工作。“这些病理学家找到我们，希望我们与他们一起工作，因为这一模型非常有趣，并且对他们有帮助——临床医生并不认为这一工具是一种威胁，反而认为它是一种助力。”<9>

　　

Fig 3.2 本期Nature Medicine上两篇关于人工智能的研究

　　

实际上，人工智能除不仅仅能被用于肺癌的诊断。在刚刚结束的欧洲呼吸学会国际会议上，还发布了一项人工智能帮助呼吸科医生判读肺功能试验的研究<10>。此外，在本期的Nature Medicine上，还发布了两篇人工智能用于视网膜疾病和急性神经系统事件诊断和转诊的文章<11,12>——人工智能已经像潮水一般地涌入了医疗领域之中。

　　

而在各大医学期刊上，人工智能也是一个热点话题，有一系列的观点及编辑文章讨论了人类医生与人工智能的关系、人工智能在医疗中的优势与不足……

　　

Fig 3.3 Lancet 编辑评论

　　

来自Lancet的编辑评论指出：2017年是人工智能在医疗领域的做出改变的一年，就像人工智能在其他行业中不断涌现出的成功例子，临床医生和数据科学家之间的合作也不断产生积极的成果<13>。

　　

不过，来自美国斯坦福大学的Serena Yeung等人也在NJEM上提出了较为中肯的观点：人工智能的种种技术在能够被广泛接受、应用之前还有许多事情要做，就像自动驾驶的汽车现在还没有在道路上成为主流一样<14>。

　　

Fig 3.4 NJEM 观点

　　

梅奥诊所放射科的Bernard F. King Jr, MD乐于拥抱这样的一个现状，他在美国放射学会杂志JACR上说：放射科医师必须使用这种令人兴奋的人工智能技术，引导它、引领它，使其改善对患者的护理，推进我们的工作，为患者提供更高的准确性和帮助。对于放射科医生来说，未来是光明的、令人兴奋<15>！

　　

不过，也有来自美国马里兰大学医学院的Eliot Siegel, MD预测放射科医生将在3年内被机器所取代<16>。

　　

Fig 3.5 JAMA 观点

　　

美国斯坦福大学医学院的Abraham Verghese, MD在JAMA上的观点则着重于调和人工智能和人类医生两种文化之间的关系，他提出：这两种文化应该一起努力——人工智能和人类医生一起工作，掌握全局、富有同情心的医生将人工智能作为自己臂膀，避免文书工作以及没有价值的重复劳动，提高工作效率以及准确性。人工智能或许能将医疗最早的意义和目的带回医疗实践之中，让医生回归Tinsley Harrison所谓的“医生的神圣职责”，更接近Peabody的名言：照顾病人的秘诀就是关心病人<17>。

　　

参考文献：

　　

<1> Coudray N, Ocampo PS, Sakellaropoulos T, et al. (2018). Classification and mutation prediction from non–small cell lung cancer histopathology images using deep learning. Nat Med. 2018 Sep 17. doi: 10.1038/s41591-018-0177-5.

　　

<2> Yu KH, Zhang C, Berry GJ, et al. (2016). Predicting non–small cell lung cancer prognosis by fully automated microscopic pathology image features. Nat Commun. 2016 Aug 16;7:12474. doi: 10.1038/ncomms12474.

　　

<3> Sozzi, G, Conte D, Leon M, et al. Quantification of free circulating DNA as a diagnostic marker in lung cancer. J Clin Oncol. 2003 Nov 1;21(21):3902-8. doi: 10.1200/JCO.2003.02.006.

　　

<4> Sanchez-Cespedes M, Parrella P, Esteller M, et al. (2002). Inactivation of LKB1/STK11 is a common event in adenocarcinomas of the lung. Cancer Res. 2002 Jul 1;62(13):3659-62.

　　

<5> Makowski L & Hayes DN. (2008). Role of LKB1 in lung cancer development. Br J Cancer. 2008 Sep 2;99(5):683-8. doi: 10.1038/sj.bjc.6604515.

　　

<6> Mogi A & Kuwano H. (2011). TP53 mutations in nonsmall cell lung cancer. J Biomed Biotechnol. 2011;2011:583929. doi: 10.1155/2011/583929.

　　

<7> Megan Molteni. GOOGLE AI TOOL IDENTIFIES A TUMOR'S MUTATIONS FROM AN IMAGE. WIRED. 09.17.18 11:00AM. Available at: https://www.wired.com/story/google-ai-tool-identifies-a-tumors-mutations-from-an-image/ Last assessed on 2018-09-24.

　　

<8> NYU LANGONE HEALTH / NYU SCHOOL OF MEDICINE. Artificial intelligence can determine lung cancer type. EurekAlert! PUBLIC RELEASE: 17-SEP-2018. Available at: https://www.eurekalert.org/pub_releases/2018-09/nlh-aic091718.php Last assessed on 2018-09-24.

　　

<9>Kristin Jenkins. Could AI Automate Diagnosis (& Targeted Tx) of Lung Cancer? Medscape. September 19, 2018. Available at: https://www.medscape.com/viewarticle/902174 Last assessed on 2018-09-24.

　　

<10>EUROPEAN LUNG FOUNDATION. AI improves doctors' ability to correctly interpret tests and diagnose lung disease. EurekAlert! PUBLIC RELEASE: 18-SEP-2018. Available at: https://www.eurekalert.org/pub_releases/2018-09/elf-aid091418.php Last assessed on 2018-09-24.

　　

<11> De Fauw J, Ledsam JR, Romera-Paredes B, et al. (2018). Clinically applicable deep learning for diagnosis and referral in retinal disease. Nat Med. 2018 Sep;24(9):1342-1350. doi: 10.1038/s41591-018-0107-6.

　　

<12> Titano JJ, Badgeley M, Schefflei J, et al. (2018). Automated deep-neural-network surveillance of cranial images for acute neurologic events. Nat Med. 2018 Sep;24(9):1337-1341. doi: 10.1038/s41591-018-0147-y.

　　

<13> The Lancet. (2018). Artificial intelligence in health care: within touching distance. Lancet. 2018 Dec 23;390(10114):2739. doi: 10.1016/S0140-6736(17)31540-4.

　　

<14> Yeung S, Downing NL, Fei‐Fei L, et al. (2018). Bedside Computer Vision — Moving Artificial Intelligence from Driver Assistance to Patient Safety. N Engl J Med. 2018 Apr 5;378(14):1271-1273. doi: 10.1056/NEJMp1716891.

　　

<15> King BF Jr. (2018). Artificial Intelligence and Radiology: What Will the Future Hold? J Am Coll Radiol. 2018 Mar;15(3 Pt B):501-503. doi: 10.1016/j.jacr.2017.11.017.

　　

<16> Marlene Busko. Choosing a Specialty in the Age of Artificial Intelligence. Medscape. September 13, 2018. Available at: https://www.medscape.com/viewarticle/901669 Last assessed on 2018-09-24.

　　

<17> Verghese A, Shah NH, Harrington RA. (2018). What This Computer Needs Is a Physician Humanism and Artificial Intelligence. JAMA. 2018 Jan 2;319(1):19-20. doi: 10.1001/jama.2017.19198.