近日，谷歌于 Nature 发表了题为：Large language models encode clinical knowledge 的医学已开研究论文，展现了专精于医学领域的始临试大语言模型——Med-PaLM——的测评结果。

论文截图

Med-PaLM 在大语言模型 Flan-PaLM 的基础上进行微调。研究人员首先对 Flan-PaLM 进行测试，最新结果发现，医学已开在整合了美国医师执照考试类问题的始临试数据集中，Flan-PaLM 达到了 67.6% 的床测准确率，达到了通过考试的最新标准（60%）。不过，医学已开进一步评估显示，始临试Flan-PaLM 在回答消费者的床测医疗问题方面依然存在不足。

论文截图

经过更适应医学领域的调整后，Med-PaLM 诞生。医学已开研究人员让真正的始临试人类临床医生和 Flan-PaLM、Med-PaLM 共同回答了 140 个临床问题，并将答案交由一组临床医生评分。

测试结果显示，评分小组认为 Flan-PaLM 的答案只有 61.9% 符合科学共识，而 Med-PaLM 的这一比例为 92.6%，与临床医生生成的答案（92.9%）相当。此外，29.7% 的 Flan-PaLM 答案被评为可能导致有害结果，而 Med-PaLM 的这一比例为 5.9%，这与临床医生生成的答案（5.7%）的结果相似。

论文截图

论文表示，尽管研究结果展现出了一定的希望，但医学领域非常复杂，依然有许多困难需要克服和改善，在 Med-PaLM 真正应用于临床之前，还需要更详细的进一步评估。（策划：z_popeye｜监制：gyozua、carellero）

(责任编辑：知识)