Быстрое развитие больших языковых моделей (LLMs) открыло захватывающие новые возможности для преобразования медицинского образования. Используя возможности этих инструментов AI, мы можем создавать инновационные образовательные ресурсы и предоставлять обучающимся врачам беспрецедентный доступ к знаниям и учебным материалам. Этот подход, известный как “синтетическое образование”, использует LLMs для генерации нового контента, адаптированного к конкретным потребностям медицинских работников.
В недавнем исследовании мы изучили потенциал LLMs в дерматологическом образовании, используя GPT-4 от OpenAI для создания клинических виньеток для 20 различных заболеваний кожи и мягких тканей, обычно проверяемых на медицинском лицензионном экзамене США (USMLE). Эти виньетки, представляющие реалистичные сценарии с пациентами, затем оценивались врачами-экспертами на предмет их точности, всесторонности, качества, потенциального вреда и демографической предвзятости.
Результаты нашего исследования были весьма обнадеживающими. Врачи-эксперты дали виньеткам высокие средние баллы за научную точность (4,45/5), всесторонность (4,3/5) и общее качество (4,28/5), отметив при этом низкие баллы за потенциальный клинический вред (1,6/5) и демографическую предвзятость (1,52/5). Мы также наблюдали сильную корреляцию (r = 0,83) между всесторонностью и общим качеством, что говорит о том, что подробные и всесторонние виньетки необходимы для эффективного медицинского образования. Однако мы также отметили, что виньеткам не хватает значительного демографического разнообразия, что указывает на область для улучшения в будущих итерациях.
В целом, наше исследование демонстрирует огромный потенциал LLMs для повышения масштабируемости, доступности и настраиваемости материалов для дерматологического образования. Устранив выявленные нами ограничения, такие как необходимость большего демографического разнообразия, мы можем еще больше усовершенствовать эти инструменты на базе AI и раскрыть их полный потенциал для революции в медицинском образовании.
Рост LLMs в медицинском образовании
Область медицинского образования постоянно развивается, адаптируясь к меняющимся потребностям новых поколений студентов-медиков и резидентов. Поскольку технологии продолжают развиваться, эти начинающие врачи все чаще сталкиваются с широким спектром цифровых инструментов, которые могут дополнить их обучение. Среди этих технологий большие языковые модели (LLMs) стали особенно перспективной областью, привлекающей внимание благодаря своей замечательной вычислительной мощности.
LLMs – это тип модели машинного обучения, которая была обучена на огромном количестве текстовых данных из различных источников. Это обширное обучение позволяет им выполнять узкоспециализированные задачи, синтезируя и применяя коллективные знания, полученные из огромных наборов данных, которые они обработали. Даже без явного обучения в медицинской области модели-генералисты, такие как GPT от OpenAI, продемонстрировали впечатляющие результаты в клинических условиях, намекая на огромный потенциал LLMs в медицине.
Раскрытие потенциала синтетического образования
LLMs предлагают беспрецедентную полезность в медицинском образовании благодаря своей способности быстро и эффективно генерировать новый контент. В то время как существует значительный интерес к применению LLMs к различным задачам медицинского образования, существует ограниченное количество исследований о том, как образовательные инициативы, управляемые LLM, работают в реальных сценариях. Одним из особенно перспективных, но недостаточно изученных применений LLMs в этой области является генерация клинических виньеток.
Клинические виньетки являются жизненно важным компонентом современного медицинского образования, составляя значительную часть как вопросов USMLE, так и доклинического обучения на основе клинических случаев. Эти виньетки контекстуализируют медицинские знания, представляя практические сценарии, которые оценивают диагностическое мышление учащегося, приоритетность стратегий управления и понимание психосоциальных факторов. Имитируя сложную и нюансированную практику медицины, виньетки обеспечивают бесценную подготовку для будущих врачей.
Традиционно клинические виньетки поступали от профессиональных обществ, собственных материалов, созданных преподавателями, или коммерчески доступных банков вопросов. Однако создание этих виньеток – трудоемкий процесс, требующий значительного вклада опытных врачей. Хотя эти источники предлагают определенную степень контроля качества, доступность и количество этих материалов могут значительно различаться в разных учреждениях и в зависимости от социально-экономического положения студентов. Более того, ограниченная доступность виньеток вызвала опасения по поводу повторения тестовых вопросов в администрациях USMLE.
Революция в дерматологическом образовании с помощью LLMs
В то время как медицинское обучение в дерматологии в значительной степени опирается на визуальную оценку, целостное клиническое представление, которое контекстуализирует процесс заболевания, также имеет решающее значение. Стандартизированные экзамены, такие как USMLE, часто используют текстовые виньетки для оценки знаний о патологиях кожи и мягких тканей. Кроме того, конкретная терминология, используемая для описания поражений кожи, необходима для точной диагностики и лечения кожных заболеваний.
LLMs предлагают уникальную возможность расширить доступность текстовых виньеток для распространенных дерматологических состояний в медицинском образовании. Современные LLMs, такие как GPT, обеспечивают гибкость для расширения исходных клинических виньеток, адаптируясь к индивидуальным потребностям студентов, когда они задают дальнейшие вопросы. В нашем исследовании мы оценили возможность использования GPT 4.0, последней общедоступной базовой модели OpenAI, для создания высококачественных клинических виньеток для целей медицинского образования.
Оценка производительности GPT-4
Чтобы оценить производительность GPT-4 при создании клинических виньеток, мы сосредоточились на 20 заболеваниях кожи и мягких тканей, обычно проверяемых на экзамене USMLE Step 2 CK. Мы предложили модели создать подробные клинические виньетки для каждого состояния, включая объяснения наиболее вероятного диагноза и того, почему альтернативные диагнозы менее вероятны. Затем эти виньетки были оценены группой врачей-экспертов с использованием шкалы Ликерта для оценки их научной точности, всесторонности, общего качества, потенциального клинического вреда и демографической предвзятости.
Характеристики виньетки
Наш анализ 20 клинических виньеток выявил несколько ключевых характеристик:
Демографические данные пациентов: В виньетках были представлены 15 пациентов мужского пола и 5 пациентов женского пола, со средним возрастом пациентов 25 лет. Раса была указана только для 4 пациентов (3 европеоидной расы, 1 афроамериканец). Общие имена использовались для 3 пациентов, в то время как остальные виньетки не включали имена.
Количество слов: Среднее количество слов для вывода модели составило 332,68, со стандартным отклонением 42,75 слов. Клиническая часть виньетки составляла в среднем 145,79 слов (SD = 26,97), а объяснения – в среднем 184,89 слов (SD = 49,70). В среднем объяснения были длиннее, чем соответствующие виньетки, с отношением длины виньетки к объяснению 0,85 (SD = 0,30).
Оценки врачей
Оценки врачей-экспертов указывали на высокую степень соответствия научному консенсусу (среднее = 4,45, 95% ДИ: 4,28-4,62), всесторонности (среднее = 4,3, 95% ДИ: 4,11-4,89) и общему качеству (среднее = 4,28, 95% ДИ: 4,10-4,47). Оценки также указывали на низкий риск клинического вреда (среднее = 1,6, 95% ДИ: 1,38-1,81) и демографической предвзятости (среднее = 1,52, 95% ДИ: 1,31-1,72). Постоянно низкие оценки демографической предвзятости позволяют предположить, что врачи-оценщики не выявили каких-либо значительных закономерностей стереотипных или непропорционально искаженных представлений о группах пациентов.
Корреляционный анализ
Чтобы оценить взаимосвязь между различными критериями оценки, мы рассчитали коэффициенты корреляции Пирсона. Мы обнаружили, что соответствие научному консенсусу умеренно коррелирует со всесторонностью (r = 0,67) и общим качеством (r = 0,68). Всесторонность и общее качество показали сильную корреляцию (r = 0,83), в то время как возможность клинического вреда и демографическая предвзятость слабо коррелировали (r = 0,22).
Последствия для медицинского образования
Результаты нашего исследования имеют важное значение для медицинского образования, особенно в контексте усиления контроля над стандартизированными медицинскими экзаменами. Необходимость в высококачественных образовательных материалах, которые можно использовать для оценок, таких как USMLE, важна как никогда. Однако традиционный метод создания новых вопросов является ресурсоемким, требуя от опытных врачей написания клинических виньеток и многократного проведения тестов для оценки их обобщаемости. Поэтому весьма желательны новые методы разработки многочисленных уникальных клинических виньеток.
Наше исследование предоставляет многообещающие доказательства того, что большие языковые модели, такие как GPT-4, могут служить источником “синтетического медицинского образования”, предлагая доступные, настраиваемые и масштабируемые образовательные ресурсы. Мы продемонстрировали, что GPT-4 обладает неотъемлемыми клиническими знаниями, которые распространяются на создание репрезентативных и точных описаний пациентов. Наш анализ показал, что виньетки, сгенерированные GPT-4 для заболеваний, проверенных в разделе “Кожа и мягкие ткани” экзамена USMLE Step 2 CK, были очень точными, что позволяет предположить, что LLMs потенциально можно использовать для разработки виньеток для стандартизированных медицинских экзаменов.
Высокие оценки за научный консенсус, всесторонность и общее качество в сочетании с низкими оценками за потенциальный клинический вред и демографическую предвзятость еще больше подтверждают возможность использования LLMs для этой цели. Сильная статистическая корреляция между всесторонностью виньетки и общим качеством подчеркивает важность тщательных и подробных представлений случаев в медицинском образовании и демонстрирует способность LLMs предоставлять контекстуально релевантные и полные сценарии для клинического мышления.
Средняя длина виньеток (145,79 ± 26,97 слов) хорошо вписывается в объем виньеток USMLE, что позволяет экзаменуемым примерно 90 секунд для ответа на каждый вопрос. Включение более длинных объяснений наряду с виньетками демонстрирует способность LLMs генерировать не только описания пациентов, но и полезный дидактический материал.
Устранение ограничений и будущие направления
Хотя наше исследование продемонстрировало потенциал LLMs в создании высококачественных клинических виньеток, мы также выявили несколько ограничений, которые необходимо устранить в будущих исследованиях. Одной из ключевых проблем является ограниченное разнообразие демографических данных пациентов с преобладанием пациентов мужского пола и недостатком расового разнообразия. Чтобы обеспечить адекватную подготовку студентов-медиков к обслуживанию различных групп пациентов, крайне важно приложить более осознанные усилия для включения разнообразных представлений пациентов в разработку подсказок и наборы данных для обучения моделей. Будущие исследования также должны изучить источники и проявления системной предвзятости в выводах модели.
Другим ограничением нашего исследования является состав нашей группы экспертов-оценщиков, в которую входил только один дерматолог наряду с двумя лечащими врачами из внутренней медицины и неотложной медицины. В то время как врачи-оценщики, не являющиеся дерматологами, часто диагностируют и лечат распространенные кожные заболевания в своих соответствующих специальностях, их опыт может не охватывать весь спектр дерматологических заболеваний. Будущим исследованиям пойдет на пользу большее количество дерматологов для обеспечения более специализированной оценки случаев, сгенерированных AI.
Несмотря на эти ограничения, наша работа предоставляет убедительные доказательства того, что современные LLMs, такие как GPT-4, обладают большим потенциалом для генерации клинических виньеток для стандартизированного экзамена и учебных целей. LLMs, разработанные специально для этой цели и обученные на более конкретных наборах данных, могут еще больше повысить эти возможности. Высокая точность и эффективность “синтетического образования” предлагают многообещающее решение текущих ограничений традиционных методов создания медицинских образовательных материалов.