Studie findet KI wie ChatGPT führt schlecht in echten medizinischen Gesprächen trotz einer guten Bewertung auf Tests. Study finds AI like ChatGPT performs poorly in real medical conversations despite scoring well on tests.

Forscher der Harvard Medical School und der Stanford University fanden heraus, dass KI-Modelle wie ChatGPT zwar bei standardisierten medizinischen Tests gut abschneiden, ihre Wirksamkeit in medizinischen Gesprächen in der realen Welt jedoch begrenzt ist. Researchers from Harvard Medical School and Stanford University found that while AI models like ChatGPT perform well on standardized medical tests, their effectiveness in real-world medical conversations is limited. Die Studie nutzte ein neues Evaluations-Framework namens CRAFT-MD, das reale klinische Interaktionen simuliert. The study used a new evaluation framework called CRAFT-MD, which simulates real-world clinical interactions. Die KI-Modelle kämpften damit, Patienteninformationen zu sammeln und genaue Diagnosen zu erstellen, wobei die Notwendigkeit realistischerer Testmethoden hervorgehoben wurde, bevor diese Werkzeuge in klinischen Situationen eingesetzt werden. The AI models struggled with collecting patient information and making accurate diagnoses, highlighting the need for more realistic testing methods before these tools are used in clinical settings.