Ein KI-Medizinschreiber in australischen Kliniken wurde gehackt, um schädliche Inhalte zu generieren. Dies führte zu einer Sicherheitsüberprüfung, obwohl keine Datenverletzung aufgetreten war. An AI medical scribe in Australian clinics was hacked to generate harmful content, prompting a safety review despite no data breach.

Ein Cybersicherheitsunternehmen zeigte, dass ein von Heidi Health entwickelter KI-Medizinschreiber in australischen Kliniken verwendet wird und manipuliert werden kann, um durch "Jailbreak"-Befehle schädliche Inhalte zu generieren, obwohl er nicht auf Patientendaten oder Sitzungen anderer Benutzer zugreifen konnte. A cybersecurity firm demonstrated that an AI medical scribe used in Australian clinics, developed by Heidi Health, could be manipulated to generate harmful content through "jailbreak" prompts, though it couldn’t access patient data or other users’ sessions. Die Schwachstelle, die es der KI ermöglichte ethische Einschränkungen zu umgehen, wurde vor der Offenlegung intern behoben. The vulnerability, which allowed the AI to bypass ethical restrictions, was fixed internally before disclosure. Während Heidi Health derzeit außerhalb der Aufsicht der Therapeutic Goods Administration (TGA) Australiens steht, weil es als Verwaltungswerkzeug eingestuft wird, hat die TGA eine Überprüfung von KI-Schreibern gestartet und gewarnt, dass das Versagen von Sicherheitsmaßnahmen unabhängig von der Funktion zu einer Regulierung führen könnte. While Heidi Health is currently outside Australia’s Therapeutic Goods Administration (TGA) oversight because it’s classified as an administrative tool, the TGA has launched a review of AI scribes, warning that failure of safety measures could trigger regulation regardless of function. Experten weisen darauf hin, dass ähnliche Risiken in anderen KI-Systemen bestehen und die Zuverlässigkeit von KI im Gesundheitswesen bei zunehmender Akzeptanz besorgt macht. Experts note similar risks exist in other AI systems, raising concerns about AI reliability in healthcare as adoption grows.