Columbia-Forscher bauten ein 26-motorisches Robotergesicht, das Lippe-Synchronisierung aus Video mit KI lernt und so die Mensch-Roboter-Interaktion verbessert. Columbia researchers built a 26-motor robot face that learns lip-syncing from video using AI, improving human-robot interaction.

Forscher der Columbia University haben ein Robotergesicht mit 26 Motoren geschaffen, das Lippensync lernt, indem man Menschen auf Video beobachtet, indem man KI verwendet, um Töne mit realistischen Lippenbewegungen zu kombinieren. Researchers at Columbia University have created a robot face with 26 motors that learns to lip-sync by observing humans on video, using AI to match sounds to realistic lip movements. Das System, trainiert durch Selbstbeobachtung und Studium von Sprache und Gesang, kann Lippen mit Audio über Sprachen und Töne hinweg synchronisieren und die natürliche Interaktion zwischen Mensch und Roboter verbessern. The system, trained through self-observation and studying speech and song, can synchronize lips with audio across languages and tones, improving natural human-robot interaction. Obwohl die Herausforderungen bei bestimmten Klängen bestehen bleiben, zielt die Technologie darauf ab, die emotionale Verbindung in Anwendungen wie Gesundheitswesen und Bildung zu verbessern, indem sie eine Schlüssellücke im robotischen Ausdruck beseitigt. Though challenges remain with certain sounds, the technology aims to enhance emotional connection in applications like healthcare and education by addressing a key gap in robotic expression.