Τεχνητή νοημοσύνη μετατρέπει στατικές εικόνες σε βίντεο

Εισάγετε στο σύστημα τη φωτογραφία ενός καταρράκτη, και η τεχνητή νοημοσύνη δημιουργεί αυτόματα ένα βίντεο με τα νερά να πέφτουν προς τα κάτω. Το μόνο που λείπει είναι ο θόρυβος του νερού και τα σταγονίδια που φτάνουν στο πρόσωπό σας.

Ερευνητές στη Γερμανία ανέπτυξαν ένα σύστημα τεχνητής νοημοσύνης (AI) που δημιουργεί βίντεο από στατικές εικόνες οποιουδήποτε ρευστού υλικού, από τα κύματα στην επιφάνεια μιας λίμνης μέχρι τα σύννεφα και τον καπνό.

Τα βίντεο λουπάρουν σε έναν ατελείωτο βρόχο και δίνουν την εντύπωση της ακατάπαυστης κίνησης.

«Αυτό που κάνει τη μέθοδό μας να ξεχωρίζει είναι ότι δεν απαιτεί καμία παρέμβαση του χρήστη και καμία επιπλέον πληροφορία» λέει ο Αλεξάντερ Χολίνσκι του Πανεπιστημίου της Ουάσιγκτον, πρώτος συγγραφέας που θα παρουσιαστεί στις 22 Ιουνίου στο Συνέδριο Μηχανικής Όρασης και Αναγνώρισης Μοτίβων.

Για να δημιουργήσει την εντύπωση της κίνησης, η ΑΙ πρέπει ουσιαστικά να μαντέψει την εξέλιξη της κίνησης του νερού ή οποιουδήποτε άλλου ρευστού εμφανίζεται στην εικόνα.

Σε πρώτη φάση, οι ερευνητές τροφοδότησαν ένα νευρωνικό δίκτυο με χιλιάδες βίντεο καταρρακτών, ποταμών, θαλασσών και άλλων υλικών που ρέουν. Σε κάθε βίντεο, η ΑΙ έπρεπε να μαντέψει την κίνηση εξετάζοντας μόνο το πρώτο καρέ κάθε βίντεο. Οι προβλέψεις συγκρίνονται στη συνέχεια με το πραγματικό βίντεο ώστε να μπορεί η μηχανή να μάθει από τα λάθη της.

Συγκεκριμένα, ο αλγόριθμος έμαθε να προβλέπει την κίνηση του ρευστού εξετάζοντας χαρακτηριστικά όπως για παράδειγμα οι ρυτιδώσεις στην επιφάνεια του νερού.

«Οι κινήσεις αυτού του είδους [σε διάφορα ρευστά υπακούν στους ίδιους νόμους της φυσικής. Στις εικόνες υπάρχουν συνήθως χαρακτηριστικά που μας λένε πώς πρέπει να κινούνται τα πράγματα» λέει ο Χολίνσκι.

Πηγή: Hołyński et al./CVPR

Εκτός από το μέλλον, όμως, ο αλγόριθμος έπρεπε να μπορεί να μαντεύει και το παρελθόν. «Στο παράδειγμα του καταρράκτη, αν απλώς μετακινήσεις κάθε εικονοστοιχείο προς τα κάτω, τελικά δεν θα μείνει κανένα εικονοστοιχείο στην κορυφή» εξηγεί ο Χολίνσκι. Για να λυθεί το πρόβλημα, η ΑΙ κλήθηκε να προβλέψει την κίνηση του νερού και προς το μέλλον και πίσω προς το παρελθόν. Οι δύο προβλέψεις συνδυάζονται στο τελικό βίντεο ώστε να κλείσουν τα κενά.

Σε αυτή τη φάση, η τεχνητή νοημοσύνη λειτουργεί μόνο για υλικά με προβλέψιμη ρευστή κίνηση. Δυσκολεύεται όμως να προβλέψει πώς κινούνται οι αντακλάσεις στο νερό ή το πώς παραμορφώνεται το είδωλο βυθισμένων αντικειμένων.

Πηγή: Sarah McQuate/University of Washington

«Θα θέλαμε να επεκτείνουμε τοπ σύστημα ώστε να χειρίζεται ένα μεγαλύτερο εύρος αντικειμένων και να δίνει κίνηση στα μαλλιά ενός προσώπου που στέκεται στον άνεμο» λέει ο Χολίνσκι.

«Ελπίζω ότι στο μέλλον οι εικόνες που μοιραζόμαστε με τους φίλους και τους συγγενείς μας δεν θα είναι στατικές αναπαραστάσεις αλλά δυναμικά animation».