Mind Video

AI BIẾT TUỐT:

Mind-Video là một công cụ AI nhằm mục đích tái tạo lại các video chất lượng cao từ hoạt động của não được ghi lại thông qua dữ liệu chụp cộng hưởng từ chức năng liên tục (fMRI).

Nó là một phần mở rộng của công việc tái tạo hình ảnh fMRI trước đây có tên là Mind-Vis. Công cụ này giải quyết thách thức khôi phục trải nghiệm hình ảnh liên tục dưới dạng video từ các bản ghi não không xâm lấn. Mind-Video sử dụng một đường dẫn hai mô-đun giúp thu hẹp khoảng cách giữa giải mã não hình ảnh và video.

Đầu tiên mô-đun tập trung vào việc học các tính năng fMRI trực quan chung thông qua học tập không giám sát quy mô lớn với mô hình não đeo mặt nạ và sự chú ý theo không gian thời gian.

Sau đó, nó chắt lọc các tính năng liên quan đến ngữ nghĩa bằng cách sử dụng phương pháp học tương phản đa phương thức với một tập dữ liệu có chú thích. Trong mô-đun thứ hai, các tính năng đã học được tinh chỉnh thông qua đào tạo cùng với mô hình khuếch tán ổn định tăng cường, được thiết kế đặc biệt để tạo video được hướng dẫn bởi dữ liệu fMRI. Đóng góp của công cụ này nằm ở quy trình linh hoạt và có khả năng thích ứng, bao gồm bộ mã hóa fMRI và mô hình khuếch tán ổn định tăng cường được đào tạo riêng biệt và hoàn thiện cùng nhau.

Nó sử dụng một kế hoạch học tập tiến bộ cho phép bộ mã hóa tìm hiểu các đặc điểm của não qua nhiều giai đoạn. Các video thu được chứng minh độ chính xác ngữ nghĩa cao, bao gồm chuyển động và động lực cảnh, vượt trội so với các phương pháp tiếp cận tiên tiến trước đó. Phân tích chú ý của máy biến áp giải mã dữ liệu fMRI cho thấy sự thống trị của vỏ não thị giác trong việc xử lý thông tin không gian thời gian trực quan và bản chất phân cấp của các lớp của bộ mã hóa trong việc trích xuất các đặc điểm hình ảnh trừu tượng và cấu trúc.

Bộ mã hóa fMRI cũng cho thấy sự cải thiện dần dần trong việc đồng hóa thông tin ngữ nghĩa nhiều sắc thái hơn trong suốt các giai đoạn đào tạo của nó. Mind-Video sử dụng dữ liệu từ Dự án Kết nối Con người và ghi nhận sự đóng góp của cộng tác viên và người hỗ trợ trong việc phát triển công cụ này.