Các phương tiện tự hành và rô bốt sử dụng các bộ cảm biến và camera phức tạp để nhận biết môi trường xung quanh - nhưng những người khiếm thị vẫn có thể sử dụng gậy và chó dẫn đường. Giờ đây, các kỹ sư đã phát triển một hệ thống đeo được, kích hoạt bằng giọng nói có thể theo dõi các chướng ngại vật trong thời gian thực, và mô tả môi trường xung quanh cho một người khiếm thị.
Hệ thống hỗ trợ thị giác mới này được tạo thành từ một số thành phần có thể được đeo mà không quá cồng kềnh. Nó chỉ là bao gồm chiếc áo vest, một chiếc ba lô và cặp tai nghe. Nhóm nghiên cứu nói rằng, việc che giấu các thiết bị điện tử là một mục tiêu chính.
Trong hệ thống này, chiếc áo sẽ tích hợp ẩn một máy ảnh 4K cung cấp thông tin về màu sắc và một cặp máy ảnh lập thể lập bản đồ độ sâu trường ảnh. Thông tin trực quan này sau đó được đưa đến Bộ trí tuệ nhân tạo với độ sâu (OAK-D) của OpenCV được lưu trữ trong ba lô.
Bộ trí tuệ nhân tạo với độ sâu (OAK-D) của OpenCV có nhiệm vụ sử dụng mạng thần kinh để phân tích dữ liệu hình ảnh. Nó cũng chứa pin di động cung cấp thời gian sử dụng lên đến tám giờ và hoạt động cùng bộ GPS kết nối USB.
Dữ liệu hình ảnh thu được sau đó được chuyển tiếp qua Bluetooth đến một cặp tai nghe, cho phép người dùng biết những gì xung quanh họ. Nó có thể cảnh báo các chướng ngại vật có hình dạng, kích thước và loại khác nhau, và khai báo vị trí của chúng trong mối quan hệ vị trí với người dùng khiếm thị.
Chẳng hạn, hệ thống có thể thông báo cho ai đó đang đi bộ trên đường rằng, họ đang đến gần thùng rác ở "dưới cùng, bên trái" hoặc một nhánh cây thấp có "trên cùng, chính giữa". Các nguy cơ vấp ngã như lề đường hoặc cầu thang có thể được phát hiện khi thay đổi độ cao, và hệ thống thậm chí có thể nhận ra những thứ quan trọng như biển báo Dừng lại.