بلاگ

كمك به نابينايان براي حركت

خود را براي اولين بار به يك سوپر ماركت ناآشنا تصوير كنيد. اگر فردي هستيد كه مي توانيد ببينيد ، مي توانيد به سادگي به اطراف بگرديد تا خودتان را راهنمايي كرده و اشيا و موانع را شناسايي كنيد. با اين حال ، افراد نابينا بايد از حواس ديگر استفاده كنند تا راه خود را از طريق يك فضاي جديد پيدا كنند.

به زودي ، نابينايان به لطف محققان Caltech مي توانند از الگوريتم هاي سخت افزار واقعيت افزوده و الگوريتم هاي ديد در رايانه كمك كنند تا نرم افزاري را توسعه دهند كه اشياء را قادر به "صحبت" كنند. اين فناوري كه به عنوان يك هدست قابل حمل پوشيده شده است ، دنياي نوري را به صداي صوتي انگليسي تبديل مي كند. اين دستگاه مي تواند روزي در بانك ها ، فروشگاه هاي مواد غذايي ، موزه ها و ساير مكان ها در دسترس باشد تا افراد نابينا بتوانند از طريق فضاهاي ناآشنا راه خود را پيدا كنند.

اين كار در آزمايشگاه ماركوس ميستر (Ph.D. '87) ، آن P. و Benjamin F. Biaggini استاد علوم زيست شناسي و مسئول اجرايي عصب شناسي انجام شده است و در مقاله اي كه در شماره 27 نوامبر آمده است شرح داده شده است. مجله عرضه Elife . ميستر عضو هيئت علمي مؤسسه علوم اعصاب Taltqiao و كريسي چن براي علوم اعصاب در Caltech است.

ميستر مي گويد: "تصور كنيد در دنيايي قرار داريد كه همه اشياء اطراف شما صدايي دارند و مي توانند با شما صحبت كنند." "هر كجا كه نگاهتان را جلب كنيد ، اشياء مختلفي كه روي آنها تمركز مي كنيد فعال شده و نام آنها را با شما مي گوييد. آيا مي توانيد تصور كنيد كه در چنين دنيايي قرار بگيريد ، برخي از كارهاي بسياري را كه معمولاً از سيستم تصويري خود استفاده مي كنيم انجام دهيم؟ اين همان چيزي است كه ما اينجا انجام داده ايم - صداهايي به اشياء داده ايم. "

تيم دانشمندان به رهبري دانشجوي فارغ التحصيل يانگ ليو سيستمي را ايجاد كردند كه آنها آن را CARA يا دستيار واقعيت افزوده شناختي مي نامند. CARA براي يك كامپيوتر هدفون پوشيدني به نام HoloLens ساخته شده توسط مايكروسافت ساخته شده است كه مي تواند محيط كاربر را اسكن كند و اشياء فردي مانند لپ تاپ يا يك ميز را شناسايي كند. با CARA ، به هر شيئي از محيط صوتي داده مي شود و به دستور كاربر نام خود را "مي گويد". اين فناوري از صداي به اصطلاح فضايي استفاده مي كند ، كه باعث مي شود بسته به موقعيتي كه در يك اتاق دارد ، اشياء متفاوت به نظر برسند. اگر به عنوان مثال شيء در سمت چپ كاربر قرار داشته باشد ، صداي آن به نظر مي رسد كه از سمت چپ مي آيد. علاوه بر اين ، هرچه شيء نزديك تر باشد ، صداي "صداي" آن بالاتر مي رود.

اعتبار: موسسه فناوري كاليفرنيا
براي جلوگيري از كاكوفوني اشياء به طور همزمان صحبت مي كنند ، ليو و تيمش CARA را با چند حالت مختلف برنامه ريزي كردند. در حالت اول ، به نام حالت نورافكن ، يك شي فقط وقتي كاربر مستقيماً با آن روبرو شود ، نام خود را مي گويد. هنگامي كه كاربر سر خود را به سمت اشياء مختلف مي چرخاند ، اشياء هر كدام نام خود را مي گويند ، و صداي صداي جسم در مورد فاصله نسبي آن از كاربر ، گوش شنوايي را ارائه مي دهد. به اين ترتيب ، يك كاربر كم بينا مي تواند براي كشف محيط خود "به اطراف" نگاه كند. در حالت دوم با نام حالت اسكن ، محيط از چپ به راست اسكن مي شود و اشياء را مي گويند كه نام آنها را بر اين اساس مي گوييم. حالت سوم حالت هدف است كه در آن كاربر مي تواند يكي از اشياء را براي صحبت منحصر به فرد انتخاب كند و از آن به عنوان يك راهنما براي حركت استفاده كند.

محققان براي آزمايش برنامه هاي كاربردي عملي CARA ، مسير آزمايش را براي داوطلبان نابينا از طريق ساختمان زيست شناسي رفتاري بكمن در كالتك طراحي كردند. براي تهيه كار ، دانشمندان ابتدا مسيري را در داخل ساختمان ايجاد كردند و ضمن پوشيدن آن از HoloLens ، پيروي كردند كه محيط را اسكن كرد و آن را در حافظه ذخيره كرد. سپس از داوطلبان نابينا خواسته شد تا مسير را با استفاده از CARA به عنوان راهنما هدايت كنند. از آنجا كه هر داوطلب شروع به كار مي كرد ، صدايي به ظاهر از محلي كه در مسير حركت مي كرد بيرون مي آمد و صدا مي زد "دنبال من" ، در حالي كه همچنين از پلكان ، ريل هاي دستي ، گوشه هاي چرخش و موارد مشابه آن به كاربر خبر مي داد. به رهبري CARA ، هر هفت داوطلب در اولين آزمايش كار را با موفقيت انجام دادند.

CARA هنوز در مراحل اوليه خود است ، اما از توسعه سريع الگوريتم هاي ديد رايانه اي سود خواهد برد. محققان در حال حاضر در حال پياده سازي طرح هاي جديد براي شناسايي در زمان واقعي اشياء و عابران پياده هستند. سرانجام ، آنها اميدوارند كه مكان هايي مانند بانك ها ، هتل ها و مراكز خريد دستگاه هاي CARA را براي استفاده مشتريان نابيناي خود ارائه دهند.

اين تيم علاوه بر كار با CARA ، "آزمايش استاندارد" جديدي را نيز براي ارزيابي عملكرد دستگاههاي مختلف كمك كننده براي نابينايان ايجاد كرده است. اين روش يك واقعيت واقعيت مجازي را فراهم مي كند كه محققان در هر نقطه از جهان مي توانند بدون نياز به بازسازي فضاهاي فيزيكي واقعي ، از آنها براي محك دستگاه خود استفاده كنند.

اين مقاله با عنوان "واقعيت افزوده يك دستيار شناختي براي نابينايان" ارائه مي كند.