بلاگ

پيش بيني هاي مقياس پذير براي IoT در ابر

اين هفته در كنفرانس بين المللي داده كاوي ، دانشمند IBM Research-Ireland ، Francesco Fusco ، IBM Research Castor را نشان داد ، سيستمي براي مديريت داده ها و مدل هاي سري زماني در مقياس و ابر. مشاغل امروز براساس پيش بيني ها پيش مي روند. چه بخشي از آنچه فكر مي كنيم اتفاق مي افتد يا محصول تجزيه و تحليل دقيق محصور است ، تصويري از آنچه اتفاق مي افتد را داريم و بر اين اساس عمل مي كنيم. IBM Research Castor براي مشاغل مبتني بر IoT است كه نياز به صدها يا هزاران پيش بيني متفاوت براي سري هاي زماني دارند. اگرچه مدل براي يك پيش بيني فردي ممكن است اندك باشد ، اما رعايت قدرت و عملكرد اين تعداد مدل مي تواند يك چالش باشد. برخلاف موارد مبتني بر هوش مصنوعي ، استفاده از تعداد كمي از مدلهاي بزرگ براي پردازش تصوير يا زبان طبيعي ،

سيستم ما مجموعه اي از توانايي هاي غني اما انتخابي را براي داده ها و مدل هاي سري زماني ارائه مي دهد. داده هاي دستگاههاي IoT يا منابع ديگر را مصرف مي كند. دسترسي به داده ها را با استفاده از معناشناختي فراهم مي كند ، و به كاربران امكان مي دهد داده هايي مانند اين را بازيابي كنند: getTimeseries (myServer ، "Store1234" ، "درآمد ساعتي").

اين مدلها را براي آموزش و به ثمر رساندن مدل هاي نوشته شده در R يا Python ذخيره مي كند. هر مدل با يك موجوديت توصيف مي كند كه از كجا منشاء داده ها است ، مانند "Store1234" در بالا ، و سيگنال توصيف آنچه اندازه گرفته شده است ، مانند "درآمد ساعتي". مدل ها در فركانس هاي تعريف شده توسط كاربر آموزش داده مي شوند و به ثمر مي رسند و برخلاف بسياري از پيشنهادات ديگر ، پيش بيني ها به صورت خودكار ذخيره مي شوند.

دانشمندان داده با استفاده از يك گردش كار چهار مرحله ، مدلها را مستقر مي كنند:

بارگيري داده ها براي آموزش و يا به ثمر رساندن از منابع داده هاي مربوطه.
آن داده ها را براي آموزش مدل يا امتياز دهي به يك قاب داده تبديل كنيد.
آموزش مدل براي به دست آوردن نسخه مناسب براي پيش بيني. و
براي پيش بيني مقادير مورد علاقه ، مدل را نمره گذاري كنيد .
پس از استقرار مدل ، سيستم آموزش و امتياز دهي را انجام مي دهد ، به طور خودكار مدل آموزش ديده و نتايج پيش بيني را ذخيره مي كند. داده هاي مورد استفاده در آموزش و امتياز دهي نيازي به سرچشمه ندارند و به مدلها امكان استفاده از داده ها از چندين منبع را مي دهد. در حقيقت ، اين يك انگيزه اصلي براي كار ما است - ساخت پيش بيني هاي ارزش افزوده بر اساس چندين منبع داده. به عنوان مثال ، يك تجارت مي تواند برخي از داده هاي خود را با داده هاي خريداري شده از شخص ثالث ، مانند پيش بيني وضعيت آب و هوا ، براي پيش بيني مقدار كمي از علاقه تركيب كند.

شكل 2. نماي "ماشين زمان" مشاهدات و پيش بيني هاي موجود براي نقاط مختلف تاريخ را نشان مي دهد. اعتبار: IBM
مدلهاي سيستم ما از پارامترهاي پيكربندي و زمان اجرا جداست. اين جداسازي امكان تغيير برخي از جزئيات يك مدل ، مانند كليد API براي دسترسي به داده هاي شخص ثالث يا فركانس امتياز دهي ، بدون استفاده مجدد را فراهم مي كند. چندين مدل براي يك متغير هدف مشابه پشتيباني و تشويق مي شوند تا مقايسه پيش بيني ها از الگوريتم هاي مختلف را انجام دهند. مدل ها را مي توان با هم زنجير كرد به گونه اي كه خروجي يك مدل ، ورودي را به مدل ديگر مانند يك گروه تشكيل مي دهد. مدلي كه در يك مجموعه داده خاص آموزش داده مي شود ، يك نسخه مدل را نشان مي دهد ، كه آن نيز رديابي مي شود. بنابراين مي توان پيش بيني مدل ها و پيش بيني ها را تعيين كرد (شكل 1).

چندين نمايش براي كشف مقادير پيش بيني در دسترس است. البته ارزشها نيز قابل بازيابي و تجسم هستند. ما همچنين از نماي "ماشين زمان" كه آخرين پيش بيني ها و آخرين مشاهدات را نشان مي دهد پشتيباني مي كنيم (شكل 2). در اين نماي تعاملي ، كاربر مي تواند نقاط مختلف تاريخ را انتخاب كند و ببيند در آن زمان چه اطلاعاتي موجود بوده است. ما همچنين از نمايي از پيش بيني تكامل كه نشان مي دهد پيش بيني هاي متوالي براي همان نقطه در زمان (پشتيباني 3) پشتيباني مي كنيم. از اين طريق كاربران مي توانند ببينند كه با نزديك شدن زمان هدف ، پيش بيني ها چگونه تغيير مي كند.

تحت اين كاپوت ، IBM Research Castor استفاده سنگيني از محاسبات بدون سرور مي كند تا قابليت ارتجاعي منابع و كنترل هزينه را فراهم كند. استقرار معمولي مدلهايي را مشاهده مي كنيد كه هر هفته يا هر ماه آموزش داده مي شوند و هر ساعت نمره مي گيرند. در زمان آموزش يا زمان به ثمر رساندن ، يك عملكرد بدون سرور براي هر مدل ايجاد مي شود و به صدها مدل امكان مي دهد تا به طور موازي در زمان دلخواه آموزش يا نمره دهند . پس از اتمام اين كار ، منبع محاسبات از بين مي رود تا مجدداً لازم باشد. در يك كار معمولي تر ، ماشين هاي مجازي يا ظروف ابري در هنگام استفاده ، بيكار هستند اما هنوز هم هزينه را جذب مي كنند.

IBM Research Castor بصورت بومي در IBM Cloud با استفاده از آخرين خدمات از قبيل IBM's DashDB ، Compose ، توابع ابر و Kubernetes مستقر مي شود تا بتواند سيستمي مستحكم و مطمئن ارائه دهد. IBM Research Castor با داشتن يك حساب كاربري مناسب در IBM Cloud ، طي چند دقيقه مستقر مي شود و اين امر را براي اثبات مفهوم و همچنين پروژه هاي در حال اجرا طولاني تر مي كند. بسته هاي Client / SDK براي پايتون و R به گونه اي ارائه شده است كه دانشمندان داده بتوانند به سرعت در يك محيط آشنا از خواب بلند شوند و تيم هاي تجسم بتوانند از چارچوب هاي آشنا مانند جنگو و براق بهره بگيرند. اگر اين برنامه ها متناسب با برنامه شما نيستند ، API پيام رساني مبتني بر JSON نيز موجود است.