Abstract— The rapid development of Internet of Things (IoT) enables people to track objects by deploying multiple sensors, e.g., to track people in indoor spaces using RFID sensors. Multi-sensor object-tracking data are usually produced as records, which are thereby organized into small files and written to servers. However, the small-size property and high arriving-rate of multi-sensor object-tracking data will result in poor I/O performance of file systems such as HDFS. In this paper, we propose the first read/write-optimized solution for storing multi-sensor object-tracking data on HDFS. In particular, we exploit a distributed caching mechanism and a parallel file-merging policy to improve the I/O performance of HDFS. With our design, object-tracking data are first cached by a Distributed Memory File System (DMFS) on top of HDFS. These data are further merged into large files, which are then flushed to HDFS in parallel. We demonstrate that this mechanism is able to improve the write throughput of HDFS and outperforms existing centralized-cache-based approaches. In addition, in order to improve the search performance of object queries over multi-sensor object-tracking data, we propose a Sensor-Dependence Graph (SDG) to model sensor dependence and further present an SDG-based algorithm to efficiently cluster sensors. The object-tracking data from the sensors in the same cluster are merged into the same large files, which can reduce file scans during query processing and therefore improve search performance. We conduct extensive experiments to evaluate the performance of our proposal. The results suggest the efficiency of our proposal with respect to disk-write throughput, memory-write throughput, search performance, and sensor clustering.
Keywords—Storage management, File Systems Management

چکيده:  توسعه سریع تکنولوژی اینترنت اشیاء (IoT) افراد را قادر می سازد تا از طریق بکارگیری چندین سنسور، اشیاء را ردیابی کنند؛ به عنوان مثال ردیابی افراد در فضاهای داخلی با بکارگیری سنسورهای RFID . داده های حاصل از ردیابی اشیاء با استفاده از چند سنسور (Multi-sensor Object-tracking Data) ، معمولا به صورت رکوردهای داده تولید می شوند که در قالب فایل های کوچک سازماندهی شده و بر روی سرورها ثبت می شوند. با این وجود، ویژگی کوچک بودن و نرخ بالای ورود داده های حاصل از ردیابی اشیاء با استفاده از چند سنسور، باعث می شوند که عملکرد ورودی/خروجی سیستم های فایل نظیر سیستم فایل توزیع شده هادوپ (HDFS) نامناسب باشد. در این مقاله، ما استفاده از راهکار بهینه سازی شده " اول خواندن/نوشتن " را برای ذخیره سازی داده های حاصل از ردیابی اشیاء با استفاده از چند سنسور در سیستم فایل HDFS پیشنهاد می کنیم. بویژه اینکه ما از یک مکانیسم کش توزیع شده و نیز یک روش " ترکیب فایل " موازی استفاده می کنیم تا اینکه عملکرد ورودی/خروجی سیستم فایل HDFS را بهبود بخشیم. در طرح پیشنهادی ما، ابتدا داده های ردیابی اشیاء با استفاده از یک سیستم فایل حافظه توزیع شده (DMFS) بر روی سیستم فایل HDFS کش می شوند. در ادامه این داده ها در قالب فایل های بزرگ با یکدیگر ترکیب می شوند و به صورت موازی در سیستم فایل HDFS ذخیره می شوند. ما نشان می دهیم که این مکانیسم قادر است تا بازده پروسه نوشتن در سیستم فایل HDFS را بهبود بخشد و نشان می دهیم که این روش نسبت به راهکارهای موجود مبتنی بر فرایند کش متمرکر برتری دارد. بعلاوه به منظور بهبود عملکرد جستجوی پرس و جوهای اشیاء در داده های حاصل از ردیابی اشیاء با استفاده از چند سنسور ، یک گراف وابستگی سنسور (SDG) را ارائه می کنیم که وابستگی سنسور را مدلسازی می نماید و در ادامه نیز یک الگوریتم مبتنی بر گراف SDG برای خوشه بندی موثر و کارامد سنسورها ارائه می نماییم. داده های حاصل از ردیابی اشیاء با استفاده از سنسورهای واقع در یک خوشه، در قالب فایل های بزرگ با یکدیگر ترکیب می شوند که این موضوع می تواند پروسه های اسکن فایل را در خلال پردازش پرس و جو ها کاهش دهد و کارایی جستجو را افزایش دهد. ما به منظور ارزیابی کارایی روش پیشنهادی خود، آزمایشات جامعی را انجام می دهیم. نتایج آزمایشات، کارایی روش پیشنهادی ما را به لحاظ بازده عملیات نوشتن بر روی دیسک، بازده عملیات نوشتن بر روی حافظه، کارایی جستجو و خوشه بندی سنسورها، نشان می دهد.
کلمات کليدي- مدیریت پروسه ذخیره سازی، مدیریت سیستم های فایل