Data Loading...

esmaeily Flipbook PDF

esmaeily

124 Views
93 Downloads
FLIP PDF 1.45MB

‫دانشگاه الزهرا‬

‫(س)‬

‫دانشكده فني و مهندسي‬

‫پایاننامه کارشناسي ارشد‬ ‫رشته مهندسي کامپيوتر گرایش هوشمصنوعي‬

‫عنوان‬ ‫فعاليتکاوي مبتني بر یادگيريعميق با تاکيد بر تفكيك فعاليتهاي‬ ‫داراي تشابه‬

‫دانشجو‬

‫فاطمه اسمعيلي‬

‫استاد راهنما‬

‫دکتر محمدرضا کيوانپور‬

‫شهریور ماه سال ‪1400‬‬

Title: Human Activity Mining by Using Deep Learning with Emphasis on Distinguishing Similar Activities Surname:Esmaeily

Name:Fatemeh

First Supervisor: Dr. MohammadReza Keyvanpour

Second Supervisor:

Affiliation: Department of Computer Engineering, Faculty of Engineering, Alzahra University, Tehran, Iran.

Affiliation: Department of ........, Faculty of ..........,.... (University)...., ....(city), ....(country)...

First Advisor: Dr. Seyyed Vahhab Shojaeddini

Second Advisor:

Affiliation: Iranian Research Organization for Science and Technology, Tehran, Iran

Affiliation: Department of ........, Faculty of ..........,.... (University)...., ....(city), ....(country)...

Degree: Masters’ Degree Department: Computer Engineering and Datamining Lab Faculty:Engineering Alzahra university Subject: Computer Engineering

Field: Artificial Intelligence

Abstract: Activity Mining using sensor data is one of the most important subfields of advanced data mining. It should be noted that the existing methods in this field is used in various domains such as e-health, monitoring and security, entertainment and sports, of which the field of e-health due to the significant presence of human health as a basic parameter is of great importance. Among the cases in which exploring activities have come to the aid of the health sector can be noted as helping the elderly and the disabled in order to benefit from various aspects of life, improving the patient's condition, preventing falls and accidents, and in general improving the quality of lifestyle. In this regard, there are also challenges to mining activities, the most important of which is the misdiagnosis of similar activities such as going up and down stairs or drinking water or eating food, which with progresses in methods and also to inventing new methods such problems can be eliminated. Existing methods for diagnosing daily human activities can be divided into three main approaches namely "semantic", "featural " and "hybrid". Most activity recognition systems fall into the third approach, called "hybrid". In this approach, the view is to use a combination of "featural " and "semantic" methods. In these methods, in order to recognize the daily activities of individuals, the recorded signals of the sensors are processed by integrated multidimensional systems. To conduct experiments and research to achieve this goal, researchers also use tools, methods, and datasets, each of which has been described in detail in leading research. In this study, an activity recognition system called AMSAD based on deep learning was proposed, which succeeded in recognizing similar activities with high accuracy. Since deep learning methods have acceptable performance in meeting challenges such as interclass similarity and interclass diversity, they form the basis of the idea of the proposed AMSAD system. In this system, the activities as input elements are made of time series sensor signals. The proposed system was tested on two benchmark datasets of WISDM-6Act and WISDM-18Act and achieved an average accuracy of 84% and 88%, respectively. In order to achieve the objectives of the research, which is to increase the accuracy and precision of distinguishing similar activities, a deep learningbased activity recognition system has been designed to detect the daily activities of individuals. The implementation of the proposed system on the two datasets led to acceptable results which indicate that the proposed AMSAD system has been able to properly meet the objectives of the research.

Keywords:Activity Mining, Daily Activity Recognition, Deep Learning, Electronic Health, Wearable Sensors

‫عنوان‪ :‬فعاليتكاوي مبتني بر يادگيريعميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬ ‫نامخانوادگی‪ :‬اسمعيلي‬

‫نام‪ :‬فاطمه‬

‫استاد راهنمای اول‪ :‬دكتر محمدرضا كيوانپور‬

‫استاد راهنمای دوم‪:‬‬

‫وابستگی سازمانی‪ :‬گروه كامپيوتر‪ ،‬دانشکده فني و مهندسي‪،‬‬

‫وابستگی سازمانی‪ :‬گروه‪ ،......‬دانشکده‪(.... ،.......‬دانشگاه)‪(... ،....‬شهر)‪،....‬‬

‫دانشگاه الزهرا‪ ،‬تهران‪ ،‬ايران‪.‬‬

‫‪(.....‬كشور)‪.....‬‬

‫استاد مشاور اول‪ :‬دكتر سيد وهاب شجاعالديني‬

‫استاد مشاور دوم‪:‬‬

‫وابستگی سازمانی‪ :‬سازمان پژوهشهاي علمي و صنعتي ايران‪،‬‬

‫وابستگی سازمانی‪ :‬گروه‪ ،......‬دانشکده‪(.... ،.......‬دانشگاه)‪(... ،....‬شهر)‪،....‬‬

‫تهران‪ ،‬ايران‬

‫‪(.....‬كشور)‪.....‬‬

‫مقطع‪ :‬كارشناسيارشد‬ ‫گروه‪ :‬مهندسي كامپيوتر‬ ‫دانشکده‪ :‬فني و مهندسي‬ ‫دانشگاه الزهرا‬

‫(س)‬

‫رشته‪ /‬گرایش‪ :‬مهندسي كامپيوتر ‪ /‬هوش مصنوعي‬

‫زمینه پژوهش‪ :‬سالمت الکترونيك‬

‫چکیده‪ :‬فعاليتكاوي با استفاده از دادههاي سنسوري يکي از مهمترين زير شاخههاي دادهكاوي پيشرفته ميباشد‪ .‬بايد افزود كه استفاده از روشهاي موجود‬ ‫در اين زمينه در حوزه هاي مختلفي چون سالالالمت الکترونيك‪ ،‬نرارو و امنيت‪ ،‬سالالرگرمي و ورزش كاربرد دارد كه از اين ميان حوزهي سالالالمت الکترونيك به علت‬ ‫حضالور پررن‬

‫سالالمتي انسالان به عنوان پارامتري اسالاسالي از اهميت باريي برخوردار اسالت‪ .‬از جمله مواردي كه فعاليتكاوي به ياري حوزهي سالالمت ممده ميتوان به‬

‫ياري رسالاندن به سالالمندان و معلورن به منرور بهرهمندي از جنبه هاي گوناگون زندگي‪ ،‬بهبود وضالعيت بيمار‪ ،‬جلوگيري از سالطوو و اتفاتاو ناگوار و به صالورو كلي‬ ‫ارتطاي كيفيت شاليوهي زندگي افراد اشالاره كرد‪ .‬در اين راسالتا چالشهايي نيز بر سالر راه فعاليتكاوي وجود دارد كه مهمترين من تشالخيص اشالتباه فعاليتهاي مشالابه‬ ‫همچون بار و پايين رفتن از پلهها و يا نوشاليدن مب يا خوردن ذاا ميباشالد كه با پيشالرفت روزافزون روشها‪ ،‬بهبود هريك و نيز ابداع متدهايي نوين سالعي بر از ميان‬ ‫بردا شالتن چنين م شالکالتي وجود دارد‪ .‬روش هاي موجود براي ت شالخيص فعاليت روزانه ان سالان را مي توان به ساله رويکرد ا صاللي "مبتي بر معنا"‪" ،‬مبتني بر ويژگي" و‬ ‫"تركيبي" تط سالاليم نمود‪ .‬اك ر سالالي سالالتمهاي ت شالالخيص فعاليت در رويکرد سالالو كه "تركيبي" نا دارد‪ ،‬ترار ميگيرند‪ .‬در اين رويکرد ديدگاه ا سالالتفاده از تركيبي از‬ ‫روشهاي "مبتني بر ويژگي" و "مبتني بر معنا" اسالت‪ .‬در اين روشها به منرور تشالخيص فعاليت روزانه افراد‪ ،‬ساليگنا هاي ثبت شالده سالنسالورها توسالس ساليسالتمهاي‬ ‫يکپارچه چند بعدي پردازش مي شالود‪ .‬جهت انجا مزمايشالاو و تحطيطاو به منرور محطق نمودن اين هد ‪ ،‬محططان از ابزارها‪ ،‬روشها و مجموعه دادههايي نيز بهره‬ ‫ميبرند كه در تحطيق پيشرو هريك از اين موارد به تفصيل شرح داده شده اند‪.‬‬ ‫در اين پژوهش يك ساليسالتم تشالخيص فعاليت با نا ‪ AMSAD‬مبتني بر يادگيري عميق پيشالنهاد شالد كه با دتت باريي در تشالخيص فعاليتهاي مشالابه موفق‬ ‫شالد‪ .‬از منجايي كه روشهاي مبتني بر يادگيري عميق عملکرد تابل تبولي در رويارويي با چالشهايي همچون ت شالابه بينكال سالي و تفاوو ميانكال سالي دارند‪ ،‬مبناي‬ ‫اصالي ايده ساليسالتم پيشالنهادي ‪ AMSAD‬را تشکيل ميدهند‪ .‬در اين سيستم فعاليتها بهعنوان عنصر ورودي از جنس سيگنا هاي سنسوري دنباله زماني هستند‪.‬‬ ‫سالي سالتم پي شالنهادي بر روي دو مجموعه داده ‪ WISDM-6Act‬و ‪ WISDM-18Act‬مزمايش شالد و به ترتي به دتت ميانگين ‪ 84‬در صالد و ‪ 88‬در صالد د سالت‬ ‫يافت‪ .‬به منرور دسالتيابي به اهدا پژوهش كه باربردن صالحت و دتت تفکيك فعاليت هاي مشالابه اسالت‪ ،‬يك ساليسالتم تشالخيص فعاليت مبتني بر يادگيري عميق به‬ ‫منرور تشالخيص فعاليت روزانه افراد طراحي شالده اسالت‪ .‬پياده سالازي ساليسالتم معرفي شالده بر دو مجموعهدادهي عنوان شالده منجر به نتاي تابل تبولي شالد كه نمايانگر‬ ‫من است كه سيستم پيشنهادي ‪ AMSAD‬توانسته است به درستي اهدا پژوهش را ارضا كند‪.‬‬

‫کلیدواژه‪ :‬فعاليتكاوي‪ ،‬يادگيري عميق‪ ،‬سالمت الکترونيك‪ ،‬سنسورهاي پوشيدني‪ ،‬تشخيص فعاليتروزانه‬

‫دانشگاه الزهرا‬

‫(س)‬

‫دانشكده فني و مهندسي‬

‫پایاننامه کارشناسي ارشد‬ ‫رشته مهندسي کامپيوترگرایش هوشمصنوعي‬

‫عنوان‬ ‫فعاليتکاوي مبتني بر یادگيري عميق با تاکيد بر تفكيك فعاليتهاي‬ ‫داراي تشابه‬ ‫دانشجو‬

‫فاطمه اسمعيلي‬ ‫استاد راهنما‬

‫دکتر محمدرضا کيوانپور‬ ‫استاد مشاور‬

‫دکتر سيد وهاب شجاعالدیني‬

‫شهريور ماه سال ‪1400‬‬

‫باسمهتعالی‬

‫تعهد اصالت اثر دانشگاه الزهرا‬

‫(س)‬

‫اينجان فاطمه اسمعيلي دانشمموخته مططع كارشناسي ارشد در رشته مهندسي كامپيوتر گرايش هوش مصنوعي‬ ‫كه در تاريخ ‪ .....................‬از پاياننامه‪ /‬رساله خود تحت عنوان‪:‬‬ ‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬ ‫با كس درجه ‪ .................................‬دفاع نمودها ‪ ،‬متعهد ميشو ‪:‬‬ ‫‪.1‬اين پاياننامه‪ /‬رساله دستاورد پژوهش اينجان بوده و محتواي من از درستي و اصالت برخوردار است‪.‬‬ ‫‪.2‬اين پاياننامه‪ /‬رساله و محتواي من تاكنون توسس اينجان يا فرد ديگري براي دريافت مدرک يا امتياز در هيچ كجا ارائه نشده‬ ‫است‪.‬‬ ‫‪.3‬مطارو مستخرج از اين پاياننامه‪ /‬رساله كامالً منطبق بر من بوده و از هرگونه جعلِداده و يا تغيير اطالعاو پرهيز خواهم‬ ‫نمود‪.‬‬ ‫‪.4‬در همۀ مثار مستخرج از اين پاياننامه‪ /‬رساله‪ ،‬نا استاد(ان) راهنما و درصورو تشخيص استاد راهنماي نخست‪ ،‬نا استاد(ان)‬ ‫مشاور و نشاني رايانامۀ سازماني منان را درج خواهم كرد‪.‬‬ ‫‪.5‬حق نشر‪ ،‬تک ير و درممدهاي حاصل از اين پاياننامه‪ /‬رساله مطابق مييننامه مالکيت فکري و تجاريسازي دانشگاهالزهرا‬ ‫مصوب هياو امنا دانشگاه مورخ ‪ 1397/11/30‬متعلق به دانشگاه است و هرگونه بهرهمندي و يا نشر دستاوردهاي حاصل از‬ ‫اين تحطيق اعم از چاپ كتاب‪ ،‬مطاله و ‪ ،...‬چه در زمان دانشجويي و يا بعد از فراذت از تحصيل‪ ،‬با كس اجازه از معاونت‬ ‫پژوهشي دانشگاه مجاز ميباشد و چنانچه تدوين پاياننامه‪ /‬رساله منجر به اختراع و يا دستيابي به دانش فني جديد شود‪،‬‬ ‫مشمو احکا مرتبس با اختراع اثر و يا نوموري‪ ،‬مندرج در مييننامه فوق خواهد بود‪.‬‬ ‫‪.6‬حطوق معنوي همۀ كساني را كه در بهدست ممدن نتاي اصلي پاياننامه‪ /‬رساله تاثيرگاار بودهاند‪ ،‬رعايت كرده و هنگا به كار‬ ‫بردن دستاورد پژوهشهاي ديگران در من‪ ،‬با دتت و به درستي به منها استناد نمودها ‪ ،‬درذيراينصورو برابر توانين و مطرراو‬ ‫مسئو بوده و دانشگاه در اين خصوص مسئوليتي ندارد‪.‬‬ ‫‪.7‬در صورو اثباو تطل در تهيه پايان نامه‪ /‬رساله‪ ،‬برابر تانون پيشگيري و مطابله با تطل در وزارو علو با دانشجو رفتار خواهد‬ ‫شد‪.‬‬

‫نا و نا خانوادگي دانشجو‪:‬‬ ‫تاريخ و امضا‬

‫اين پاياننامه‪ /‬رساله با حمايت مالي ‪ .................................................................‬انجا رسيده است‪.‬‬ ‫(ويژه پاياننامه‪ /‬رسالههايي كه موافطت معاونت پژوهشي دانشگاه الزهرا و سازمان حمايت كننده را دارند‪).‬‬

‫شماره‪:‬‬ ‫تاريخ‪:‬‬

‫بنام خدا‬ ‫دانشگاه الزهرا‬

‫(س)‬

‫دانشکده فنی و مهندسی‬

‫گواهي دفاع از پاياننامه كارشناسي ارشد‬ ‫هيأو داوران‪ ،‬پاياننامه كارشناسي ارشد خانم ‪ .................................‬در رشته ‪ ................................‬با عنوان‪:‬‬

‫را در تاريخ ‪ .................‬با درجه ‪ ..................‬ارزيابي كرد‪.‬‬ ‫سمت‬

‫نام ونام خانوادگی‬

‫مرتبه علمی‬

‫دانشگاه یا‬ ‫مؤسسه‬

‫امضاء‬

‫راهنما‬

‫راهنما‬

‫مشاور‬

‫مشاور‬

‫داور داخلي‬

‫داور خارجي‬

‫نا و نا خانوادگي استاد ناظر‪:‬‬

‫امضا و تاريخ‬

‫*اين كاربرگ پس از تکميل تو سالس هياو داوران و تاييد ا سالتادناظر طبق راهنماي نگارش پايان نامه در ن سالخه صالحافي‬ ‫شده پايان نامه درج مي گردد اما به عنوان مدرک فراذت از تحصيل در مططع كارشناسي ارشد فاتد اعتبار است‪.‬‬

‫تقدیم به خانواده عزیزم‬ ‫به پاس حضور سبزشان در تمامی لحظات زندگیم‬

‫سپااس و سپتایش خداوند را که به مت توفید داد تا به یاری و مدد او ایت پژوهش‬ ‫را به پایان برسانم‪.‬‬ ‫وظیفه خود میدانم از ا سپتاد راهنمای بزرگوار ننا قاای دکتر کیوانپور که با‬ ‫دانش و داپت نظر خود‪ ،‬بنپده را در را سپتپای ان اپام ایت پژوهش یپاری نمودنپد‪ ،‬تقپدیر‬ ‫نمایم‪.‬‬ ‫همچنیت ادردانی و تقدیر از استاد بزرگوار‪ ،‬ننا قاای دکتر شااعالدینی‪،‬‬ ‫استاد محترم مشاور که با هدایت و حمایتهای بیدریغشان‪ ،‬یاریام نمودند‪.‬‬ ‫همچنیت از تمامی ک سپپانی که در لول دوران تح لپپی با راهنماییها ارز شپپمند‬ ‫علمی و معنوی خود مرا یاری نمودند‪ ،‬ادردانی مینمایم‪.‬‬

‫چکیده‬ ‫فعاليتكاوي با اسالتفاده از دادههاي سالنسالوري يکي از مهمترين زير شاخههاي دادهكاوي پيشرفته ميباشد‪ .‬بايد افزود‬ ‫كه اسالتفاده از روشهاي موجود در اين زمينه در حوزههاي مختلفي چون سالالمت الکترونيك‪ ،‬نرارو و امنيت‪ ،‬سالرگرمي‬ ‫و ورزش كاربرد دارد كه از اين ميان حوزهي سالالمت الکترونيك به علت حضالور پررن‬

‫سالالمتي انسالان به عنوان پارامتري‬

‫اسالاسالي از اهميت باريي برخوردار اسالت‪ .‬از جمله مواردي كه فعاليتكاوي به ياري حوزهي سالالمت ممده ميتوان به ياري‬ ‫ر سالالاندن به سالالالمندان و معلورن به منرور بهرهمندي از جنبههاي گوناگون زندگي‪ ،‬بهبود و ضالالعيت بيمار‪ ،‬جلوگيري از‬ ‫سالطوو و اتفاتاو ناگوار و به صالورو كلي ارتطاي كيفيت شاليوهي زندگي افراد اشالاره كرد‪ .‬در اين راسالتا چالشهايي نيز بر‬ ‫سالر راه فعاليتكاوي وجود دارد كه مهمترين من تشالخيص اشالتباه فعاليتهاي مشالابه همچون بار و پايين رفتن از پلهها و‬ ‫يا نوشاليدن مب يا خوردن ذاا ميباشالد كه با پيشالرفت روزافزون روشها‪ ،‬بهبود هريك و نيز ابداع متدهايي نوين سالعي بر‬ ‫از ميان بردا شالتن چنين م شالکالتي وجود دارد‪ .‬روشهاي موجود براي ت شالخيص فعاليت روزانه ان سالان را مي توان به ساله‬ ‫رويکرد ا صالاللي "مبتي بر معنا"‪" ،‬مبتني بر ويژگي" و "تركيبي" تط سالاليم نمود‪ .‬اك ر سالالي سالالتمهاي ت شالالخيص فعاليت در‬ ‫رويکرد سالالو كه "تركيبي" نا دارد‪ ،‬ترار ميگيرند‪ .‬در اين رويکرد ديدگاه ا سالالتفاده از تركيبي از روشهاي "مبتني بر‬ ‫ويژگي" و "مبتني بر معنا" ا سالالت‪ .‬در اين روشها به منرور ت شالالخيص فعاليت روزانه افراد‪ ،‬سالاليگنا هاي ثبت شالالده‬ ‫سالنسالورها توسالس ساليسالتمهاي يکپارچه چند بعدي پردازش مي شالود‪ .‬جهت انجا مزمايشالاو و تحطيطاو به منرور محطق‬ ‫نمودن اين هالد ‪ ،‬محططالان از ابزارهالا‪ ،‬روش هالا و مجموعاله داده هالايي نيز بهره ميبرنالد كاله در تحطيق پيشرو هريالك از اين‬ ‫موارد به تفصيل شرح داده شده اند‪.‬‬ ‫در اين پژوهش يك سالي سالتم ت شالخيص فعاليت با نا ‪ AMSAD‬مبتني بر يادگيري عميق پي شالنهاد شالد كه با دتت‬ ‫باريي در ت شالخيص فعاليتهاي م شالابه موفق شالد‪ .‬از منجايي كه روشهاي مبتني بر يادگيري عميق عملکرد تابل تبولي‬ ‫در رويارويي با چالشهايي همچون ت شالابه بينكال سالي و تفاوو ميانكال سالي دارند‪ ،‬مبناي ا صالي ايده سالي سالتم پي شالنهادي‬ ‫‪ AMSAD‬را تشالکيل ميدهند‪ .‬در اين ساليسالتم فعاليتها بهعنوان عنصالر ورودي از جنس ساليگنا هاي سالنسالوري دنباله‬ ‫زماني ه سالتند‪ .‬سالي سالتم پي شالنهادي بر روي دو مجموعه داده ‪ WISDM-6Act‬و ‪ WISDM-18Act‬مزمايش شالد و‬ ‫به ترتي به دتت ميانگين ‪ 84‬درصد و ‪ 88‬درصد دست يافت‪ .‬به منرور دستيابي به اهدا پژوهش كه باربردن صحت‬ ‫و دتت تفکيك فعاليتهاي م شالابه ا سالت‪ ،‬يك سالي سالتم ت شالخيص فعاليت مبتني بر يادگيري عميق به منرور ت شالخيص‬ ‫فعاليت روزانه افراد طراحي شالده ا سالت‪ .‬پياده سالازي سالي سالتم معرفي شالده بر دو مجموعهدادهي عنوان شالده منجر به نتاي‬ ‫تابل تبولي شالد كه نمايانگر من اسالت كه ساليسالتم پيشنهادي ‪ AMSAD‬توانسته است به درستي اهدا پژوهش را ارضا‬ ‫كند‪.‬‬ ‫کلیدواژهها‪ :‬فعاليتكاوي‪ ،‬يادگيري عميق‪ ،‬سالمت الکترونيك‪ ،‬سنسورهاي پوشيدني‪ ،‬تشخيص فعاليتروزانه‪.‬‬

‫فهرست مطالب‬ ‫فصل اول ‪21 ..................................................................................................................................................................................................‬‬ ‫‪ .1‬مطدمه‪1 ....................................................................................................................................................................................................... .‬‬ ‫‪ .1-1‬مطدمه‪1 ................................................................................................................................................................................................ .‬‬ ‫تعاريف فعاليت‪ ،‬حركت و رخداد‪2 ............................................................................................................................................. .‬‬ ‫دسته بندي فعاليت ها بر اساس ميزان پيچيدگي‪4 ...............................................................................................................‬‬ ‫دسته بندي فعاليت ها براساس حوزه ي كاربردي ‪5 ..............................................................................................................‬‬ ‫دسته بندي فعاليت ها براساس نوع محيس ‪6............................................................................................................................‬‬ ‫دسته بندي سنسورها براساس نوع داده ي توليدي‪10 .........................................................................................................‬‬ ‫دسته بندي سنسورها براساس حوزه ي كاربردي ‪12 ............................................................................................................‬‬ ‫‪ .2-1‬تعريف مسئله ‪12 .................................................................................................................................................................................‬‬ ‫‪ .3-1‬اهدا و نوموري ها ‪13 .......................................................................................................................................................................‬‬ ‫‪.4-1‬ساختار پايان نامه ‪14 ...........................................................................................................................................................................‬‬ ‫‪.5-1‬جمعبندي ‪14 ........................................................................................................................................................................................‬‬ ‫فصل دوم‪15 ..................................................................................................................................................................................................‬‬ ‫‪ .2‬مروري بر پيشينه پژوهش‪17 .................................................................................................................................................................‬‬ ‫‪ .1-2‬مطدمه ‪17 ..............................................................................................................................................................................................‬‬ ‫‪ .2-2‬كاربرد فعاليت كاوي در نرارو و امنيت ‪20 .................................................................................................................................‬‬ ‫برتراري امنيت مبتني بر محيس هوشمند عمومي‪21 ............................................................................................................‬‬ ‫برتراري امنيت مبتني بر محيس هوشمند زندگي ‪22 ..............................................................................................................‬‬ ‫‪ .3-2‬كاربرد فعاليتکاوي در سالمت الکترونيك ‪23 ...............................................................................................................................‬‬ ‫‪ 1-3-2‬نرارو بر سالمندان ‪23 .................................................................................................................................................................‬‬ ‫جلوگيري از بروز مشکالو براي معلورن و افراد ناتوان ‪25 ..................................................................................................‬‬ ‫تطاي كيفيت الگوي زندگي ‪26.................................................................................................................................................‬‬ ‫‪ .4-3-2‬بازيابي سالمت و بهبود بيماري ‪26..............................................................................................................................................‬‬ ‫‪ .4-2‬كاربرد فعاليت كاوي در سرگرمي و ورزش ‪27 ............................................................................................................................‬‬ ‫‪.1-‬ارتطاي كيفيت سرگرمي و بازي ‪27 ..............................................................................................................................................‬‬

‫تشخيص انجا صحيح حركاو ورزشي ‪28 ...............................................................................................................................‬‬ ‫‪ .3-4-2‬پيشنهاد موسيطي براساس فعاليت كنوني كاربر ‪28 ................................................................................................................‬‬ ‫‪ .5-2‬چالش هاي مشترک در داده كاوي ‪28 ...........................................................................................................................................‬‬ ‫تفاوو درون كالسي ‪29 .................................................................................................................................................................‬‬ ‫‪ .2-5-2‬شباهت ميان كالسي ‪30 ...............................................................................................................................................................‬‬ ‫كالس تهي ‪30 ...................................................................................................................................................................................‬‬ ‫‪.6-2‬چالش هاي متداو در انواع فعاليت كاوي ‪31 ..............................................................................................................................‬‬ ‫تعريف و تنوع حركاو و فعاليت هاي فيزيکي ‪31 ...................................................................................................................‬‬ ‫عد تعاد كالس ها ‪32 ................................................................................................................................................................‬‬ ‫طراحي مزمايشاو و جمع موري داده ‪32 ....................................................................................................................................‬‬ ‫‪ .7-2‬چالش هاي مرتبس با سنسورها پوشيدني ‪33 ..............................................................................................................................‬‬ ‫تنوع ويژگي هاي سنسورها ‪33 ....................................................................................................................................................‬‬ ‫محدوديت منابع ‪34 ........................................................................................................................................................................‬‬ ‫‪.8-2‬چالش هاي مرتبس با حوزه ي سالمت الکترونيك‪35 .................................................................................................................‬‬ ‫داده هاي بدون ساختار ‪35 ...........................................................................................................................................................‬‬ ‫محرمانگي اطالعاو ‪35 ..................................................................................................................................................................‬‬ ‫‪ .9-2‬چالش هاي مرتبس با سنسورهاي محيطي‪36..............................................................................................................................‬‬ ‫داده هاي ناهمگن ‪36......................................................................................................................................................................‬‬ ‫توليد داده ها به صورو سري هاي زماني ‪36...........................................................................................................................‬‬ ‫سنسور هاي حساس به محيس ‪37 ..............................................................................................................................................‬‬ ‫‪ .10-2‬چالش هاي مرتبس با سنسورهاي ويديويي ‪37 ........................................................................................................................‬‬ ‫امنيت‪37 ........................................................................................................................................................................................‬‬ ‫انسداد اشيا ‪38 ..............................................................................................................................................................................‬‬ ‫هم پوشاني‪38 ...............................................................................................................................................................................‬‬ ‫محدوديت هاي دوربين ‪38 ........................................................................................................................................................‬‬ ‫‪ .11-2‬مراحل فرايند فعاليت كاوي‪39 ....................................................................................................................................................‬‬ ‫جمع موري داده ها ‪39 ................................................................................................................................................................‬‬ ‫پيش پردازش ‪40 ...........................................................................................................................................................................‬‬ ‫تطعه بندي داده ها ‪41 ...............................................................................................................................................................‬‬

‫استخراج ويژگي ‪41 .......................................................................................................................................................................‬‬ ‫طبطه بندي فعاليت ها‪42 ............................................................................................................................................................‬‬ ‫‪.12-2‬جمع بندي ‪55 ...................................................................................................................................................................................‬‬ ‫فصل سوم ‪57 .................................................................................................................................................................................................‬‬ ‫‪.3‬روش پيشنهادي ‪59 ....................................................................................................................................................................................‬‬ ‫‪.1-3‬مطدمه‪59 ................................................................................................................................................................................................‬‬ ‫‪ .2-3‬سيستم كاوش فعاليت در دنباله ي داده ي سنسوري با تاكيد بر تشخيص فعاليتهاي مشابه (‪59 ........ )AMSAD‬‬ ‫‪ .3-3‬پيش پردازش اوليه و استخراج ويژگي توسس سيستم پيشنهادي ‪63....................................................................................‬‬ ‫تطعه بندي دنباله زماني با سايز پنجره ‪63..................................................................................................................... WS‬‬ ‫استخراج داده هاي ابعاد شتابسن ‪68.........................................................................................................................................‬‬ ‫استخراج ويژگي اوليه در حوزه فركانس ‪68..............................................................................................................................‬‬ ‫كدگااري مجدد متغيرهاي حاوي داده هاي سه بعد شتاب سن و ويژگي فركانسي منها ‪70 .....................................‬‬ ‫‪ .4-3‬مد پيشنهادي كاوش فعاليت با تاكيد بر تشخيص فعاليتهاي مشابه (‪70 .................................................. )AMSAD‬‬ ‫مد پيشنهادي ‪ TSNN‬فعاليت كاوي مبتني بر يادگيري عميق‪71 .................................................................................‬‬ ‫ساختار مد پيشنهادي براي كاوش فعاليت در سيستم ‪72 .......................................................................... AMSAD‬‬ ‫مموزش مد ارائه شده براي كاوش فعاليت در سيستم ‪74 ............................................................................. AMSAD‬‬ ‫‪ .5-3‬جمع بندي ‪74 .....................................................................................................................................................................................‬‬ ‫فصل چهارم‪77 .............................................................................................................................................................................................‬‬ ‫‪ .4‬پياده سازي و ارزيابي ‪79 .........................................................................................................................................................................‬‬ ‫‪ .1-4‬مطدمه ‪79 ..............................................................................................................................................................................................‬‬ ‫‪ .2-4‬پياده سازي سيستم كاوش فعاليت در دنباله ي داده ي سنسوري با تاكيد بر تشخيص فعاليته اي مشابه ‪79 ..........‬‬ ‫‪.3-4‬پياده سازي سيستم پيشنهادي پيش پردازش اوليه ‪80 .............................................................................................................‬‬ ‫پياده سازي تطعه بندي دنباله زماني ورودي ‪80 ....................................................................................................................‬‬ ‫پياده سازي استخراج داده هاي ابعاد شتاب سن ‪82 ..............................................................................................................‬‬ ‫پياده سازي استخراج ويژگي حوزه فركانس ‪82 ......................................................................................................................‬‬ ‫پياده سازي كدگااري مجدد بردارهاي ‪ FV‬و ‪83 ............................................................................................. FV_FFT‬‬ ‫‪ .4-4‬پياده سازي سيستم پيشنهادي پيش پردازش ثانويه و طبطه بندي بر مبناي يادگيري عميق ‪84 ................................‬‬ ‫پياده سازي دوجريان موازي با استفاده از مد ارائه شده ‪84 ...............................................................................................‬‬ ‫پياده سازي مد شبکه پيشنهادي‪85 ........................................................................................... TSNN CNN_TCN‬‬

‫پياده سازي ‪88 ......................................................................................................................... VOTING ENSEMBLE‬‬ ‫‪.5-4‬مزمون ها ‪89 ..........................................................................................................................................................................................‬‬ ‫مجموعه داده ‪89 .............................................................................................................................................................................‬‬ ‫معيارهاي ارزيابي ‪91 ........................................................................................................................................................................‬‬ ‫‪.6-4‬ارزيابي روش پيشنهادي ‪93 ...............................................................................................................................................................‬‬ ‫ار زيابي سيستم پيشنهادي كاوش فعاليت مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي مشابه ‪94 ......‬‬ ‫‪ .7-4‬تاثير هريك از نوموريها بر دتت سيستم فعاليتکاوي ‪100..........................................................................................................‬‬ ‫روش مزمون‪101..............................................................................................................................................................................‬‬ ‫نتاي حاصل از بررسي تاثير هريك از نوموريها ‪101................................................................................................................‬‬ ‫‪ .8-4‬جمعبندي ‪103.....................................................................................................................................................................................‬‬ ‫فصل پنجم ‪105..............................................................................................................................................................................................‬‬ ‫‪.5‬نتيجه گيري و توسعه هاي متي ‪107......................................................................................................................................................‬‬ ‫‪ .1-5‬مطدمه ‪107............................................................................................................................................................................................‬‬ ‫‪ .2-5‬نتيجه گيري‪107.................................................................................................................................................................................‬‬ ‫‪ .3-5‬توسعه هاي متي ‪108..........................................................................................................................................................................‬‬ ‫فهرست منابع و مآخا‪111............................................................................................................................................................................‬‬ ‫كارنامك ‪120....................................................................................................................................................................................................‬‬ ‫‪121...................................................................................................................................................................................... ABSTRACT‬‬

‫فهرست ندولها‬ ‫جدو ‪ 1-1‬دسته بندي فعاليت ها براساس ميزان پيچيگي‪5 ..............................................................................................................‬‬ ‫جدو ‪ : 2-1‬دسته بندي فعاليت ها براساس حوزه ي كاربردي ‪6.......................................................................................................‬‬ ‫جدو ‪ : 3-1‬دسته بندي فعاليت ها براساس محيس پيرامون ‪6............................................................................................................‬‬ ‫جدو ‪ : 4-1‬انواع سنسورها و كاربرد منها ‪12 ...........................................................................................................................................‬‬ ‫جدو ‪: 1-2‬نطاو توو و ضعف دسته بندي رويکردهاي فعاليت كاوي ‪51 .....................................................................................‬‬ ‫جدو ‪ : 1-3‬شرح اختصاراو به كاررفته در فصل سو ‪60....................................................................................................................‬‬ ‫جدو ‪ : 1-4‬دتت تشخيص فعاليت توسس سيستم پيشهادي به ازاي درصدهاي مختلف همپوشاني ‪82 ................................‬‬ ‫جدو ‪ : 2-4‬پيکربندي معماري بلوک پيچشي در مد ارائه شده ‪87 ..............................................................................................‬‬ ‫جدو ‪ : 3-4‬جزيياو پارامتر بلوک شبکه پيچشي زماني ‪88 ...............................................................................................................‬‬ ‫جدو ‪ : 4-4‬مشخصاو مجموعه داده ي ‪90 .................................................................................................... WISDM-18ACT‬‬ ‫جدو ‪ : 5-4‬مشخصاو مجموعه داده ي ‪91 .......................................................................................................WISDM-6ACT‬‬ ‫جدو ‪ : 6-4‬مشخصاو سيستم پردازش كننده مد پيشنهادي ‪94 .................................................................................................‬‬ ‫جدو ‪: 7-4‬جزيياو پارامترهاي تنريم شده در سيستم پايه ‪100.....................................................................................................‬‬

‫فهرست شک ها‬ ‫‪ :‬محور و جهاو يك شتاب سن ‪8 ..........................................................................................................................................‬‬ ‫‪ :‬سنسور تط نما ‪9 ....................................................................................................................................................................‬‬ ‫‪ :‬جهاو يك ژيروسکوپ ‪10 .....................................................................................................................................................‬‬ ‫‪ :‬سنسورهاي موجود در يك تلفن هوشمند ‪11 ..................................................................................................................‬‬ ‫‪ :‬تکنولوژي هاي سنسوري استفاده شده در تحطيطاو‪18 ................................................................................................‬‬ ‫‪ :‬دستهبندي چالشهاي دادهکاوي‪30 .....................................................................................................................................‬‬ ‫‪ :‬فرايند فعاليت كاوي ‪40 ...........................................................................................................................................................‬‬ ‫‪ :‬انواع ترارگيري هاي تلفن همراه مجهز به شتاب سن ‪40 ..............................................................................................‬‬ ‫‪ :‬دسته بندي رويکردهاي فعاليتکاوي ‪43 ..............................................................................................................................‬‬ ‫‪ :‬دورنماي سيستم كاوش فعاليت در دنباله ي داده ي سنسوري با تاكيد بر تشخيص فعاليت مشابه‪60..............‬‬ ‫‪ :‬گردش كار سيستم ‪61...................................................................................................................................... AMSAD‬‬ ‫‪ :‬شماي كلي سيستم فعاليت كاوي پيشنهادي‪62...............................................................................................................‬‬ ‫‪ :‬پيش پردازش و استخراج ويژگي اوليه ‪64...........................................................................................................................‬‬ ‫‪ :‬پنجره لغزان با هم پوشاني‪65.................................................................................................................................................‬‬ ‫‪ :‬جزيياو تطعه بندي ‪67............................................................................................................................................................‬‬ ‫‪ :‬فلوچارو استخراج داده هاي ابعاد شتاب سن ‪69.............................................................................................................‬‬ ‫‪ :‬جزيياو استخراج ويژگي حوزه فركانس ‪70 .......................................................................................................................‬‬ ‫‪ :‬شماي كلي مد پيشنهادي فعاليت كاوي ‪71 ...................................................................................................................‬‬ ‫‪ :‬شماي معماري مد پيشنهادي فعاليت كاوي مبتني بر يادگيري عميق ‪73 .........................................................‬‬ ‫شبه كد سيستم پيشنهادي ارائه شده ي فعاليت كاوي ‪80 ...................................................................... AMSAD‬‬ ‫‪ :‬شبه كد تطعه بندي دنباله ي زماني ورودي ‪81 ...............................................................................................................‬‬ ‫شبه كد ‪81 ................................................................................................................WINDOW GENERATOR‬‬ ‫‪ :‬شبه كد استخراج داده هاي شتابسن در سه راستاي‪ Y ،X‬و ‪82 .......................................................................... Z‬‬ ‫‪ :‬شبه كد استخراج ويزگي حوزه ي فركانس ‪83 ..................................................................................................................‬‬ ‫‪:‬شبه كد كدگااري مجدد بردارهاي ويژگي ‪ FVX, FVY, FVZ‬و ‪FVX_FFT, FVY_FFT,‬‬ ‫‪83 ................................................................................................................................................................................... FVZ_FFT‬‬ ‫‪ :‬شبه كد دوجريان موازي ‪84 ...................................................................................................................................................‬‬ ‫‪ :‬شبه كد مد پيشنهادي مبتني بر يادگيري عميق ‪85 ...................................................................................................‬‬ ‫‪ :‬شبه كد راي گيري سيستم پيشنهادي ‪88 .........................................................................................................................‬‬ ‫‪ :‬ساختار مد پايه‪100............................................................................................................................................................‬‬

‫فهرست نمودارها‬ ‫نمودار ‪: 1-3‬تاثير اندازه پنجره بر دتت سيستم فعاليت كاوي ‪65.......................................................................................................‬‬ ‫نمودار ‪ : : 1-4‬نتاي شبکه پيشهادي بر مجموعه دادهي ‪95 ......................................................................... WISDM-6ACT‬‬ ‫نمودار ‪ : 2-4‬نتاي شبکه پيشنهادي بر مجموعه داده ‪96.............................................................................WISDM-18ACT‬‬ ‫نمودار ‪ : 3-4‬نتاي شبکه پيشنهادي بر دو مجموعه دادهي ‪ WISDM-6ACT‬و ‪96......................... WISDM-18ACT‬‬ ‫نمودار ‪ : 4-4‬نتاي داده هاي تلفن هوشمند دو مد‬

‫‪ LSTM‬و ‪97 .................................................. TSNN_CNN_TCN‬‬

‫نمودار ‪ : 5-4‬نتاي داده هاي ساعت هوشمند دو مد ‪ LSTM‬و ‪98 ................................................. TSNN_CNN_TCN‬‬ ‫نمودار ‪ : 6-4‬نتالاي تمالا داده هالاي ‪ 8‬فعالاليالت از ‪ WISDM-18ACT‬بر دومالد ‪ RESNET‬و ‪TSNN_CNN_TCN‬‬

‫‪99 ......................................................................................................................................................................................................................‬‬ ‫نمودار ‪ : 7-4‬نتاي تاثير هريك از نوموري ها ‪102..................................................................................................................................‬‬

‫فصل اول‬

‫مقدمه‬

‫‪1‬‬

‫مطدمه‬

‫‪ .1‬مقدمه‪.‬‬ ‫‪ .1-1‬مقدمه‪.‬‬ ‫بيوانفورماتيك شاخهاي بين رشتهاي است كه به منرور شناخت دادههاي عريم و پيچيدهي زيستي‬ ‫از ابزارهاي مهند سالالي بهره ميبرد‪ .‬در سالالا هاي اخير د سالالتر سالالي م سالالان به حجم باريي از دادههاي‬ ‫بيوانفورماتيك و از طر ديگر وجود متدها و الگوريتمهاي رياضالياتي كارامد موج تمركز تحطيطاو در‬ ‫حوزه بيوانفورماتيك بر ا سالالتخراج اطالعاو ارز شالالمند از دادههاي جمعموري شالالده در ازاي تو سالالعه‬ ‫روشهاي ذخيره سالازي داده شالده اسالت )‪ .(Patel, et al., 2021‬تعامل انسالان و كامپيوتر و به طور ويژه‬ ‫شناخت فعاليت انسان يکي از زيرشاخههاي اين حوزه به شمار ميرود‪.‬‬ ‫كاوش اتوماتيك فعاليت هاي روزانه كه كاوش فعاليتهاي ان سالالاني نيز ناميده مي شالالود تو صالاليف‬ ‫سالت ‪(Boyer,‬‬ ‫اخت صالالا صالالي از فعاليت و حركت افراد با ا سالالتفاده از الگوريتمهاي هو شالالمند يادگيري ا ال‬

‫)‪ Burns, & Whyne, 2021‬و بعنوان يکي از حوزه هالاي مهم و كل يالدي تحطي طالاتي در زمي ناله ي‬ ‫محاسباو فراگير‪ ،‬مناليز رفتار انساني و تعامل انسان و كامپيوتر ظهور يافته است‪ .‬از منجايي كه اطالعاو‬ ‫ا سالالتنباو شالالده از دادههاي خا فعاليت افراد در حوزههاي ب سالالياري از جمله كنتر‬

‫سالالالمتي‪ ،‬حف‬

‫س اندا و طراحي كن سالو هاي بازي كاربرد گ سالتردهاي دارد‪ ،‬طراحي سالي سالتمي كارا و موثر امري‬ ‫تنا ال‬ ‫مهم تلطي مي شالود )‪ .(Ramamurthy, Sreenivasan, & Roy, 2018‬چنين ساليسالتم هايي با هد‬ ‫بهبود شالرايس زندگي سالالمندان و افراد ناتوان و هم چنين بار بردن سالطح شاليوه ي زندگي شالهروندان‬ ‫تو سالعه و گ سالترش يافته اند‪ ،‬به طوري كه امروزه شالاهد ح ضالور پررن‬

‫من ها در حيطه ي توانبخ شالي‪،‬‬

‫مراتبت و نگهداري از سالالمندان‪ ،‬سالرگرمي و امنيت و كنتر رفتار افراد در خانه هاي هوشالمند هسالتيم‬ ‫‪(Lupión, Medina-Quero, Sanjuan, & (Nweke, Teh, Al-garadi, & Alo, 2018),‬‬ ‫)‪.Ortigosa, 2021‬‬

‫به طور سالنتي فعاليتكاوي در زمينه ي بينايي ماشالين جلودار اين كار اسالت و محططان با اسالتفاده از‬ ‫ت صالالاوير ثابت و ويديو ها به كاوش حركاو و و ضالالعيت ها در محيس هاي محدود با تنريماو ثابت مي‬ ‫پردازند‪ .‬و به تدري با ظهور و ح ضالور پررن‬

‫تلفن هاي همراه‪ ،‬داده هاي اوليه از نوع ت صالوير جاي خود‬

‫را به داده هاي جمع موري شده از سنسور هاي موجود در تلفن هاي هوشمند داده اند‪ .‬در نتيجه ي من‬ ‫فعالاليالتكاوي كه داده هاي خا‬

‫سالالن سالالور ها را به عنوان ورودي دريافت نموده و فعالاليالت يك كاربر را‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪2‬‬

‫پيش بيني مي كند‪ ،‬به يکي از حوزههاي فعا و جااب تحطيطاتي در سا هاي اخير تبديل گشته است‬ ‫و در حوزه هاي صالنعتي‪ ،‬مكادميك و امنيتي مورد ا سالتفاده ترار ميگيرد )‪، (Su, Tong, & Ji, 2014‬‬ ‫‪(Beddiar, Brahim Nini, & Hadid, 2020).‬‬

‫تعاریف فعالیت‪ ،‬حرکت و رخداد‪.‬‬ ‫در حوزه ي فعاليت ها و حركاو ان سالالان ها در محيس هاي مختلف د سالالته بندي مبني بر پيچيدگي‬ ‫تعاليت به منرور جداسالازي حوزه هاي تحطيطاتي از يکديگر انجا شالده اسالت‪ .‬ساله دسالته ي كلي در اين‬ ‫زمينه حركت‪ ،‬فعاليت و رخداد مي باشد‪.‬‬ ‫‪ -1‬حرکت‪ :‬سالاده ترين مجموعه در اين د سالته بندي‪ ،‬حركت اندا هاي مختلف افراد مي با شالد‪.‬‬ ‫جابه جايي يکي از اعضاي بدن مانند تکان دادن دست‪ ،‬سر‪ ،‬پا و ‪ ...‬مي تواند در اين مجموععه‬ ‫ترار بگيرد‪ .‬كاوش حركاو ان سالالان ها در حوزه ي بينايي ما شالالين بي شالالترين سالالهم در ميان‬ ‫محططان به خود جاب كرده ا سالالت‪ .‬تطعه بندي اندا هاي ان سالالان در ت صالالاوير‪ ،‬دنبا كردن‬ ‫حركاو مفاصل در تصاوير و كشف ساختار هاي سه بعدي نهان از مناتومي بدن افراد از كاربرد‬ ‫هاي كاوش حركاو مي باشد (‪.)Cai, 1999 & Aggarwal‬‬ ‫‪ -2‬فعالیت‪ :‬سالالطح بارتر حركت‪ ،‬فعاليت مي با شالالد كه در من مجموعه اي از حركاو منجر به‬ ‫انجا فعلي مشالخص و خاص مي شالود‪ .‬فعاليت هايي چون راه رفتن‪ ،‬ايسالتادن‪ ،‬نشالسالتن و سالاير‬ ‫فعاليت هايي كه به طور معمو در طو روز انجا مي شالالود را مي تواند در اين د سالالته ترار‬ ‫داد كه خود به دو زير مجموعه ي فعاليت هاي مسان و فعاليت هاي پيچيده تطسيم مي شود‪.‬‬ ‫فعاليت هايي كه تنها خود كاربر در حا انجا من اسالت و تعاملي با شالي خارجي ديگري ندارد مانند‬ ‫دويدن‪ ،‬ن شال سالالتن‪ ،‬بار رفتن و پايين ممدن از پله ها و راه رفتن را مي توان در د سالالته ي فعاليت هاي‬ ‫مسان ترار داد‪.‬‬ ‫در دسالته ي ديگر فعاليت هاي روزمره‪ ،‬فرد مورد نرر حين انجا من فعاليت با يك شالي و وساليله ي‬ ‫ديگر در ارتباو ا سالالت و به علت يپيچده تر بودن نوع فعاليت‪ ،‬شالالنا سالالايي و ت شالالخيص من نيز د شالالوارتر‬ ‫خواهد بود‪ .‬اين گونه فعاليت ها مانند شالسالتن ظر ‪ ،‬مسالواک زدن‪ ،‬و يا نوشاليدن مب به منرور تشالخيص‬ ‫مي بالاي سالالت باله تطعالاتي‬

‫شالالامالل فعالاليالت هالاي‬

‫سالالاده تر تط سالاليم شالالونالد (‪& ,Vrigkas, Nikou‬‬

‫‪.)Kakadiaris, 2015‬‬ ‫‪ -3‬رخپداد‪ :‬فعالاليالت هالايي كاله در بالازه ي زمالاني طورني تري رخ مي دهنالد را مي توان در مجموعه‬ ‫ي رخالداد ترار داد‪ .‬در واتع رخالداد هالا مجموعاله اي از فعالاليالت هالا بالا پيچيالدگي بالار بوده كاله در‬

‫‪3‬‬

‫مطدمه‬

‫مکاني خاص رخ داده اند‪ ،‬زماني مشالخص را اشالغا كرده و شالامل جابه جايي و يا تغيير حالت‬ ‫مي باشند (‪.)Campbell, 2008 & ,Xie, Sundaram‬‬ ‫ن سالالل جديد تلفن هاي همراه مو سالالو به تلفن هاي هو شالالمند مجهز به سالالن سالالور هاي گوناگون و‬ ‫تدرتمندي چون سالن سالور هاي بينايي (دوربين)‪ ،‬شالنيداري (ميکروفون)‪ ،‬رو شالنايي‪ ،‬شالتاب سالن ‪ ،‬جهت‬ ‫يابي(تط نما) و دمايي مي با شالند‪ .‬به منرور ت شالخيص فعاليت و فعاليت هاي انجا گرفته تو سالس افراد‬ ‫مورد نرر‪ ،‬از داده هايي كه تو سالس سالن سالور هاي موجود در تلفن هاي هو شالمند جمع موري شالده ا سالت‬ ‫ا سالتفاده مي گردد كه در ادامه به تف صاليل‪ ،‬انواع سالن سالور ها و كاربرد هاي شالان شالرح داده شالده ا سالت‬ ‫(‪.)Moore, Cell phone-based biometric identification, 2010 & ,Kwapisz, Weiss‬‬ ‫ورودي و خروجي يك سالالي سالالتم فعاليتكاوي به ترتي دادههاي سالالن سالالوري و برچ سال متناظر با‬ ‫فعاليت مربوطه ا سالالت )‪ .(R.Janarthanan, Doss, & S.Baskar, 2020‬در ادامه ورودي و خروجي‬ ‫يك سيستم فعاليتكاوي به تفصيل بررسي ميشود‪.‬‬ ‫• ورودی‪ :‬دادههای سنسوری‬ ‫در يك تحطيق در زمينه ي فعاليتكاوي‪ ،‬ورودي شالامل محتواي خا سالن سالور ها مي با شالد و پيش‬ ‫بيني فعاليت كاربر بر ا سالاس من شالکل مي گيرد‪ .‬سالن سالور ها را در ساله د سالته طبطه بندي مي كنيم كه‬ ‫شالامل سالنسالور هاي ويديويي‪ ،‬سالنسالور هاي مبتني بر محيس و سالنسالور هاي پوشاليدني مي باشالند‪ .‬بر اين‬ ‫ا سالاس دادههاي ورودي نيز به اين ساله د سالته ميتواند تط ساليم شالود كه در ادامه به شالرح من پرداخته‬ ‫ميشود‪.‬‬ ‫• ‪-1‬دادههای مبتنی بر نوع سنسور‬ ‫در زمينهي توليد داده توسس سنسورهاي مورد استفاده در اين مجموعه تحطيطاو‪ ،‬دادههاي توليدي‬ ‫به سالهدسالته از سالنسالورها مرتبس ميباشالند كه سالنسالورهاي محيطي‪ ،‬سالنسالورهاي پوشاليدني و سالنسالورهاي‬ ‫ويديويي هستند‪.‬‬ ‫• دادههاي سنسورهاي محيطي‬ ‫در اين د سالته از سالن سالورها دادههاي جمعموري شالده صالرفا مربوو به محيس پيرامون ميبا شالد‪ .‬به‬ ‫بياني ديگر م شالخ صالاو محيس از جمله دماي من‪ ،‬ف شالار موجود در اتاق‪ ،‬و سالاير ويژگيهايي كه با تغيير‬ ‫محيس عوض ميشوند در اين دسته از انواع دادهها جاي ميگيرند‪.‬‬ ‫• دادههاي سنسورهاي پوشيدني‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪4‬‬

‫دادههايي كه در اين د سالته از انواع دادهها ترار ميگيرند صالرفا اطالعاتي كه به كاربر تحت نرر مربو‬ ‫ميباشالد را نمايش ميدهد‪ .‬در واتع چنانچه فرد مورد نرر را در مزمايش تغيير داده و شالخص ديگري را‬ ‫مورد برر سالالي ترار دهيم‪ ،‬دادههاي در د سالالترس تغيير ميكنند‪ .‬يکي از اين دادهها‪ ،‬اطالعاو مربوو به‬ ‫مخت صالاو جغرافيايي ا سالت كه كاربر در هر لحره در من ترار دارد‪ .‬اين داده كه تو سالس ‪ GPS‬م شالخص‬ ‫مي شالالود در هرلحرالهاي كه كاربر در محيس خود جابهجا شالالود تغيير خواهد كرد‪ .‬اطالعاو مربوو به‬ ‫نحوهي ترار گيري سنسور در بدن كاربر نيز از ديگر اطالعاتي است كه در دستهي دادههاي سنسورهاي‬ ‫پو شاليدني ترار ميگيرد‪ .‬در واتع جهت ترار گيري سالن سالور در را سالتاي ساله محور ‪ y ،x‬و ‪ z‬كه ميران‬ ‫نيروي گرانش در اين سه جهت را نمايش ميدهد از ديگر انواع دادههاي اين گروه به شمار ميرود‪.‬‬ ‫• دادههاي سنسورهاي ويديويي‬ ‫اين دسالته از سالنسالورها دادههاي تصالويري و ويديويي مربوو به هريك از فعاليتهاي مورد بررسالي را‬ ‫توليد ميكنند‪ .‬اين نوع دادهها حجم باريي دا شالته كه در نتيجه مرحلهي پردازش بر منها از پيچيدگي‬ ‫باريي برخوردار خواهد بود‪ .‬همچنين نگهداري اين دادهها نيازمند فضاي تابل توجهي ميباشد‪.‬‬ ‫• خرونی‪ :‬فعالیت تشخیص داده شده‬ ‫فعالاليالت هالا و حركالاتي كاله بالا داده هالاي سالالن سالالورهالا كالاوش شالالده مي توانالد بالا روش هالاي مختلفي‬ ‫د سالالتهبندي شالالود‪ .‬يکي از معيار هاي د سالالتهبندي اين دادهها مي تواند پيچيدگي فعاليت انجا گرفته‬ ‫با شالد‪ .‬اين د سالته برا سالاس پيچيدگي فعاليتها به ساله زير د سالتهي سالاده‪ ،‬نيمه پيچيده و تماما پيچيده‬ ‫تط سالاليم مي شالالوند‪ .‬معيار ديگر براي د سالالتهبندي فعاليتها كاربرد ت شالالخيص من فعاليت ميبا شالالد كه‬ ‫برا سالالاس هالد تحطيق فعالاليالتهالاي مورد نرر تعريف شالالده و مورد كالاوش ترار ميگيرنالد‪ .‬محيطي كه‬ ‫فعاليتها انجا ميگيرند نيز ميتواند معيار ديگر براي د سالالتهبندي ترار بگيرد‪ .‬در واتع فعاليتهايي كه‬ ‫صالرفا در محيس بيمارسالتان رخ ميدهند بساليار متفاوو از فعاليتهايي اسالت كه در ميس خانه و يا سالاير‬ ‫محيسها ميباشد‪.‬‬

‫دستهبندی فعالیتها بر اساس میزان پیچیدگی‬ ‫فعاليتهاي انجا گرفته تو سالس افراد به منرور انجا كارهاي روزمره زندگي انواع مختلفي دا شالته و‬ ‫به صالوروهاي متفاوتي نيز انجا ميپايرند‪ .‬اين فعاليتها را ميتوان از منررهاي گوناگوني دسالتهبندي‬ ‫كرد‪ .‬چنالانچاله ميزان پيچيالدگي فعالاليالت هالا معيالار د سالالتالهبنالدي من هالا ترار بگيرد‪ ،‬ميبالاي سالالت تعريفي از‬

‫‪5‬‬

‫مطدمه‬

‫"پيچيدگي" ارائه دهيم‪ .‬در اين تحطيق منرور از پيچيدگي ميزان ف ضالايي ا سالت كه دادههاي توليدي از‬ ‫فعالاليالت در حافرالههاي د سالالتگالاه ثبالت اطالعاو ا شالالغالا ميكننالد كه همالان پيچيالدگي ف ضالالايي ناميالده‬ ‫مي شالود‪ .‬همچنين پيچيدگي محا سالباتي كه ت شالخيص هريك از فعاليتها به دنبا دارد نيز مورد توجه‬ ‫ترار ميگيرد‪ .‬از جملاله زير شالالاخالههالاي اين گروه ميتوان باله فعالاليالت هالاي سالالاده‪ ،‬نيماله پيچيالده و تمالامالا‬ ‫پيچيده اشاره كرد‪ .‬جدو ‪ 1-1‬دستهبندي در اين راستا ارائه دادهاست‪.‬‬ ‫جدو ‪ 1-1‬دسته_بندی فعالیتها براساس میزان پیچیگی‬

‫دسته بندي‬

‫نوع فعاليت‬

‫فعاليت هاي ساده‬

‫راه رفتن‪ ،‬ن شال سالالتن‪ ،‬اي سالالتادن‪ ،‬باررفتن و پايين ممدن از پله ها‪ ،‬پريدن‪ ،‬ا سالالتفاده از‬ ‫مسانسور‬

‫فعاليت هاي نيمه پيچيده‬

‫خردكردن مواد ذاايي‪ ،‬تراردادن ظرو در ماشين ظرفشويي‬

‫فعاليت هاي تماما پيچيده‬

‫م سالواک زدن‪ ،‬ذاا خوردن‪ ،‬خريد كردن‪ ،‬رانندگي‪ ،‬ا سالتفاده از اتوبوس ‪ ،‬مبياري گل ها‪،‬‬ ‫شستن دست ها‪ ،‬اتو زدن لباس ها‬

‫دستهبندی فعالیتها براساس حوزهی کاربردی‬ ‫ديدگاه ديگر براي د سالالتهبندي فعاليتها حوزهاي ا سالالت كه درمن كاربرد دارند‪ .‬در اين د سالالتهبندي‬ ‫فعالاليالت هالا ارتبالاو نزديکي بالا كالاربردهالاي فعالاليالت كالاوي دا شالالتاله و از من الهالا گرفتاله‬

‫شالالدهانالد‪ .‬در واتع‬

‫فعاليتهاي اين بخش موارد تابل توجهي بر ا سالالاس نوع كاربرد شالالان ه سالالتند كه در همان حيطه مورد‬ ‫ت شالخيص و شالنا سالايي ترار ميگيرند‪ .‬به بياني ديگر‪ ،‬فعاليتهايي كه در يك مو ضالوع تحطيطاتي خاص‬ ‫صالرفا ج سالتوجوي منها مطرح ا سالت‪ .‬به عنوان م ا در حوزهي سالالمت و بيوانفورماتيك فعاليتهايي‬ ‫كه مورد برر سالي ترار ميگيرند م صالر داروهاي تجويزي‪ ،‬سالطوو‪ ،‬فعاليتهاي مربوو به بهبودي مانند‬ ‫برخي حر كالاو فيزيوتراپي و ‪ ...‬ميبالا شال نالد‪ .‬همچنين در حوزهي امن يالت و ن رالارو دويالدن در محيطي‬ ‫خاص‪ ،‬حركاو متناوب د سالالت و بازوها ميتواند ازجمله حركاو تحت نرر با شالالد‪ .‬جدو ‪ 2-1‬ن شالالان‬ ‫دهندهي برخي فعاليتهاي اين گروه ميباشد‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪6‬‬ ‫جدو ‪2-1‬‬

‫‪ :‬دستهبندی فعالیتها براساس حوزهی کاربردی‬

‫نوع فعالیت‬

‫دسته بندی‬

‫حوزهی سالمت و بیوانفورماتیک استعما داروهاي تجويزي‪ ،‬انجا حركاو تجويزي فيزيوتراپ‪،‬‬ ‫حوزهی نظارت و امنیت‬

‫دويدنهاي پي درپي در محيس مورد نرر‪ ،‬حركاو مربوو به استفاده از يك سالح خاص‬ ‫مانند حركاو پيدرپي بازو در جهتي خاص‬

‫حوزهی سرگرمی و ورزش‬

‫حركاو موزون‪ ،‬پريدنهاي متناوب‪ ،‬حركاو خاص پاها حين انجا ورزشي خاص مانند‬ ‫فوتبا‬

‫ويا بدنسازي و ‪...‬‬

‫دستهبندی فعالیتها براساس نوع محیط‬ ‫اين دستهبندي شامل فعاليتهايي است كه در هر محيس خاص انجا ميپايرد‪ .‬در واتع مجموعهاي‬ ‫از فعاليتهايي كه صالرفا در من محيس انجا شالده و در محيس ديگري رخ نخواهد داد‪ .‬به عنوان م ا در‬ ‫محيس خالاناله‪ ،‬خواب يالدن در محيس اتالاق خواب‪ ،‬م شالالپزي كردن در م شالالپز خالاناله و ‪ ...‬در اين گروه ترار‬ ‫ميگيرند‪ .‬همچنين در محيس بيمار سالالتان‪ ،‬حركاتي كه تعامل ميان افراد را ن شالالان ميدهد بي شالالتر رخ‬ ‫خواهد داد كه خدماتي كه پز شالکان و پر سالتاران به بيماران ارائه ميدهند در اين د سالته ترار ميگيرند‪.‬‬ ‫جدو ‪ 3-1‬بيانگر برخي فعاليتهاي اين دسته ميباشد‪.‬‬ ‫جدو ‪3-1‬‬

‫‪ :‬دستهبندی فعالیتها براساس محیط پیرامون‬

‫دسته بندي‬

‫نوع فعاليت‬

‫محيس خيابان‬

‫رانندگي‪ ،‬سوار و پيادهشدن از تاكسي و وسايل نطليه عمومي‬

‫محيس فروشگاه‬

‫برداشالتن سالاک خريد‪ ،‬اسالتفاده از دسالتگاه ‪ ،ATM‬باز و بسالته نمودن درب‬ ‫مغازه‬

‫محيس خانه‬

‫اسالتراحت در محيس اتاق خواب‪ ،‬تماشالاي تلويزيون در محيس اتاق نشاليمن‪،‬‬ ‫مطالعهي كتاب پشت ميز مطالعه‬

‫عالوه بر دستهبندي ورودي و خروجي يك سيستم فعاليتكاوي‪ ،‬ابزار جمعموري دادهها نيز ميتواند‬ ‫براساس فاكتورهاي متنوعي دستهبندي شود كه در ادامه اين مورد بررسي ميشود‪.‬‬

‫‪7‬‬

‫مطدمه‬

‫دستهبندی سنسورها براساس محیط‬

‫چنانچه د سالالتهبندي سالالن سالالورهاي مورد ا سالالتفاده در تحطيطاو فعاليتكاوي مدنرر با شالالد‪ ،‬ميتوان‬ ‫برا سالاس واب سالتگي نوع دادههايي كه توليد ميكنند به محيس پيرامون شالان را عاملي در طبطهبندي منها‬ ‫دانسالت‪ .‬در حطيطت سالنسالوري كه اطالعاو محيطي كه كاربر در من ترار دارد را به دسالت دهد‪ ،‬سالنسالور‬ ‫واب سالته به محيس مح سالوب شالده و سالن سالوري كه دادههاي جمعموري شالده تو سالس من ارتباو نزديکي با‬ ‫محيس پيرامونش نداشالته باشالد‪ ،‬سالنسالور مسالتطل از محيس به شالمار خواهد رفت‪ .‬سالنسالورهاي مسالتطل از‬ ‫محيس به دليل توليد دادههاي مرتبس با كاربر ميتوانند سنسورهاي وابسته به كاربر نيز ناميده شوند‪.‬‬ ‫‪-1‬سنسورهای وابسته به محیط‬ ‫نوع ديگري از سالنسالور ها كه سالنسالور هاي مبتني بر محيس مي باشالند به هد كاوش تعامل كاربران‬ ‫با محيس ا سالتفاده مي شالوند‪ .‬اين نوع سالن سالور ها شالامل انواع مبتني بر راديو مانند واي فاي‪ ،‬بلوتو ‪ ،‬و‬ ‫سالنسالور هاي مادون ترمز مي باشالند و معمور در اماكن مسالطف مانند سالاختمان هاي اداري و يا خانه ها‬ ‫مورد ا سالالتفاده ترار مي گيرند‪ .‬اين نوع سالالن سالالور ها به صالالورو منفعالنه رفتار و اعما كاربران در يك‬ ‫موتعيت م شالخص و يا تعامالت شالان با ا شاليايي كه منها نيز مجهز به سالن سالور مي با شالند را زير نرر دارند‪.‬‬ ‫سنسور هاي مبتني بر محيس محدوديت هايي نيز دارند كه از اين ميان مي توان به ثابت بودن موتعيت‬ ‫هاي اسالتفاده ي من ها و بار بودن هزينه ي پياده سالازي شالان اشالاره كرد (‪Mihailidis, & Rashidi‬‬

‫‪.)A Survey on Ambient-Assisted Living Tools for Older Adults, 2013‬‬ ‫• فشارسن‬ ‫ف شالار سالن يکي ديگر از سالن سالور هايي ا سالت كه در تلفن هاي هو شالمند ترار داده شالده ا سالت‪ .‬اين سالن سالور‬ ‫ف شالار اتم سالفريك محيطي كه در من ترار دارد را اندازه مي گيرد‪ .‬ف شالار هوا در ارتفاع هاي مختلف و يا حتي در‬ ‫محيس هايي با ارتفاع يکسان اما با ساختار متفاوو (راهرو هاي باريك يا پهن) در يك ساختمان تعيير مي كند‪.‬‬ ‫در نتيجه‪ ،‬خواندن داده هاي ف شالالار سالالن به منرور كاوش تغييراو موتعيتي كاربر در فعاليتكاوي مي تواند‬ ‫مورد استفاده ترار گيرد (‪.)Webster, 1831‬‬ ‫• دما سن‬ ‫از ديگر سالن سالورهاي واب سالته به محيس كه در امر جمعموري داده از من ا سالتفاده ميگردد دما سالن ا سالت‪ .‬در‬ ‫واتع هر كاربر با به همراه دا شالالتن سالالن سالالور مورد نرر كه معمور در تلفنهمراه هو شالالمند تعبيه شالالده و انجا‬ ‫فعالاليالتهالاي مورد نرر ميتوانالد داده هالاي بالا برج سال موردنرر را توليالد كنالد )‪ .(Masum, et al., 2018‬باله‬ ‫منرور ت شالخيص فعاليتهاي م شالابهي چون "ن شال سالتن در سالرويس بهدا شالتي" و "ن شال سالتن" ثبت دماي محيس‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪8‬‬

‫سالالرويس بهدا شالالتي تو سالالس دما سالالن هاي موجود در محيس به تمايز ميان اين دو فعاليت م شالالابه كمك كرده و‬ ‫موج باررفتن دتت تشخيص منها ميشود چرا كه دماي ثبت شده توسس اين نوع سنسور در محيس سرويس‬ ‫بهداشالتي بارتر از سالاير محيسها ميباشالد (‪.)Alam, 2019 & ,Barna, Masum, Hossain, Bahadur‬‬ ‫بايد افزود كه سالن سالورهاي دما مخت صالاو يک سالان در را سالتاي محور ‪ y‬دارند چرا كه سالن سالورزماني مح سالوب‬ ‫ميشوند و فضايي نيستند )‪.(Tan, et al., 2018‬‬ ‫‪-2‬سنسورهای مستق از محیط (وابسته به کاربر)‬ ‫اين سالنسالورها همانطور كه از نامشالان مشالخص اسالت دادههاي صالرفا مربوو به كاربر را توليد كرده و نتايجي‬ ‫سالس اين‬ ‫كه از منها به د سالالت ميميد واب سالالته به كاربر ميبا شالالد‪ .‬به بياني ديگر دادههاي جمعموري شالالده تو ال‬ ‫سالنسالورها از كاربري به كاربر ديگر كامال متفاوو خواهد بود‪ .‬به عنوان نمونه موتعيتي كه كاربر در هر لحره در‬ ‫من واتع ا سالالت اطالعاتي به د سالالت ميدهد كه صالالرفا مربوو به من كاربر ميبا شالالده همچنين اطالعاتي در مورد‬ ‫نحوه ي ترار گيري تلفن هو شالالمند و يا هر سالالن سالالور ديگر در بدن كاربر نيز اطالعاو مربوو به كاربر مح سالالوب‬ ‫ميشود‪.‬‬

‫• شتاب سن‬ ‫سالن سالور هاي شالتاب سالن دريافت كننده رخداد شالتابي تلفن هاي هو شالمند كه در ساله محور با‬ ‫جهاتي سالت كه در شالکل ‪ 1-1‬به نمايش درممده مي با شالند‪ .‬داده ي خا توليدي تو سالس شالتاب سالن در‬ ‫واتع شالتاب هر محور در واحد نيروي گرانش ا سالت كه در تال مجموعه اي از بردار ها نمايش داده مي‬ ‫شود‪. 𝐴𝑐𝑐𝑖 = < 𝑥𝑖 , 𝑦𝑖 , 𝑧𝑖 > , ( i = 1,2,3,…) :‬‬

‫‪ :‬محور و نهات یک شتا‬

‫سنج ]‪[3‬‬

‫‪9‬‬

‫مطدمه‬

‫به منرور كمك به انتخاب بهترين نرخ نمونه برداري در مزماي شالاو‪ ،‬ب سالياري از شالتاب سالن هاي‬ ‫موجود يك رابس كاربري به منرور پيکربندي فركانس نمونه ارائه مي دهند‪ .‬شالالتاب سالالن ها به علت‬ ‫توانايي در محاسالبه ي مسالتطيم وضالعيت حركتي كاربر به صالورو گسالترده در تلفن هاي هوشالمند مبتني‬ ‫بر فعاليتكاوي ا سالالتفاده شالالده اند‪ .‬براي م ا ‪ ،‬چنانچه يك كاربر فعاليت خود را از راه رفتن به دويدن‬ ‫تغيير دهد‪ ،‬اين تغيير بر روي شالکل ساليگنا در راستاي محور افطي با يك تغيير ناگهاني در دامنه‪ ،‬خود‬ ‫را ن شالالان مي دهد‪ .‬عالوه بر اين‪ ،‬داده ي شالالتابي در طو يك بازه ي زماني م شالالخص مي تواند الگوي‬ ‫حركتي را نشان دهد كه در كاوش فعاليت هاي پيچيده مفيد خواهد بود (‪.)Ji, 2014 & ,Su, Tong‬‬

‫• تط نما‬ ‫سالالن سالالور تط نما در تلفن هاي هو شالالمند با مکانيزمي م شالالابه تط نماي سالالنتي كه به منرور‬ ‫تشالخيص تط هاي شالما و جنوب از نيروي مغناطيسي بهره مي گيرد‪ ،‬كار مي كند‪ .‬شکل ‪ 2-1‬نشان‬ ‫دهنده ي صفحه ي نمايش تط نما در يك تلفن هوشمند مي باشد‪.‬‬ ‫داده ي خامي كه از سالالن سالالور ماكور خوانده مي شالالود‪ ،‬عددي اع شالالاري در بازه ي ‪ 0°‬تا ‪ 360°‬مي‬ ‫با شالد‪ .‬اين عدد از ‪ 0°‬به عنوان تط‬

‫شالما‬

‫شالروع شالده و ن شالان دهنده ي زاويه ي ميان جهت فعلي‬

‫تلفن هوشالمند و جهت شالما مي باشالد‪ .‬به عنوان م ا ‪ ،‬زاويه ي دتيق شالرق ‪ 90°‬بوده و زاويه ي دتيق‬ ‫ذرب ‪ 270°‬ا سالت‪ .‬رز به ذكر ا سالت كه اين نوع داده به منرور ت شالخيص تغيير جهت در فعاليت كاربر‬ ‫مانند راه رفتن وي مورد استفاده ترار مي گيرد‪.‬‬

‫‪ :‬سنسور اطب نما ]‪[3‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪10‬‬

‫• ژيروسکوپ‬ ‫ژيرو سالکوپ در واتع با ت شالخيص گرايش و جهت تلفن همراه به كمك شالتاب سالن ممده و با افزودن‬ ‫سطح ديگري از دتت‪ ،‬موثر و كارا عمل مي كند‪ .‬ژيروسکوپ با تشخيص حركاتي چون گردش‪ ،‬پرتاب و‬ ‫انحرا به ترتي در را سالالتاي محور هاي ‪ y ،x‬و ‪ z‬كه در شالالکل‪ 3-1‬به نمايش در ممده نرخ چرخش‬ ‫تلفن همراه را با واحد راديان بر ثانيه اندازه گيري مي كند‪.‬‬ ‫ژيرو سالالکوپ در برنالاماله هالاي كالاربردي جهالت يالابي و همچنين برخي بالازي هالا كاله داده ي چرخش را‬ ‫ا سالتفاده مي كنند‪ ،‬مفيد واتع مي شالود‪ .‬در تحطيطاو فعاليتكاوي نيز ژيرو سالکوپ براي كمك به جهت‬ ‫يابي بسيار مورد استفاده است (‪.)De Carlo, 2017 & ,Passaro, Cuccovillo, Vaiani‬‬

‫‪ :‬نهات یک ژیروسکوپ ]‪[3‬‬

‫دستهبندی سنسورها براساس نوع دادهی تولیدی‬ ‫سالن سالورهاي مورد ا سالتفاده در فعاليتكاوي برا سالاس نوع دادههايي كه توليد ميكنند نيز ميتوانند‬ ‫مورد دسالتهبندي ترار گيرند‪ .‬از جملهي منها ميتوان به نوع دادهي ويديويي اشالاره كرد كه سالنسالورهاي‬ ‫ويديويي مولد منها ميبا شالالند‪ .‬سالالن سالالورهاي ويديويي كه همان دوربينهاي نرارتي ميبا شالالند در‬ ‫محيسهاي مختلف به هد برتراري امنيت و يا تحت نرر دا شالالتن كاربري خاص در امور متفاوو مورد‬ ‫اسالتفاده ترار ميگيرند‪ .‬دسالتهي ديگري از سالنسالورها انواع پوشالدني بوده كه دادههاي توليد شالده توسالس‬ ‫من هالا از نوع سالاليگنالا و يالا اعالدادي ا سالالت كاله نمالايالانگر ويژگي هالاي موردنرر در هر تحطيق و پژوهش‬ ‫ميباشد‪.‬‬ ‫• سنسور های ویدیویی‬ ‫ص‬ ‫نوع او در وتع دوربين هاي ن ال‬

‫شالده در ورودي و خروجي اماكن عمومي به منرور كاوش چهره‬

‫ي افراد و كنتر فعاليتشالان و يا در اتاق نشاليمن يا اتاق خواب ها با هد دنبا كردن زندگي روزانه ي‬ ‫كاربران مي با شالند‪ .‬كنتر ب صالري عالوه بر نطاو ضالعف ا شالاره شالده در بخش هاي گا شالته كاربرد هاي‬

‫‪11‬‬

‫مطدمه‬

‫بسياري همچون كمك به معلولين و سالمندان‪ ،‬نرارو و برتراري امنيت را در كنار ثبت اتفاتاو روزمره‬ ‫دارد (‪.)Caballero, 2013 & ,Chaquet, Carmona‬‬ ‫• سنسور های پوشیدنی‬ ‫سالنسالور هاي پوشاليدني دسالته ي مخر انواع سالنسالور ها مي باشالند كه ساليار بوده و در سالايز كوچك نيز‬ ‫موجود مي باشند و با هد ترار گيري روي بدن اشخاص در حين فعاليت هاي روزانه طراحي شده اند‪.‬‬ ‫به منرور ثبت حارو فيزيولوژيکي افراد مانند تغييراو مکاني‪ ،‬جهاو حركتي‪ ،‬سالالرعت و ‪ ...‬مي توان از‬ ‫اين د سالته سالن سالور ها كه شالامل شالتاب سالن ‪ ،‬ژيرو سالکوپ‪ ،‬ميکروفون‪ ،‬موتعيت ياب و ف شالار سالن مي‬ ‫با شالالند‪ ،‬بهره ج سالالت (‪Mihailidis, A Survey on Ambient-Assisted Living & Rashidi‬‬

‫‪ .)Tools for Older Adults, 2013‬اين سالالن سالالور ها اطالعاو مهمي در رابطه با كاوش و كنتر‬ ‫فعاليت كاربران مانند راه رفتن‪ ،‬اي سالتادن يا دويدن در اختيار محططان ترار مي دهند ( ‪Nweke, Teh,‬‬

‫‪ .)Alo, 2018 & ,Al-garadi‬محططان در مزمايشاو انجا گرفته با اهدا مشخص خود در تال هاي‬ ‫متنوعي از اين سالالن سالالور ها بهره برده اند‪ .‬همچنين در تلفن هاي هو شالالمند نيز چنين سالالن سالالور هايي‬ ‫موجود مي با شالد‪ .‬شالکل ‪ 4-1‬مجموعه اي از سالن سالورها كه در تلفن هاي هو شالمند امروزي فراهم ممده‬ ‫است را به صورو مختصر نمايش مي دهد‪.‬‬

‫‪ :‬سنسورهای مونود در یک تلفت هوشمند ]‪[3‬‬

‫جدو ‪ 4-1‬انواع سنسورها به همراه كاربرد منها را مشخص كرده است‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪12‬‬

‫جدو ‪ : 4-1‬انواع سنسورها و کاربرد قنها‬

‫نا سنسور‬

‫كاربرد‬

‫شتاب سن‬

‫اندازهگيري نيروي شتابي وارد شده به دستگاه‬

‫سنسور جاذبه‬

‫اندازهگيري نيروي جاذبه وارد شده به دستگاه در سه محور )‪(x,y,z‬‬

‫ژيروسکوپ‬

‫اندازهگيري چرخش دستگاه در سه محور )‪(x,y,z‬‬

‫سنسور روشنايي‬

‫اندازهگيري سطح روشنايي محيس‬

‫مغناطيس سن‬

‫اندازهگيري ميدان ژئومغناطيسي محيس در سه محور )‪(x,y,z‬‬

‫فشار سن‬

‫اندازهگيري فشار هواي محيس‬

‫سنسور رطوبت‬

‫اندازهگيري رطوبت محيس‬

‫دستهبندی سنسورها براساس حوزهی کاربردی‬ ‫در اين د سالتهبندي سالن سالورهايي كه صالرفا در حوزهاي خاص مورد ا سالتفاده ترار ميگيرند گنجانده‬ ‫مي شالالوند‪ .‬به عنوان م ا‬

‫سالالن سالالورهاي خاص مورد ا سالالتفاده در حوزهي امنيت كه در صالالنايع دفاعي‬

‫كشالورها‪ ،‬ارتشها و نيروهاي نرامي در اين گروه ميباشالند‪ .‬همچنين سالنسالورهاي خاصالي كه در محيس‬ ‫مزمايشالگاههاي تخصالصالي در رشالتههاي مختلف دانشالگاهي در دسالترس اسالتادان و دانشالجويان اسالت نيز از‬ ‫جملهي اين سالن سالورها ه سالتند كه به علت تخ صال صالي بودن نا و ويژگيهاي شالان از ذكر منها صالر نرر‬ ‫ميشود‪.‬‬

‫‪ .2-1‬تعریف مسئله‬ ‫با ا سالالتفاده از يك مجموعه دادهي ‪ D‬كه از فعاليتهاي متعددي ت شالالکيل شالالده ا سالالت كاوش اين‬ ‫دادهها مذاز مي شالود‪ .‬هر فعاليت از تعدادي ريز فعاليت سالاخته شالده و داراي بازهي زماني مختص خود‬ ‫ميبالا شالالد‪ .‬در مجموعالهدادهي مورد نرر هر فعالاليالت داراي برچ سال بوده و هالد طبطالهبنالدي اطالعالاو‬ ‫س هاي داخل من ا سالت‪ .‬به منرور ت سالهيل در تعريف م سالئله از‬ ‫موجود در مجموعهداده مطابق با برچ ال‬ ‫تعاريف زير بهره ميجوييم‪.‬‬ ‫تعریف ‪ .1‬مجموعه دادهي ‪ D‬شالامل مجموعهاي از فعاليتهاي انجا شالده توسالس كاربران ميباشالد‪.‬‬ ‫هر سالطر اين مجموعه داده يك فعاليت م شالخص بوده كه با ‪ a‬نمايش داده شالده و تو سالس يك چندتايي‬ ‫به صالالورو ) 𝑝𝐺 ‪ 𝑎 = (𝑖𝐷𝑝 . 𝑇𝑝 .‬م شالالخص مي شالالود‪ ،‬كه در من 𝑝𝐷𝑖 ن شالالانهي شالالخص انجا دهندهي‬

‫‪13‬‬

‫مطدمه‬

‫فعاليت‪ 𝑇𝑝 ،‬دوتايي ) 𝑒𝑡 ‪ (𝑡𝑠 .‬و ن شالاندهندهي بازهي زماني انجا فعاليت ا سالت كه 𝑠𝑡 نططهي شالروع و‬ ‫𝑒𝑡 نططهي پايان با شالرو 𝑒𝑡> 𝑠𝑡 ميباشالد‪ ،‬همچنين 𝑝𝐺 ساله تايي ) 𝑧𝑔 𝑦𝑔 𝑥𝑔( و نشالاندهندهي مطدار‬ ‫شتابسن براي كاربر مورد نرر در راستاي سه محور ‪ y ،x‬و ‪ z‬است‪.‬‬ ‫به منرور ت شالالخيص فعاليتها با ا سالالتفاده از انواع روشهاي پيش پردازش مجموعهداده مورد تغيير‬ ‫ترار ميگيرد‪ .‬باله عنوان م الا روش پنجره لغزان ميتوانالد داده هالا را باله فريم هالايي بالا طو موردنرر و‬ ‫همپو شالاني دلخواه تط ساليم كند‪ .‬فريمهايي كه به د سالت ميميند با ا سالتفاده از انواع روشهاي طبطهبندي‬ ‫مر سالو به كالسهاي متناظر شالان د سالتهبندي مي شالوند‪ .‬پس از دريافت كالسهاي مورد نرر و ارزيابي‬ ‫نتاي ‪ ،‬فعاليتهايي كه بي شالترين شالباهت را با يکديگر دارند نرخ صالحت و دتت پايينتري را به د سالت‬ ‫ميدهالد‪ .‬يکي از انواع فعالاليالت هالا بالا در صالالد شالالبالاهالت بالار‪ ،‬تردد در پلاله هالا ( بالار و پالايين رفتن از پلاله هالا)‬ ‫ميباشد‪.‬‬

‫‪ .3-1‬اهداف و نوقوریها‬ ‫هد از انجا اين پژوهش‪ ،‬ارائه يك سالي سالتم فعاليتكاوي با ا سالتفاده از يادگيري عميق به منرور‬ ‫ت شالخيص فعاليتهاي م شالابه افراد در بخش طرح م سالئله ا سالت‪ .‬در اين پژوهش نوموريهايي انجا شالده‬ ‫ا سالت كه در ادامه به منها ا شالاره مي شالود‪ .‬نوموريهاي ارائه شالده عالوه بر معماري كلي پي شالنهادي در‬ ‫ت سالالمت پيشپردازش‪ ،‬تفکيك دادهها بر ا سالالاس تابليت سالالن سالالورها‪ ،‬پردازش و طبطهبندي فعاليتهاي‬ ‫س متناظر با هر فعاليت انجا شالده ا سالت كه در ذيل به تفکيك ذكر خواهد‬ ‫ورودي و پيشبيني برچ ال‬ ‫شد‪.‬‬ ‫رويکردهاي ارائه شالالده در حوزهي ت شالالخيص فعاليت مورد برر سالالي ترار گرفته و د سالالتهبندي اين‬ ‫روشها ارائه شده است‪.‬‬ ‫رويکردي جديد به منرور حل م سالئلهي ت شالخيص فعاليت ارائه شالده كه جزيياو من به شالرح ذيل‬ ‫است‪.‬‬ ‫به منرور فعاليتكاوي سالي سالتمي جديد با نا ‪ AMSAD‬ارائه شالد‪ .‬در ادامه نوموريهاي اين روش‬ ‫ممده است‪:‬‬ ‫• ا سالالتخراج ويژگي حوزه فركالانس باله منرور بالار بردن ويژگي هالاي متمالايز كننالده فعالاليالت هالاي‬ ‫مشابه‬ ‫• تفکيك دادههاي ورودي به سه بخش مجزا براساس مشخصاو سنسور جمعموري كننده‬ ‫• ا سالالتفاده از شالالبکه پيچ شالالي زماني با هد منرور كردن بعد زمان دادههاي ورودي و باربردن‬ ‫دفت سيستم‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪14‬‬

‫•‬

‫سالالاخت مد چندورودي و پردازش موازي دو جريان حاوي شالالبکههاي پيچ شالالي و پيچ شالالي‬ ‫زماني‬

‫• ا سالالتفاده از رايگيري گروهي به منرور تركي برچ سال هاي پيشبيني شالالده تو سالالس مد‬ ‫پيشنهادي‬

‫‪ .4-1‬ساختار پایاننامه‬ ‫ساختار فصو متي پاياننامه بدين شرح است‪:‬‬ ‫در فصالل دو ‪ ،‬به بررسالي مفاهيم‪ ،‬تعاريف‪ ،‬معماري كلي ساليسالتمهاي كاوش فعاليت انسالان با اسالتفاده‬ ‫از دادههاي سنسوري و مرور پژوهشهاي انجا شده در اين حوزه پرداخته ميشود‪ .‬در فصل سو ‪ ،‬روش‬ ‫پي شالنهادي براي فعاليتكاوي مبتني بر يادگيري عميق ارائه شالده و جزيياو روش موردنرر شالرح داده‬ ‫مي شالود‪ .‬شالرح پياده سالازي روش پيشالنهادي ارائه شالده به همراه نتاي حاصالل از مزمايشها نيز در فصالل‬ ‫چهار ممده اسالت‪ .‬در ف صالل پنجم نيز به توضاليح در خ صالوص نتيجهگيري و توسالعههاي متي براي بهبود‬ ‫عملکرد و كارايي روشهاي پيشنهادي پرداخته ميشود‪.‬‬

‫‪ .5-1‬نمعبندی‬ ‫در بخش ارائه شالده مفاهيم اوليه و مطدماو فعاليتكاوي به تفصاليل بيان شالد‪ .‬همچنين اشالاره اي به‬ ‫تاريخچه ي پيدايش و استفاده از سنسور هاي متنوع گرديد كه به منرور تشخيص فعاليت افراد و ساير‬ ‫اهدا كه در بخش پيش رو تو ضاليح داده شالده ا سالت‪ .‬عالوه بر اين انواع سالن سالور هاي مورد ا سالتفاده در‬ ‫زمينه ي داده هاي شتابي و سه بعدي به همراه خروجي فرايند فعاليتكاوي معرفي گرديد‪.‬‬

‫فصل دوم‬

‫مروري بر پيشينه پژوهش‬

‫‪17‬‬

‫مروري بر پيشينه پژوهش‬

‫‪ .2‬مروری بر پیشینه پژوهش‬ ‫‪ .1-2‬مقدمه‬ ‫به طور كلي ا سالتفاده از سالن سالور ها به هد كاوش حركاو به دو د سالته ي سالن سالور هاي خارجي و‬ ‫پو شالاليدني تط سالاليم مي شالالوند)‪ . (Lara & Labrador, 2013‬يکي از اولين نمونه هاي بهره گيري از‬ ‫كاوش فعاليت همانگونه كه پي شالتر نيز بح‬

‫شالد‪ ،‬حوزه ي بينايي ما شالين بود كه در من با ا سالتفاده از‬

‫داده هاي ويديويي ا سالتخراج شالده از دوربين ها‪ ،‬حركاو و ژ سالت هاي افراد مورد كاوش و برر سالي ترار‬ ‫ميگيرد‪ .‬اين نوع كاوش يکي از نمونه هاي اسالتفاده از سالنسالور هاي خارجي مي باشالد‪ .‬به عنوان برخي از‬ ‫علل اسالتفاده از ساليسالتم هاي كاوش مبتني بر بينايي ماشالين مي توان به توانايي منها در رديابي‪ ،‬كاوش‬ ‫و حتي درک و تفسالير با وجود فاصالله اشالاره كرد‪ .‬اين ساليستم ها همچنين مصر انرژي پاييني داشته و‬ ‫ارزان تيمت تر نيز مي باشند (‪.)Pentland, 2000‬‬ ‫از جمله اولين تحطيطاو در اين حوزه عک سالبرداري از ا شالياي در حا حركت تو سالس دو عکاس در‬ ‫دههي ‪ 50‬ميالدي بود كه نتيجه ي كار م شالالکار سالالازي جنبه هاي جااب و جال هنري بود كه تحرک‬ ‫ان سالان ها و حيواناو را شالامل مي شالد‪ .‬تد بعدي در اين حوزه تو سالس محطق ديگري در ك شالور سالوئد‬ ‫برداشته شد‪ .‬در تحطيق وي ويژگي هاي الگو هاي حركتي با هد توسعه ي مد جبري‪-‬جنبشي براي‬ ‫مناليز بردار تصويري استخراج شد‪ .‬در حطيطت نتيجه ي كار ارائه ي انگيزه براي انجا تحطيطاو و مناليز‬ ‫هاي بي شالالتر در حوزه ي علم اع صالالاب بود (‪Ortigosa, & ,Lupión, Medina-Quero, Sanjuan‬‬

‫‪ .)Johansson, 1973( ,)2021‬در اين ميان به دريل مختلف از جمله محدوديت هاي پرداز شالالي در‬ ‫اين حوزه كه به كاهش كارايي ساليسالتم هاي بالدرن‬

‫كاوش ماشالين منجر مي شالود و همچنين مسالئله‬

‫ي حف حريم شالالخ صالالي افراد كه در نرارو و ياري به سالالالمندان مطرح ا سالالت‪ ،‬فعاليتكاوي در حوزه‬ ‫بينايي ما شالين محبوبيت كمتري دا شالته و در مطابل همانگونه كه نمودار زير ن شالان مي دهد ا سالتفاده از‬ ‫سنسور هاي پوشيدني و عميق بيشتر مورد توجه محططان ترار گرفته است (‪.)Theng, 2014 & Ann‬‬ ‫پيش از صالالحبت در مورد سالالن سالالور هاي نوع دو ‪ ،‬نمونهي ديگري از سالالن سالالورها ي خارجي خانه هاي‬ ‫هوشالمند مي باشالند كه تادر به تشالخيص فعاليت هاي كمي پيچيده مانند شالسالتن ظر ها‪ ،‬خوردن ذاا‬ ‫و ‪ ...‬مي باشالند اما از منجايي كه چنانچه كاربر مورد نرر در طو روز تعاملي با اشالياي مجهز به سالنسالور‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪18‬‬

‫ندا شالته با شالد داده اي هم در د سالترس نخواهد بود ا سالتفاده از سالن سالورهاي پو شاليدني مورد توجه ترار‬ ‫گرفتند (‪.)Labrador, 2013 & Lara‬‬ ‫كاوش داده هاي سالنسالوري و داده هاي مرتبس با بينايي ماشالين به منرور كاوش و تشالخيص فعاليت‬ ‫مانند هر نوع كاوش داده ي ديگر چالش هاي م شالالترک ب سالالياري با حوزه ي كاوش الگو دارد‪ .‬عالوه بر‬ ‫صالرفا مرتبس با خود مواجه ا سالالت كه در‬ ‫اين چالش هاي عمومي‪ ،‬حوزه ي ا شالالاره شالالده با چالش هايي ال‬ ‫ادامه به شالرح من ها پرداخته مي شالود‪ .‬همچنين در هر زمينهي پژوه شالي م شالنا شالدن با نحوهي انجا‬ ‫فراي نالدي خالاص در من حوزه گالامي ا سالالا سالالي در ج هالت درک عميق و بن يالادين من دارد‪ .‬در حوزهي‬ ‫دادهكاوي نيز هنگامي كه با دادههاي ا سالتخراج شالده از سالن سالورهاي ساله بعدي‪ ،‬پو شاليدني و يا ويديويي‬ ‫به منرور كاوش فعاليت افرادي كه دادههاي ماكور را توليد كردهاند سروكار داريم‪ ،‬رز است با نحوهي‬ ‫شالنا سالايي اين فعاليتها م شالنا شالويم‪ .‬در اين را سالتا در اين بخش گا هاي فرايند شالنا سالايي و كاوش‬ ‫فعاليت افراد نيز مورد بررسي ترار گرفته و هر مرحله با جزيياو كافي مطرح ميشوند‪.‬‬ ‫به منرور نيل به هد ت شالالخيص فعاليت افراد ميباي سالالت از رو شالالهايي مختص نوع دادههاي در‬ ‫د سالالترس بهره ج سالالت‪ .‬در اين زمينه دادههاي جمعموري شالالده عموما در دو گروه دادههاي ويديويي و‬ ‫دادههاي سالن سالوري جاي ميگيرند كه دادههاي سالن سالوري نيز از دو جنبه تابل تفکيك ه سالتند‪ ،‬يکي‬ ‫دادههاي جمعموري شالده در يك محيس خاص و ديگري دادههاي جمعموري شالده تو سالس سالن سالورهاي‬ ‫پوشاليدني‪ .‬چنانچه دسالتهبندي روشهاي مورد اسالتفاده مدنرر باشالد‪ ،‬ابتدا رويکردي كه مطابق با من اين‬ ‫دستهبندي انجا گرفته عنوان خواهد شد‪ .‬در ادامه جزيياو اين رويکردها بررسي خواهند شد‪.‬‬ ‫‪۶‬‬ ‫‪۵‬‬ ‫‪۴‬‬

‫‪۲‬‬ ‫‪۱‬‬ ‫‪۰‬‬ ‫‪۲۰۱۴‬‬

‫‪۲۰۱۳‬‬ ‫دستگاه پوشیدنی‬

‫‪۲۰۱۲‬‬ ‫سنسور عمیق‬

‫دوربین ‪RGB‬‬

‫‪ :‬تکنولوژی های سنسوری استفاده شده در تحقیقات ]‪[8‬‬

‫‪۲۰۱۱‬‬

‫تعداد تحطيطاو‬

‫‪۳‬‬

‫مروري بر پيشينه پژوهش‬

‫‪19‬‬

‫بدين ترتي با پي شالرفت و تو سالعه ي سالن سالور هاي پو شاليدني و محا سالباو فراگير و گ سالترده شالاهد‬ ‫افزايش تحطيطاو در حوزه ي فعاليتكاوي اما اين بار با سالالن سالالور هاي ماكور بوده ايم‪ .‬در حطيطت با‬ ‫وتوع چنين تو سالعه اي و وجود تنوع مدور ساليون اين سالن سالور ها كه در جمع موري داده هاي حركاو‬ ‫افراد ب ساليار مفيد نيز واتع شالد‪ ،‬شالتاب سالن ها‪ ،‬ژيرو سالکوپ ها و سالاير سالن سالور ها براي كاوش تحرک‬ ‫ا شالخاص كه ميتوان بر ا سالاس مدو زمان و پيچيدگي من به ساله د سالته ي كلي تط ساليم كرد‪ ،‬به صالورو‬ ‫ب ساليار گ سالترده اي مورد ا سالتفاده ترار گرفتند‪.‬د سالته ي او حركاو ب ساليار سالاده اي بوده كه در مدو‬ ‫بساليار كمي تابل انجا مي باشالند‪ .‬در حطيطت در اين حركاو‪ ،‬شالخص از حالتي به حالت بعد منتطل مي‬ ‫شالالود‪ .‬د سالالته ي بعدي حركاو سالالاده اي ه سالالتند كه افراد به طور معمو در طو روز انجا مي دهند‬ ‫مانند راه رفتن‪ ،‬خوابيدن‪ ،‬ذاا خوردن و ‪ ...‬كه براي ت شالالخيص من ها سالالن سالالور هاي محيطي همچون‬ ‫سالن سالور هاي ت شالخيص دهنده فعاليت مبتني بر مادون ترمز‪ ،‬و يا سالن سالور هاي درب هاي مغناطي سالي‬ ‫ا سالتفاده مي شالوند (‪ .)Krishnan, 2013 & ,Cook, Feuz‬د سالته ي مخر حركاو كه شالامل حركاو‬ ‫پيچيده تر بوده از جمله فعاليت هايي ا سالالت كه در منها تعامل كاربر با فرد ديگر و يا يك شالالي خاص‬ ‫مورد نرر مي با شالالد كه ت شالالخيص اين د سالالته از فعاليت ها نيز با برچ سال زدن اين ا شالاليا بو سالاليله ي‬ ‫س هاي مر ا مي دي‪ 1‬و سالن سالور هاي شاليمر‪ 2‬و جمع موري داده هاي مربوطه امکان پاير مي‬ ‫برچ ال‬ ‫با شالد‪ .‬از جمله ي اين فعاليت ها مي توان به مکالمه ي دو شالخص‪ ،‬شال سالتن ظر ‪ ،‬م صالر دارو‪ ،‬و حتي‬ ‫ا سالتفاده از تلفن ا شالاره كرد (‪ ,Leonardis( ,)Krishnan, 2013 & ,Cook, Feuz‬و ذيره‪. )2018 ,‬‬ ‫همچنين فعالاليالت هايي كه در محيس هاي باز انجالا مي پايرند نيز با موتعيالت ياب تابل ت شالالخيص مي‬ ‫باشند‪.‬‬ ‫در حطيطت چنانچه بخواهيم به صالورو خالصاله مروري بر تحطيطاو انجا گرفته در اين حوزه داشالته‬ ‫با شالاليم مي توانيم همانگونه كه پي شالالتر نيز بيان گرديد به ديد سالالنجي با ا سالالتفاده از دوربين كه تمركز‬ ‫ا صاللي حوزه كاوش حركاو بوده ا سالت‪ ،‬ا شالاره كنيمه كه پس از من تحطيطاو در اين حوزه با ا سالتفاده از‬ ‫سالن سالور هاي مبتني بر فعاليت كه تابليت ات صالا به بدن افراد را دا شالت رواج يافت‪ .‬در همان دوران از‬ ‫سالاليگنا هاي جي‪-‬اس‪-‬ا نيز با اين هد ( ا سالالتنتاج مد هاي فعاليتي و حمل و نطل) ا سالالتفاده مي‬ ‫شالد‪ .‬در واتع محططان براي ت شالخيص وجود يك كاربر داخل يك اتومبيل و يا در حالت اي سالتا و سالاكن‬ ‫بودن وي از اين نوع سيگنا ها بهره مي بردند‪ .‬اما امروزه تلفن هاي همراه تادر به ارائه ي داده ي رز‬ ‫براي ح صالو نتاي عنوان شالده مي با شالند چرا كه تلفن هاي هو شالمندي كه در د سالترس همگان ترار‬

‫‪RFID sensors1‬‬ ‫‪Shimmer sensors2‬‬

‫‪20‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫دارد مجهز به سالنسالور هاي متنوعي از جمله شالتاب سالن ‪ ،‬ژيروسالکوپ‪ ،‬موتعيت ياب‪ ،‬و ‪ ...‬هسالتند كه در‬ ‫بخش بعد هر يك به تفصاليل شالرح داده شالده اند‪ .‬در واتع عوامل متعددي چون هزينه ي پايين نصال و‬ ‫در د سالترس بودن عالوه بر وجود سالن سالور هاي جديد كه ا سالتفاده از منها سالاده تر نيز مي با شالد‪ ،‬باع‬ ‫شالده اسالت كه اسالتفاده از داده هاي تلفن هاي هوشالمند سالهل تر از سالاير روش هاي جمع موري داده در‬ ‫اين حوزه با شالد‪ .‬عالوه بر موارد ياد شالده نيز‪ ،‬عد ايجاد مزاحمت و يا محدوديت در انجا فعاليت هاي‬ ‫روزانه و عد نياز به حمل و يا ات صالالا د سالالتگاه هاي جانبي در اين زمينه بي تاثير نبوده اند‪ .‬همچنين‬ ‫طبق تحطيطاو صالورو گرفته به همراه دا شالتن يك تلفن هو شالمند هنگا ترک خانه ضالرورتي چون به‬ ‫همراه داشالتن كليد و يا كيف پو را دارد‪ ،‬كه اين خود شالاهدي بر اين مدعاسالت كه تلفن هاي هوشالمند‬ ‫به سادگي و راحتي با شيوه ي زندگي كاربران متناس مي باشند (‪.)Ersoy, 2013 & ,Incel, Kose‬‬ ‫فعاليتكاوي ه سالالته ي ا صالاللي ب سالالياري از برنامه هاي كاربردي بوده و يکي از اجزاي مهم در حوزه‬ ‫هاي مختلفي تحطيطاتي به شالالمار مي رود‪ .‬در حطيطت فعاليتكاوي‪ ،‬توانايي تف سالالير جنبش و ا شالالاراو‬ ‫بدن افراد با اسالتفاده از سالنسالور هاي موجود و در تد بعدي تشالخيص فعاليت و فعاليت انجا گرفته مي‬ ‫باشد‪ .‬كاربرد هاي اين حوزه را به موارد زير مي توان خالصه كرد كه به تفصيل در ادامه شرح داده شده‬ ‫اند‪.‬‬ ‫• کاربرد فعالیتکاوی در نظارت و امنیت‬ ‫• کابرد فعالیتکاوی در سالمت الکترونیک‬ ‫• کاربرد فعالیتکاوی در سرگرمی و ورزش‬

‫‪ .2-2‬کاربرد فعالیتکاوی در نظارت و امنیت‬ ‫فعاليتكاوي در زمينهي امينت و نرارو داراي كاربردهاي مهم و بي شالالماري ا سالالت‪ .‬در اين را سالالتا‬ ‫برتراري امنيت در انواع محيسهاي خ صالو صالي و اماكن عمومي به طرق مختلف و با سالن سالورهاي متنوع‪،‬‬ ‫جلوگيري از وتوع جرايم در سالطح شالهر و ت شالخيص هويت و ت ضالمين من از جمله مواردي ا سالت كه با‬ ‫ا سالالتفاده از فعاليتكاوي تابل انجا ا سالالت كه در نتيجهي اين موارد نه تنها نرخ جر و جنايت كاهش‬ ‫يافته بلکه ميزان امنيت موجود و مرامش در سطح محيس تحت نرارو نيز افزايش خواهد يافت‪.‬‬

‫‪21‬‬

‫مروري بر پيشينه پژوهش‬

‫براراری امنیت مبتنی بر محیط هوشمند عمومی‬ ‫امروزه نرالارو بر رفالت و ممالد و كنتر عبور و مرور يکي از مهمترين اركالان برتراري نرم و امنيالت در‬ ‫سالطح شالهر و اماكن عمومي پر ازدحا مي با شالد‪ .‬يکي از ابزار هاي مفيد و پر ا سالتفاده در اين را سالتا‪،‬‬ ‫دوربين هاي نرالارتي مي با شالالد كه داده هاي ت صالالويري را جمع موري كرده و در اختيالار محططين اين‬ ‫حوزه ترار مي دهد‪ .‬از زمان معرفي سالالي سالالتم هاي نرارتي مبتني بر ويديو و داده هاي ت صالالويري كه به‬ ‫دهه ي ‪ 70‬ميالدي بر مي گردد تاكنون پي شالالرفت هاي چ شالالمگيري در زمينه هاي مرتبس با اين حوزه‬ ‫رخ داده اسالت كه منجر به اسالتفاده از ساليسالتم هاي ماكور به عنوان ساليسالتم نرارتي و كنترلي بالدرن‬ ‫به جاي ا سالتفاده از اين ابزار تانوني به صالورو منفعالنه و پس از وتوع واتعه در اماكن عمومي و پر رفت‬ ‫و ممد همچون ايسالتگاه هاي مترو و راه مهن شالده اسالت (‪ .)Kushwaha, 2018 & Khurana‬در واتع‪،‬‬ ‫نرارو ت صالالويري كه در زمينه ي توليد و جلوگيري از ربودن و و دزديدن مورد ا سالالتفاده ترار مي گيرد‪،‬‬ ‫به يکي از ابزار هاي موثر در تجارو امروز تبديل شده است (‪.)Wang, 2004 & ,Niu, Long, Han‬‬ ‫در اين ميان فعاليتكاوي با ا سالالتفاده از اين نوع داده ها نه تنها در زمينه ي نرارو و كنتر بلکه با‬ ‫هد جلوگيري از وتوع جرايم و فعاليت هاي خطرناک مورد ا سالالتفاده ا سالالت و در تحطيطاو و برر سالالي‬ ‫هاي پليس ضالروري به نرر مي رسالد (‪ .)Kushwaha, 2018 & Khurana‬به اين منرور تکنيك هاي‬ ‫پيش بيني فعاليت ها كه هر فعاليت را به صالورو هي سالتوگرا انتگرالي‪ 1‬از ويژگي هاي ف ضالايي‪ -‬زماني‬ ‫در نرر مي گيرند‪ ،‬ا سالتفاده مي شالوند‪ .‬در واتع نحوهي اناجم كار به اين شالکل مي با شالد كه سالي سالتم‬ ‫وظيفه دارد روند انجا يك فعاليت برا سالالاس م شالالاهداو انجا گرفته در داده هاي ويديويي به صالالورو‬ ‫اتومالاتيالك تخمين زده و فعالاليتي كاله انجالا من محتماللتر ا سالالت را پيش بيني كنالد‪.)Ryoo, 2011( .‬‬ ‫همچنين به منرور تشالخيص حركاو در محيس هاي باز‪ ،‬فريم وركي‪ 2‬ارائه شالده كه داراي مکانيز هاي‬ ‫جلوگيري از شالالک سالالت و كنتر هو شالالمند مي با شالالد‪ .‬عالوه بر موارد ذكر شالالده از متد هايي مانند‬ ‫همبستگي ويژگي ها و تمايز فريم استفاده مي كند (‪.)Wang, 2004 & ,Niu, Long, Han‬‬ ‫عالوه بر ا سالالتفاده از داده هاي ت صالالويري با هد امنيت و نرارو بر رفتوممد در محل هاي پرتردد‪،‬‬ ‫داده هاي جمع موري شده توسس سنسور هاي سه بعدي نيز براي اين هد مفيد واتع شده انده به اين‬ ‫صالالورو كه با ا سالالتفاده از داده هاي بد سالالت ممده از سالالن سالالور هايي كه در تلفن همراه تعبيه شالالده اند‪،‬‬ ‫تشخيص چهره‪ ،‬صدا‪ ،‬عنبيه چشم و يا رويکرد هاي مبتني بر تشخيص چند پارامتر با يکديگر به عنوان‬

‫‪Integral histogram1‬‬ ‫‪framework2‬‬

‫‪22‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫متدي براي ت ضالمين هويت ا شالخاص مورد ا سالتفاده ترار مي گيرد‪ .‬همچنين ام ضالاي بيومتريك در هوا‬

‫‪1‬‬

‫كاله داده هالاي مربوو باله من در (‪ )Vera, 2011 & ,Casanova, Ávila, Sierra, del Pozo‬بالا در‬ ‫دسالت داشالتن تلفن هوشالمند مجهز به شالتاب سالن بدسالت مي ميد نيز تکنيك رفتاري‪ -‬فيزيکي ديگري‬ ‫است كه تشخيص من وابسته به ويژگي هاي فيزيکي از جمله طو دست فرد‪ ،‬اندازه ي دست وي و‪ ...‬و‬ ‫حالت انجا ام ضالا مي با شالد و به منرور كاوش ام ضالا مي باي سالت از متد هاي فعاليتكاوي بهره ج سالت‪.‬‬ ‫عالوه بر اين‪ ،‬مي توان با داده هاي تجميع شالده از سالنسالور هاي موجود در تلفن هاي هوشالمند كاربران‪،‬‬ ‫كاوش و يا ت صالالديق هويت منان را انجا داد‪ .‬براي اين منرور نيز كافي سالالت تلفن هو شالالمند همراه كاربر‬ ‫مربوطه با شالالد‪ .‬امکانپاير بودن اين نوع ت شالالخيص هويت نيز به علت منح صالالر به فرد بودن حركاو و‬ ‫فعاليت هاي افراد مي باشالد چرا كه يکسالان بودن داده هاي فعاليت سالاده اي چون تکان دادن دسالت كه‬ ‫در شالالتاب سالالن ها موجود ا سالالت‪ ،‬مي توان گفت امري محا و ذير ممکن مي با شالالد‪ .‬به اين ترتي به‬ ‫راحتي مي توان كالاربري كاله فالاعالل حركالاو روزمره اي چون راه رفتن‪ ،‬دويالدن و بالار رفتن از پلاله هالا مي‬ ‫با شالد را به راحتي ت شالخيص داد‪ .‬مد هاي پيش گوي توليد شالده از سالري هاي زماني هم در ت شالخيص‬ ‫هويالت كالاربر و هم در ت صالالديق هويالت وي در ميالان مجموعاله اي از كالاربران تالابالل ا سالالتفالاده مي بالا شالالد‬ ‫(‪.)Moore, Cell phone-based biometric identification, 2010 & ,Kwapisz, Weiss‬‬ ‫كالاوش و ت شالالخيص فعالاليالت هالا باله منرور ارتطالاي امنيالت در كالاربرد هالاي ذكر شالالده همچون امنيالت‬ ‫مکالاني م شالالخص كاله مي توانالد مراكز خريالد‪ ،‬امالاكن مالاهبي‪ ،‬اي سالالتگالاه هالاي اتوبوس شالالهري و مترو و‬ ‫سالالاختمالان هالا بالا شالالد بالا موانعي هم رو باله رو سالالت كاله در بخش بعالدي باله منهالا پرداختاله خواهالد‬

‫شالالد‬

‫(‪.)Yelmame, 2017 & ,Dhulekar, Gandhe, Shewale, Sonawane‬‬

‫براراری امنیت مبتنی بر محیط هوشمند زندگی‬ ‫در محيسهاي خ صالالو صالالي نيز نرارو بر رفت و ممد و فعاليت افراد به كمك كاوش دادههاي مربوطه‬ ‫منجر به افزايش امنيت مي شالود‪ .‬همچنين ا سالتفاده از داده هاي جمع موري شالده تو سالس سالن سالور هاي‬ ‫موجود در تلفن همراه نه تنها در كاوش مواردي مربوو به خود اين د سالالتگاه مفيد ا سالالت‪ ،‬بلکه با اين‬ ‫داده هالا مي توان اطالعالاتي در مورد پيرامون تلفن مربوطاله بالد سالالت مورد‪ .‬باله عنوان م الا مي توان متن‬ ‫نو شالته شالده تو سالس يك صالفحه كليدي كه در نزديکي تلفن هو شالمند ترار دارد را ت شالخيص داد‪ .‬به اين‬ ‫صالورو كه ضرباو وارده بر صفحه كليد از روي حركاو فيزيکي وابسته به يکديگر و فواصل بين هر يك‬

‫‪In-air1‬‬

‫‪23‬‬

‫مروري بر پيشينه پژوهش‬

‫از منها كاوش خواهد شالد و درسالتي كلماو انتزاعي بدسالت ممده (نتاي ) از روي مجموعه ي مشالخصالي از‬ ‫لغاو تشخيص داده مي شوند (‪.)Traynor, 2011 & ,Marquardt, Verma, Carter‬‬

‫‪ .3-2‬کاربرد فعالیتکاوی در سالمت الکترونیک‬ ‫در حوزهي سالالالمت و پز شالالکي كه يکي از حوزههاي مهم در ميان مباح روز ميبا شالالد ميتوان با‬ ‫تکيه بر تابليتهاي فعاليتكاوي نط صالالان و كا سالالتيهاي موجود را رفع نمود‪ .‬عالوه بر اين همانطور كه‬ ‫شالاهد پيشالرفت هرروزه در اين زمينه هسالتيم‪ ،‬ميتوان روشهاي نويني به منرور ارتطاي سالالمت بهبود‬ ‫داده و در زندگي روزمره اعما كرد كه اين خود باع افزايش كيفيت و اميد به زندگي نيز ميشود‪.‬‬

‫نظارت بر سالمندان‬ ‫فعاليتكاوي در محيس هاي مسالکوني‪ ،‬مراكز درماني و بيمارسالتان ها مورد اسالتفاده اسالت‪ .‬با توجه به‬ ‫افزايش شالهروندان ‪ 65‬سالا و بارتر تركي موثر تکنولوژي و سالي سالتم هاي سالالمت به منرور كمك به‬ ‫كاهش هزينه هاي عمومي حوزه ي سالالمت مورد توجه ب سالياري از محططين ترار گرفته ا سالت‪ .‬به عنوان‬ ‫م الا (‪ )Rojas, 2012 & ,Banos, Damas, Pomares, Prieto‬بالا ارائاله ي روش فيلتر جالايگزين‬ ‫سالعي در نرارو بر فعاليت افراد سالالمندي كه در مراكز درماني مي با شالند دارد‪ ،‬در واتع با ا سالتفاده از‬ ‫سالن سالورهاي شالتاب سالنجي كه به نطاو مختلف بدن افراد از جمله كمر‪ ،‬مچ د سالت‪ ،‬بازو‪ ،‬مچ پا و ران‬ ‫وصالل شالده اسالت سالعي دارد فعاليت هايي چون راهرفتن‪ ،‬نشالسالتن و اسالتراحت كردن‪ ،‬ايسالتادن‪ ،‬و دويدن‬ ‫را از يکديگر تشخيص دهد‪.‬‬ ‫از سالالوي ديگر ب سالالياري افراد اتامت در مناز‬

‫شالالخ صالالي خود را ترجيح داده و هزينه ي پر سالالتار و‬

‫امکالاناو درماني را متطبل مي شالالوند كه اين رويه به تو سالالعه ي تکنولوژي هاي مرتبس با محيس هاي‬ ‫هوشمند كه اخيرا در تال پارادايم جديد "هوش محيطي" انجا مي گيرد‪ ،‬منجر شده است‪.‬‬ ‫در زمينهاي ديگر تحت عنوان تکنولوژي هاي نرارو سالمت و مراتبت‪ ،1‬سيستمي به منرور نرارو‬ ‫از راه دور تادر به دنبا كردن فعاليت هاي روزانه‪ 2‬افراد م سالن مي با شالد‪ .‬مجموعه فعاليت هايي كه در‬ ‫اين‬

‫شالالاخاله ترار مي گيرنالد در واتع فعالاليالت هالاي پالاياله اي براي مراتبالت از خود ا سالالت كاله رديالابي من‬

‫ا سالتطال‬

‫شالخص سالالمند در انجا فعاليت هاي شالخ صالي روزانه خود را م شالخص مي نمايد كه شالامل‬

‫‪Assisted-care and health-monitoring1‬‬ ‫‪Activities of Daily Living2‬‬

‫‪24‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫لباس پو شاليدن‪ ،‬ذاا خوردن‪ ،‬م صالر داروها و انجا امور بهدا شالتي شالخ صالي مي با شالد (‪ ,Avci‬و ذيره‪,‬‬ ‫‪ .)2010‬محططان در اين زمينه با استفاده از سيستم هاي فوق كمك شاياني به پرستاران خانگي افرادي‬ ‫كه مبتال به بيماري ملزايمر ه سالتند نموده انده چرا كه ت شالخيص و رديابي فعاليت براي پر سالتاران ب ساليار‬ ‫حائز اهميت اسالت‪ .‬اين ساليسالتم ها عالوه بر ياري رسالاني در زمينه ي اشالاره شالده‪ ،‬هشالدارهاي زماني در‬ ‫مواتعي كه فرد سالالالمند تحت نرر در انجا كاري خاص به م شالالکل برخورده و يا انجا موردي خاص را‬ ‫فراموش كرده را به پر سالتار وي ار سالا مي كند‪ .‬در نتيجه ي من‪ ،‬فعاليتكاوي در محيس هاي هو شالمند‬ ‫ماكور به هد پي شالگيري‪ ،‬درمان‪ ،‬و ارتطاي و ضالعيت سالالمت مورد ا سالتفاده مي با شالد (‪& Rashidi‬‬ ‫‪Cook, COM: A Method for Mining and Monitoring Human Activity Patterns in‬‬ ‫‪)Wang, 2011 & ,Chen, Nugent( .)Home-Based Health Monitoring Systems, 2013‬‬

‫نيز با ارائه ي رويکرد مبتني بر جريان هاي داده اي بد سالالت ممده از چند سالالن سالالور به ياري سالالالمندان‬ ‫ممالده ا سالالت‪ .‬در واتع تغييراو محيطي نيز منبع دادهي ديگري ا سالالت كاله در كنالار دادههالاي مربوو باله‬ ‫سالمندان به ياري چنين سيستم هايي در خانههاي هوشمند ممده است‪.‬‬ ‫يکي از اتفاتاتي كه سالالمت سالالمنداني كه تنها زندگي مي كنند را به خطر مي اندازد‪ ،‬سالطوو منان‬ ‫در خانه ا سالته چرا كه در اذل موارد‪ ،‬اين اتفاق معلو يك حمله ي تلبي و يا موارد ديگر پز شالکي مي‬ ‫با شالالد‪ .‬اين مو ضالالوع به عنوان يکي از زمينه هاي م شالالکل و در عين حا جااب تحطيطاو مي با شالالد‪ .‬با‬ ‫وجود اينکه متد هاي ارائه شالده در سالنسالور هاي پوشاليدني ارائه شالده در ( ‪Chen, Kwong, Chang,‬‬

‫‪ )Bajcsy, 2005 & ,Luk‬و (‪ )Barshan, 2014 & Özdemir‬هزينه و مصالر انرژي پايين مورده‪ ،‬و‬ ‫با كاهش پيچيدگي محا سالالباتي‪ ،‬كارايي را افزايش داده اند‪ ،‬اما در واتعيت به ميزان تابل توجهي عملي‬ ‫نمي باشالنده چرا كه براي فرد سالالمند امکان فراموشالي اسالتفاده از سالنسالور هاي پوشاليدني وجود دارد‪ .‬در‬ ‫كنار تمامي اين موارد يکي از ساليسالتمهاي تشالخيص سالطوطي كه ارائه شالده اسالت با اسالتفاده از واحدهاي‬ ‫سالن سالوري كه شالامل شالتاب سالن ‪ ،‬ژيرو سالکوپ و تط نما(مغناطيس سالن ) مي با شالد و به شالش نططه از‬ ‫بدن كاربران مت صالل شالده ا سالت به ت شالخيص سالطوو مي پردازد‪ .‬اين سالي سالتم با ت شالخيص رخدادهاي‬ ‫اورژان سالي كه در نتيجه ي تغيير ناگهاني در تودهي مركزي فرد و سالطوو وي ا سالت و ار سالا پيا هاي‬ ‫ه شالالداري به نجاو افراد مي پردازد (‪Choi, & ,Viet Vo, Lee( .)Barshan, 2014 & Özdemir‬‬

‫‪ )2012‬متدي براي تشالخيص سالطوو ارائه داده كه در من با تغيير در داده هاي شالتابي جمع موري شالده‬ ‫تو سالس تلفن هو شالمند‪ ،‬سالطوو سالالمند ت شالخيص داده مي شالود‪ .‬در واتع داده هاي جمع موري شالده‬ ‫س با الگوهاي معمو‬ ‫تو سالس شالتاب سالن هاي تلفن هاي همراه به د سالته بنديهاي م شالخ صالي متنا ال‬ ‫حمل من تط ساليم مي شالود‪ ،‬و چنانچه تغييري ناگهاني در دادهي من سالن سالور رخ دهد كه به هيچ يك از‬ ‫دسته بنديهاي فوق مرتبس نباشد وتوع سطوو تشخيص داده مي شود‪.‬‬

‫‪25‬‬

‫مروري بر پيشينه پژوهش‬

‫همانطور كه پيشتر نيز ا شالالاره شالالد ا سالالتفاده از سالالن سالالورهاي پو شالاليدني مانند شالالتاب سالالن و يا‬ ‫ژيرو سالالکوپ در حوزهي ياري سالالالمندان در عمل ممکن ا سالالت كارا جلوه نکند چراكه امکان فرامو شالالي‬ ‫تو سالس منان وجود دارد كه به منرور حا و مطابله با چنين نططه ضالعفي محططين از داده هاي دوربين‬ ‫ا سالتفاده مي كنند‪ .‬به عنوان م ا الگوريتمي به منرور ت شالخيص سالطوو كه با كاوش جهت سالر و شالانه‬ ‫هاي افراد كار خود را جلو مي برد ارائه شالدها سالت كه ن سالبت به تغييراو مفا صالل بدن ان سالان و سالتون‬ ‫فطراو مطاو بوده و بر اسالاس سالرعت حركت سالر و مركز ثطل بدن كار مي كند‪ .‬همچنين فاصالله ي اين‬ ‫دو پارامتر تا زمين نيز مورد توجه الگوريتم ارائه شده نيز هست (‪Meunier, & ,Nghiem, Auvinet‬‬

‫‪ .)2012‬از طرفي مشالخص اسالت كه تشالخيص سالطوو از راه رفتن و فعاليت هايي كه منجر به انتطا فرد‬ ‫از مکاني به مکان ديگر اسالت راحتتر از تشالخيص سالطوو در كنار فعاليتي مانند نشالسالتن و يا خم شالدن‬ ‫مي باشالد‪ .‬در نتيجه به منرور تشالخيص سالطوو از فعاليتهايي مشالابه كه موج فري ساليسالتم مي شالود‬ ‫روشالي به كار گرفته شالده كه در يك بازهي زماني در يك داده ي ويديويي تغيير شالکل بدن‪ 1‬سالالمند را‬ ‫در نرر مي گيرد و چنانچه اين تغيير شالکل با گار زمان بي شالتر شالود سالطوو ت شالخيص داده مي شالود‬ ‫(‪.)Rousseau, 2011 & ,Rougier, Meunier, St-Arnaud‬‬

‫نلوگیری از بروز مشکالت برای معلوالن و افراد ناتوان‬ ‫برهمخوردن تعاد و سالالطوو نه تنها در ميان سالالالمندان رخ مي دهد بلکه ميان افرادي با معلوليت‬ ‫هاي مختلف از جمله بينايي‪ ،‬و يا فيزيکي مربوو به ماهيچه ها و پاها و همچنين م شالالکالتي در زمينه‬ ‫ي حف تعاد و يا اختالرو اع صالاب مغزي راي مي با شالد‪ .‬در حطيطت به اين علت كه در اك ر مواتعي‬ ‫كه در ميان معلورن سالالطوو رخ مي دهد فرد مورد نرر براي تغيير و ضالالعيت و اي سالالتادن مجدد ناتوان‬ ‫ا سالت‪ ،‬يکي از عوات ناگوار سالطوو اتفاتي با عنوان "مرگ بلندمدو" مي با شالد‪ .‬در اين زمينه فرد مورد‬ ‫نرر به صالورو طورنيمدو مجبور اسالت كه در وضالعيتي ناخوشالايند بماند‪ .‬اين مرگ طورني مدو نتاي‬ ‫منفي جسالمي مانند از دسالت دادن مب بدن‪ ،‬جراحاو ماهيچه ها و مرگ را دارد‪ .‬در كنار اين موارد يك‬ ‫نتيجهي منفي فيزيولوژيکي كه حتي اگر هيچ نطص فيزيکي پس از سالالطوو او رخ ندهد نيز مي تواند‬ ‫يکي از عوامل سالالطوو مجدد با شالالد‪ ،‬ترس از سالالطوو ا سالالت ( ‪Bianchi, Redmond, Narayanan,‬‬

‫‪ .)Lovell, 2010 & ,Cerutti‬تمامي موارد ذكر شالده هزينه هاي مخ صالوص به خود را دارند كه براي‬ ‫جلوگيري از هركدا سالي سالتم ت شالخيص سالطوطي كه به هنگا نياز‪ ،‬افراد ديگر را از و ضالعيت فرد معلو‬ ‫مطلع سازد امري واج و ضروري به نرر مي رسد (‪.)Menz, 2001 & ,Lord, Sherrington‬‬ ‫‪Shape deformation1‬‬

‫‪26‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫به عنوان موردي ديگر با ا سالتفاده از فعاليتكاوي در مدارس دولتي‪ ،‬سالي سالتم توانبخ شالي مبتني بر‬ ‫جنبش و حركت تو سالالعه داد و كودكان با اختالرو حركتي را به انجا فعاليت هاي بدني ت شالالويق كرد‪.‬‬ ‫به اين ترتي كه با ا سالتفاده از كن سالو بازي مايکرو سالافت‪ 1‬كه تادر به ت شالخيص فعاليت كاربران بدون‬ ‫ا سالتفاده از هرگونه سالن سالور پو شاليدني مي با شالد‪ ،‬سالي سالتمي طراحي شالده كه در طو جل سالاو درماني‬ ‫دانش مموزان داراي معلوليت ج سالمي به كمك درمانگرها مي ميد‪ .‬سالي سالتم فوق دركنار كن سالو ا شالاره‬ ‫شالده مجهز به ساليسالتمي شالنيداري و ديداري براي نمايش بازخورد به دانش مموزان اسالت كه همين امر‬ ‫موج ايجاد انگيزهي بيشالتر براي ادامهي جلسالاو درماني در منان اسالت‪ .‬در طو جلسالاو ساليسالتم مورد‬ ‫نرر پس از ت شالالخيص فعاليتهاي انجا گرفته با سالالن سالالورهاي دوربيني‪ ،‬با در نرر گرفتن نوع و تعداد‬ ‫حركالاو درمالاني‪ ،‬فعالاليالت كالاربرانِ تحالت درمالان را ارزيالابي و منالاليز كرده و برمبنالاي فعالاليالت هالايي كاله مورد‬ ‫انترار درمانگر ا سالت بازخوردي به منان اخت صالاص مي دهد‪ .‬رز به ذكر ا سالت كه تمامي دادههاي توليد‬ ‫شالده در طو جل سالاو ذخيره شالده و در د سالترس درمانگر به منرور برر سالي سالير درماني و بهبود افراد‪،‬‬ ‫مي باشد (‪.)Huang, 2011 & ,Chang, Chen‬‬

‫ارتقای کیفیت الگوی زندگی‬ ‫عالوه بر اين مي توان با كنتر فعاليت هاي روزانه مانند راه رفتن به درمان اضالافه وزن پرداخته و يا‬ ‫از من جلوگيري نمود‪ .‬تحطيق ديگري در زميناله ي فعالاليالت كالاوي بالا اين محور انجالا‬

‫شالالده كاله در من‬

‫سالالن سالالورهايي به كفش هاي ‪ 9‬فرد بالغ مت صالالل شالالده و الگوهاي ف شالالار كف پا و پا شالالنه ي پاي منان را‬ ‫ا سالتخراج ميکند‪ .‬ضالمن اينکه اين الگو ها منح صالر بفرد مي با شالند‪ ،‬به منرور ا سالتفاده از داده هاي نهان‬ ‫در اين الگو ها نيز پيش پردازش ب ساليار سالبکي مورد نياز بوده و به هيچ مرحله ي ا سالتخراج ويژگي نياز‬ ‫نيست (‪.)Browning, 2011 & ,Sazonov, Fulk, Hill, Schutz‬‬

‫بازیابی سالمت و بهبود بیماری‬ ‫سالي سالتم ديگري بر مبناي بينايي ما شالين ساله بعدي نيز ارائه شالده ا سالت كه با هد ذلبه بر كا سالتي‬ ‫هاي ورژن تبلي و ارزيابي شالالناختي و توانبخ شالالي معلورن به صالالورو اتوماتيك‪ ،‬انجا وظايف شالالغلي‬ ‫كارشالناسالان توانبخشالي را به راحتي ميسالر كرده اسالت‪ .‬در حطيطت با وجود چنين ساليسالتمي ديگر نياز به‬ ‫حضالور درمانگرها در جلسالاو نبوده و دادههاي مربوو به بيماران پس از هر جلساله توسالس درمانگر مناليز‬

‫‪Kinect1‬‬

‫‪27‬‬

‫مروري بر پيشينه پژوهش‬

‫و ارزيابي مي شالود‪ .‬ساليستم ارائه شده با كاوش داده هاي ويديويي بدست ممده از كنسو اشاره شده در‬ ‫ت سالمت تبل‪ ،‬براي بيماراني كه مبتال به اختال عملکرد‪ ،1‬اختالرو شالناختي‪ 2‬و ا شالتباه گرفتن ت سالمت‬ ‫را سالالت و چب بدن‪ 3‬خود ه سالالتند مفيد واتع شالالده ا سالالت‪ .‬به اين صالالورو كه در طي تمريناو درماني‪،‬‬ ‫هنگامي كه فرد مبتال بايستي حركاتي خاص از جمله تماس دست راست يا چب با چشم راست يا چب‬ ‫خود را انجا دهد‪ ،‬سالالي سالالتم اين فعاليتها را ثبت و ضالالبس نموده و در اختيار درمانگران ترار مي دهد‬ ‫(‪.)Rodríguez, 2014 & ,Ortega, Pernas, Zarzuela‬‬

‫‪ .4-2‬کاربرد فعالیتکاوی در سرگرمی و ورزش‬ ‫كاوش اطالعاو در زمينهي ايجاد سالالرگرمي براي افراد نيز كاربرد دارد‪ .‬به منرور ايجاد سالالرگرمي و‬ ‫بالازي هالاي جالديالد و نيز ارتطالاي كيفيالت و نحوهي انجالا انواع تبلي بالازي هالا ميتوان از تکنيالك هالاي موجود‬ ‫در فعاليتكاوي بهره برد‪ .‬در واتع با ت شالالخيص فعاليت افراد بر ا سالالاس دادههاي سالالن سالالورهاي مختلف‬ ‫پو شاليدني ميتوان كا سالتيهاي موجود را رفع و خطاي ان سالاني را نيز كاهش داد‪ ،‬همچنين تابليتهاي‬ ‫نويني در اين زمينه با پيشرفت در حوزهي فعاليتكاوي به ارتطاي سرگرمي و بازيها منجر شده است‪.‬‬

‫ارتقای کیفیت سرگرمی و بازی‬ ‫از ديگر مواردي كاله از فعالاليالت كالاوي سالالود مي برد زمينالهي بالازي هالاي ويالديويي ا سالالت‪ .‬در واتع باله‬ ‫منرور ارت طالاي كيفيالت شالاليوه ي زنالدگي نوجوانالان و كودكالاني كاله در اوتالاو فراذالت خود از اين بالازي هالا‬ ‫استفاده مي كنند‪ ،‬فعاليتكاوي مفيد واتع شده است‪ .‬در اين راستا يك كنسو بازي ارائه شده كه داده‬ ‫هاي شالالتاب سالالن تعبيه شالالده داخل يك كمربند را به عنوان ورودي دريافت مي كند‪ .‬در حطيطت با‬ ‫ا سالتفاده از يك فريم ورک طبطه بند‪ ،‬نوع فعاليت انجا شالده و زمان سالپري شالده براي هر يك از فعاليت‬ ‫ها كاوش شالالده و انرژي م صالالر‬

‫شالالده در دنياي واتعي به انرژي پتان سالاليل در دنياي مجازي تبديل مي‬

‫گردد كه در نتيجه ي من نوجوانان و كودكان به پيش گرفتن شالاليوه ي زندگي فعا ترذي مي شالوند‬ ‫(‪ ,Alshurafa‬و ذيره‪.)2014 ,‬‬

‫‪Dysfunction 1‬‬ ‫‪Cognitive impairment2‬‬ ‫‪Left-right confusion 3‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪28‬‬

‫تشخیص اناام صحیح حرکات ورزشی‬ ‫در اين زميناله در ر شالالتالهي هنرهالاي رزمي كالاربرد ديگري براي فعالاليالت كالاوي شالالکالل گرفتاله ا سالالت‬ ‫)‪ .(Avci, et al., 2010‬به عنوان م ا در ر شالتهي كن فو به منرورر دنبا كردن حركاو و تمركز بر‬ ‫نحوهي انجا هر يك از منها و نيز جلوگيري از خطاها و مسالي هاي احتمالي به جهت انجا نادرسالت من‬ ‫حركاو از سالن سالورهاي شالتاب سالن و ژيرو سالکوپ بهره گرفته شالده ا سالت ‪(Heberlein, Hayashi,‬‬

‫)‪ .Nashold, & Teeravarunyou, 2003‬در اين تحطيق توپي طراحي شالالده كه با توجه به نحوهي‬ ‫ترار گيري دسالت هنرجويان برمن و با اسالتفاده از سالنسالورهاي تعبيه شالده برمن‪ ،‬صالحت و يا عد صالحيح‬ ‫بودن حركاو انجا شده را اعال ميكند‪.‬‬

‫پیشنهاد موسیقی براساس فعالیت کنونی کاربر‬ ‫كالاوش داده هالاي مرتبس بالا فعالاليالت هالايي كاله افراد در بالازه هالاي مختلف انجالا ميدهنالد ميتوانالد يالاري‬ ‫ر سالان سالي سالتمهاي تو صاليهگر در زمينهي سالرگرمي نيز با شالد و ميزان كارايي منها را تحت تاثير خود‬ ‫ترار دهد‪ .‬بدين منرور با ا سالتفاده از متدهاي فعاليتكاوي افراد در زمينهي سالرگرمي ميتوان نيازهاي‬ ‫منان را برطر نمود‪ .‬با شناسايي فعاليتي كه هم اكنون فردي در حا انجا من است‪ ،‬سيستم توصيهگر‬ ‫لي سالالتي از فالايالل هالاي مو سالاليطي كاله منالا سال من فعالاليالت ميدانالد را ميتوانالد باله وي پي شالالنهالاد دهالد‬ ‫)‪ .(Reynolds, Barry, Burke, & Coyle, 2008‬در واتع از پي شالالتر لي سالالتي از فعاليتها شالالامل‬ ‫دويدن‪ ،‬بيتحركي و ا سالتراحت و ‪ ...‬و همچنين چند لي سالت ديگر كه شالامل فايلهاي مو ساليطي ا سالت‬ ‫تعريف شالده اسالت‪ .‬هر يك از اين ليتهاي موساليطي به يکي از فعاليتها ارتباو داده شالده اسالت‪ .‬به اين‬ ‫ترتي چنانچه فردي در حا دويدن باشد‪ ،‬پس از اينکه سيستم تشخيص نوع فعاليت وي را انجا داد‪،‬‬ ‫لي سالالتي كه شالالامل مو سالاليطيهاي پرتحرک و بان شالالاو ا سالالت را به وي پي شالالنهاد ميدهد ‪(Wang,‬‬

‫)‪ .Rosenblum, & Wang, 2012‬به اين ترتي فعاليتكاوي افراد ميتواند در اين زمينه مفيد واتع‬ ‫شود‪.‬‬

‫‪ .5-2‬چالشهای مشترک در دادهکاوی‬ ‫تحطيطاو حوزه ي فعاليتكاوي‪ ،‬چالش هايي م شالترک با حوزهي شالنا سالايي الگو و سالاير حوزه هاي‬ ‫مرتبس بالا داده كالاوي دا شالالتاله كاله در اداماله باله شالالرح من پرداختاله‬

‫شالالده ا سالالت‪ .‬باله عنوان م الا تنوع‬

‫درونكالسالي و شالباهتميان كالسالي از جمله چالشهايي اسالت كه بساليار راي اسالت و براي مطابله با من‬

‫‪29‬‬

‫مروري بر پيشينه پژوهش‬

‫راهکارهاي بسياري نيز ارائه شده است‪ .‬در واتع تشخيص دو فعاليت كه ماهيتا يکسان بوده اما دادههاي‬ ‫متنوعي از منها در د سالترس بوده و يا ت شالخيص دوفعاليت متفاوو از يکديگر كه داده هاي شالان شالباهت‬ ‫سالته ترار مي گيرند )‪.(Weng & Fu, 2012‬‬ ‫باريي دارند از جمله ي چالش هايي ا سالالت كه در اين د ال‬ ‫شکل ‪ 3-2‬دستهبندي ارائه شدهي پيشنهادي چالشهاي فعاليت كاوي را نمايش ميدهد‪.‬‬

‫تفاوت درونکالسی‬ ‫چالش عنوان شالده در واتع تنوع در نحوه ي انجا حركاو توسالس افراد مختلف و يا حتي تنوع انجا‬ ‫يك فعاليت به خ صالالوص تو سالالس يك فرد به خ صالالوص مي با شالالد‪ .‬چرا كه اگر يك فرد‪ ،‬يك فعاليت را‬ ‫چندين بار انجا دهد به علت هاي مختلف محيطي و فردي‪ ،‬اطالعاو دريافت شالالده از راه رفتن وي از‬ ‫يکديگر متفاوو خواهند بود )‪ .(Weng & Fu, 2012‬عوامل مختلف محيطي و اح سالالا سالالي همچون‬ ‫ا سالالترس‪ ،‬خ سالالتگي‪ ،‬و ‪ ...‬بر نحوه ي انجالا يالك فعالاليالت موثر خواهنالد بود‪ .‬باله عنوان مالا در زميناله ي‬ ‫تمريناو ورز شالالي نحوه ي انجا حركاو اين حوزه از اهميت باريي برخوردار ا سالالت چرا كه يا كمي بي‬ ‫دتتي مسالي هاي جدي و جبران ناپايري امکان پايرند‪ .‬در اين خصالوص به علت وجود مزادي عمل بار‬ ‫و تنوع حركالاو‪ ،‬داده هالاي توليالد‬

‫شالالده نيز باله‬

‫شالالدو متنوع خواهنالد بود كاله البتاله در نتيجاله ي من‬

‫ا شالالتباهاو ممکن نيز افزايش مي يابند ‪(Kowsar, Moshtaghi, Velloso, Kulik, & Leckie,‬‬

‫)‪.2016‬‬ ‫چنانچه سالي سالتمي واب سالته به يك فرد به خ صالوص با شالد ( با اطالعاو صالر همان فرد مموزش ديده‬ ‫با شالد )‪ ،‬هر تدر كه مجموعه ي داده ها گ سالترده تر با شالد‪ ،‬سالي سالتم مموزش داده شالده ن سالبت به تنوع‬ ‫حركاو اجرايي افراد مطاو تر مي شالود‪ .‬و چنانچه سالي سالتمي م سالتطل از فرد به خ صالو صالي با شالد ( با‬ ‫اطالعاو تمامي افرادِ فاعل حركاو مموزش ديده باشالد )‪ ،‬در نهايت ساليسالتم به صالورو تابل مالحره اي‬ ‫تحت تاثير تنوع ميان افراد ترار خواهد گرفت‪.‬‬ ‫اين گوناگوني در دتت سالي سالتم هاي ت شالخيص فعاليت نيز موثر ا سالت‪ .‬به عنوان م ا در صالورتيکه‬ ‫ساليسالتمي از داده ي مموزش و تسالت جمع موري شالده از يك كاربر در طو يك روز اسالتفاده كند‪ ،‬دتتي‬ ‫به مرات بار تر از ساليسالتمي خواهد داشت كه مموزش و تست من بر پايه ي داده ي جمع موري شده از‬ ‫همان كاربر اما در روز هاي متفاوو با شالالد‪ .‬و روند كاه شالالي دتت سالالي سالالتم با افزايش تنوع و گوناگوني‬ ‫پارامتر هاي داده ها ادامه خواهد داشت )‪.(Su, Tong, & Ji, 2014‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪30‬‬

‫شباهت میان کالسی‬ ‫برخي حركاو و فعاليت ها پس از د سالته بندي به گونه اي مي با شالند كه ويژگي هاي شالان به شالدو‬ ‫شالباهت دا شالته اما ماهيتا متطاوو مي با شالند‪ .‬مانند كاربري كه از كارد و چنگا براي خوردن دو ذااي‬ ‫متفاوو ا سالتفاده مي كند‪ ،‬حركاتي كه انجا مي دهد يک سالان ا سالت اما در واتع دو عمل مختلف انجا‬ ‫مي دهد )‪.(Amft, Kusserow, & Tröster, 2007‬‬

‫چالشهاي‬ ‫داده كاوي‬ ‫چالش هاي‬ ‫مبتني بر سنسور‬ ‫سنورهاي‬ ‫محيطي‬

‫سنسورهاي‬ ‫بينايي‬

‫داده هاي‬ ‫ناهمگن‬

‫امنيت‬

‫انسداد اشيا‬ ‫هم پوشاني‬

‫توليد داده ها‬ ‫به صورو سري‬ ‫زماني‬

‫محدوديت‬ ‫هاي‬ ‫دوربين‬

‫سنسورها‬ ‫ي حساس‬ ‫به محيس‬

‫سنسورهاي‬ ‫پوشيدني‬ ‫تنوع ويژگي‬ ‫هاي سنسورها‬ ‫محدوديت منابع‬ ‫شرايس حمل و‬ ‫نطل‬

‫چالش هاي‬ ‫مشترک‬

‫چالش هاي‬ ‫متداو‬ ‫تعريف و‬ ‫تنوع‬ ‫عد تعاد‬ ‫طراحي‬ ‫مزمايشاو‬ ‫و جمع‬ ‫موري داده‬

‫تنوع درون‬ ‫كالسي‬ ‫شباهت‬ ‫ميان‬ ‫كالسي‬ ‫كالس تهي‬

‫چالش هاي‬ ‫حوزه سالمت‬ ‫داده هاي بدن‬ ‫ساختار‬ ‫محرمانگي اطالعاو‬ ‫‪ :‬دستهبندی چالشهای دادهکاوی‬

‫کالس تهی‬ ‫كالس تهي در واتع مجموعه فعاليت هايي را شامل مي شود كه با فعايت هاي ذير مرتبس با موضوع‬ ‫م سالالئله كه الگوي م شالالابهي با منان دارند ا شالالتباه گرفته مي شالالود‪ .‬كه اين خود معلو عد تعاد ميان‬ ‫داده هاي مرتبس و نا مرتبس با موضالوع مطرح شالده مي باشالد‪ .‬مدلسالازي اين مسالئله به صالورو صالريح به‬ ‫علت نمايش ف ضالالاي نامحدودي از فعاليت ها كار د شالالواري سالالت‪ .‬البته كاوش اين فعاليت ها در مطابل‬

‫مروري بر پيشينه پژوهش‬

‫‪31‬‬

‫فعاليت هاي نامرتبس داراي الگوي م شالالابه‪ ،‬با در نرر گرفتن برخي ويژگي هاي سالاليگنا هاي حركاو‬ ‫ناممکن و دور از ذهن به نرر نمي رسد )‪.(Beddiar, Brahim Nini, & Hadid, 2020‬‬

‫‪ .6-2‬چالشهای متداول در انواع فعالیت کاوی‬ ‫عالوه بر چالش هاي مشترک عنوان شده‪ ،‬دسته ي ديگري از چالش ها كه صرفا در اين حوزه وجود‬ ‫دارند در ادامه بيان شده اند‪ .‬اين موارد در ارتباو با داده هاي جمع موري شده و همچنين فعاليت هايي‬ ‫ا سالت كه سالي سالتم مورد نرر وظيفه ي ت شالخيص و شالنا سالايي منها را دارد‪ .‬در واتع چنين چالشهايي‬ ‫جزئي جداييناپاير از چنين تحطيطاو اسالت‪ .‬مرزبندي واضح و مشخص ميان فعاليتهاي انجا گرفته و‬ ‫طبطه بندي دادههاي جمع موري شالده امري دشالوار به شالمار مي رود كه با وجود راهحل هاي ارائه شالده‬ ‫همچنان يکي از چالشهاي اين حوزه به شمار مي رود‪.‬‬

‫تعریف و تنوع حرکات و فعالیت های فیزیکی‬ ‫ارائه ي يك تعريف وا ضالح و رو شالن از فعاليت هاي تحت تحطيق و برر سالي به همراه ويژگي هاي شالان‬ ‫گامي مهم در طراحي ساليسالتم هاي تشالخيص حركاو مي باشالد‪ .‬چرا كه تنوع و پيچيدگي باري حركاو‬ ‫انسان ها و امکان انجا هر فعاليت به صورو هاي گوناگون‪ ،‬جمع بندي اين تعريف مشخص را به كاري‬ ‫سالالخت بد كرده ا سالالت ‪ .‬به عنوان نمونه‪ ،‬يکي از انواع جمع موري داده هاي حركاو روزانه به منرور‬ ‫چارچوب بندي منها و تعيين تعريفي م شالخص تو سالس برخي مو سال سالاو تجاري انجا گرفته ا سالت‪ .‬روند‬ ‫كار به اين صورو بود كه افراد داده هاي جزئي از فعاليت هايي كه در طو يك روز‪ ،‬يك هفته و يا بازه‬ ‫هاي طورني تر انجا مي دادند اعم از مکان فعاليت انجا گرفته‪ ،‬خود فعاليت و سالالاير داده هاي مفيد‬ ‫را در اختيار اين مو سال سالاو ترار داده و اين داده ها در ارائه ي طبطه بند هايي معتبر و ارزان مفيد واتع‬ ‫شده اند )‪.(Partridge & Golle, 2008‬‬ ‫همچنين در خ صالوص مموزش به كارمموزان فيزيوتراپي و يا افرادي كه به تازگي ر شالته ي ورز شالي را‬ ‫پيش گرفته اند در صالورتي كه وي مموزش تو سالس سالي سالتم هاي اتوماتيك را پيش گرفته با شالد‪ ،‬براي‬ ‫ر ساليدن به نتاي رضالاو بخش با مشالکالتي رو به رو مي شالوند‪ .‬به عنوان م ا در خ صالوص فعاليتكاوي‬ ‫انجا گرفته‪ ،‬سالالي سالالتم مورد ا سالالتفاده مي باي سالالت حركت فرد تازه كار را به در سالالتي ت شالالخيص داده و‬ ‫بازخورد مناسبي براي فرد مورد نرر ارسا كند )‪.(Velloso, Bulling, & Gellersen, 2013‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪32‬‬

‫عدم تعادل کالس ها‬ ‫متعالاد نبودن داده هالاي مربوو باله فعالاليالت هالاي افراد باله خ صالالوص در حوزه ي نرالارو بلنالد مالدو‬ ‫اذل رخ مي دهنالد و‬ ‫م سالالئلاله اي چالالش باله شالالمالار مي روده چرا كاله تنهالا برخي فعالاليالت هالا و حركالاو ال‬ ‫بسالياري از فعاليت ها با فركانس بساليار پايين تري تکرار مي شالوند‪ .‬درواتع نمونه هاي يك كالس نسالبت‬ ‫ب ه سالاير كالس ها در يك مجموعه ي داده بيشالتر اسالت و به نوع داده هاي جمع موري شالده وابسالته بوده‬ ‫و ذاتي مي باشد‪ .‬چنين اتفاتي اذل در تشخيص تطل ‪ ،‬مديريت ريسك‪ ،‬طبطه بندي داده هاي متني و‬ ‫نرارو پز شالالکي رخ مي دهد‪ .‬هر چند گاهي اوتاو نيز با وجود اينکه داده ي در د سالالترس به طور ذاتي‬ ‫كالس هاي نا متعاد نخواهد دا شالالت اما اين عد تعاد رخ مي دهد كه در اين گونه موارد محدوديت‬ ‫در فراي نالد جمع موري داده باله در يالل امنيتي و اتت صالالادي م سال الب‬

‫اين ات فالاق ا سالالت ‪(Chawla,‬‬

‫)‪.Japkowicz, & Kotcz, 2004‬‬

‫لراحی قزمایشات و نمع قوری داده‬ ‫س و ا سالتاندارد براي ارزيابي ساليتم هاي طراحي شالده يکي ديگر از‬ ‫كمبود مجموعه داده هاي منا ال‬ ‫چالش هاي حوزه ي پيش رو مي با شالالد‪ .‬از علل بوجود ممدن چنين چال شالالي مي توان به متنوع بودن‬ ‫پيش نياز هاي جمع موري مجموعه داده هاي همه منروره و مفيد ا شالالاره كرد كه شالالامل كيفيت باري‬ ‫داده ها‪ ،‬تعداد باري سالنسالور ها و كاربران و ضالبس طورني مدو داده ها مي باشالد‪ .‬همچنين محططان به‬ ‫منرور ر سالاليدن به هد فراگير بودن و راحتي ا سالالتفاده ي سالالن سالالور ها در كنار پايين موردن هزينه ي‬ ‫مزمايشاو و وسايل و زمان پياده سازي و مديريت منها با چالش هايي از اين دست رو به رو هستند‪.‬‬ ‫از طرفي به منرور جمع موري چنين داده هاي متنوع و م سالالنکرون و مدل سالالازي محتوا با كمترين‬ ‫ميزان محا سالالباو‪ ،‬ميان افزار‪ 1‬تابل تبولي موجود نمي با شالالد‪ .‬در نتيجه پو شالالش تمامي انواع داده ها و‬ ‫تنريماو برنامه هاي كاربردي تنها با يك ميان افزار محطق نشالده اسالت ‪(Yurur, Liu, & Moreno,‬‬

‫)‪.2014‬‬ ‫به عالوه در جمع موري داده ها با ا سالالتفاده از سالالن سالالور هاي گوناگون معرفي شالالده در بخش هاي‬ ‫پي شالين‪ ،‬نحوه ي ترار گيري سالن سالور حين جمع موري م سالئله اي تابل تأمل مي با شالد چرا كه بر دتت‬ ‫سالي سالتم نهايي موثر ا سالت‪ .‬البته به منرور پايين موردن تأثير جهت و نحوه ي ترار گيري سالن سالور در‬ ‫طو جمع موري داده ها‪ ،‬مجموعه اي از ويژگي هاي تعميم يافته مانند ضالراي تبديل فوريه ي سالريع‬

‫‪Middle ware1‬‬

‫‪33‬‬

‫مروري بر پيشينه پژوهش‬

‫و يا ويژگي هاي مبتني بر همب سالتگي خودكار ا سالتفاده شالده كه دتت سالي سالتم فعاليتكاوي را بار برده‬ ‫است )‪.(Ustev, Incel, & Ersoy, 2013‬‬

‫‪ .7-2‬چالش های مرتبط با سنسورها پوشیدنی‬ ‫در زميناله ي نوع داده ي مورد ا سالالتفالاده در تحطيطالاو‪ ،‬ا سالالتفالاده از داده هالاي جمعموري‬

‫شالالده بالا‬

‫سالن سالورهاي سالهبعدي و عميق شالامل شالتاب سالن ‪ ،‬ژيرو سالکوپ‪ ،‬ف شالار سالن ‪ ،‬و يا مغناطيس سالن كه در‬ ‫مزمايشالاو به بدن كاربران متصالل مي شالوند يا به شالکل لباسهايي مورد اسالتفاده ترار ميگيرند با چالش‬ ‫هايي مطرح ا سالالت‪ .‬اين موانع ب سالاليار متعدد و گوناگون بوده كه به موارد معمو و راي منها در ادامه‬ ‫پرداخته شالده ا سالت‪ .‬در اين ميان محدوديت منابع و تنوع ويژگي هاي سالن سالور هاي مورد ا سالتفاده از‬ ‫جملهي اين موانع مي باشد‪.‬‬

‫تنوع ویژگی های سنسورها‬ ‫برحس نياز هر مزمايش و مطابق كاربردشالان مورد‬ ‫ال‬ ‫سالنسالورهاي اشالاره شالده انواع مختلفي داشالته كه‬ ‫ا سالالتفاده ترار ميگيرند‪ .‬هركدا از منها دركنار متنوع بودن كارايي و موارد م صالالرف شالالان‪ ،‬چالشهايي نيز‬ ‫دارند‪ .‬م سالئلهي تنوع ويژگيهاي سالن سالورهاي مورد ا سالتفاده در اين حوزه از انواع چالش هاي معمو‬ ‫بوده كه به من پرداخته شده و شامل موارد زير ميباشد‪.‬‬ ‫• سنسور هاي تابل حمل‬ ‫منرور از سالنسالور هاي تابل حمل در واتع دسالتگاه هايي اسالت كه تابل حمل بوده و مجهز به سالنسالور‬ ‫هاي ا شالاره شالده در بخش هاي پي شالين ه سالتند‪ ،‬مي با شالد‪ .‬اين د سالتگاه ها كه ممکن ا سالت به صالورو‬ ‫هاي مختلف و در محل هاي متفاوو حمل شوند‪ ،‬نتاي متفاوو از يکديگر را راائه مي دهند‪.‬‬ ‫عالوه بر موارد فوق علت هاي گوناگوني سنسور ها رز به افزودن مي باشد‪.‬‬ ‫علتهاي داخلي شالامل خطاهاي سالختافزاري و يا شالکسالت كامل مي باشالد‪ .‬همچنين رانش سالنسالور‬

‫‪1‬‬

‫از علت هاي داخلي تنوع سنسور هاي استفاده شده در اين حوزه مي باشد‪.‬‬ ‫در كنار علت هاي داخلي‪ ،‬علت هاي خارجي نططه ي متمايز كننده ي ديگري ميان سالالن سالالور هاي‬ ‫اشالاره شالده هسالتند كه شالامل چالش هاي دماي مزمايش و سالسالتي و عد هماهنگي تسالمه هاي اسالتفاده‬

‫‪Sensor drift 1‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪34‬‬

‫شده كنار سنسور ها مي باشد‪ .‬از عوات رخداد مورد دو ايجاد نويز‪ 1‬در داده هاي جمع موري شده مي‬ ‫باشالد‪ .‬البته رز به ذكر اسالت كه تغيير مکان و جابجايي در مورد ساليگنا يك ژيروسالکوپ موردي بدون‬ ‫اعمالا هرگوناله تغيير در نتيجاله نهالايي مي بالا شالالد‪ ،‬در نتيجاله نيالازي باله منالاليز و توجاله نالدارد‪ .‬البتاله در مورد‬ ‫ساير سيگنا هاي شتابي نياز به تمايز ميان شرايس پس از چرخش دستگاه‪ ،‬پس از تفاسير و توضيحاو‬ ‫و همچنين شالالرايطي كه معلو جهت يابي با در نرر گرفتن جاذبه ي زمين مي با شالالد‪ ،‬به چ شالالم مي‬ ‫خورد )‪.(Kunze & Lukowicz, 2008‬‬

‫محدودیت منابع‬ ‫در زمينه ي برخورداري از مزاياي د سالتگاه هاي مجهز به سالن سالور هاي شالتاب سالن ‪ ،‬موتعيت ياب و‬ ‫‪ ...‬م سالالئله ي محدوديت منابع اهميت ويژه اي دارد‪ .‬م صالالر منابع محا سالالباتي‪ ،‬انرژي و حافره اي يك‬ ‫دستگاه هوشمند هنگامي كه سنسور هاي موجود در من‪ ،‬در حا جمع موري داده هاي مربوطه هستند‬ ‫باله صالالورو تالابالل مالحراله اي افزايش مي يالابالد )‪ .(Yurur, Liu, & Moreno, 2014‬باله عنوان مالا‬ ‫چنانچه در يك تلفن هو شالمند يکي از سالن سالور هاي دائما در حا فعاليت با شالد‪ ،‬انرژي ذخيره شالده در‬ ‫باتري اين دسالتگاه كه در حالت بهينه پاسالخگوي نياز كاربر به مدو چند ده سالاعت اسالت را به يك دهم‬ ‫برابر كالاهش مي دهالد‪ .‬از طرفي برنالاماله هالاي مگالاه باله زميناله نيالازمنالد اطالعالاو جمع موري شالالده تو سالالس‬ ‫سالالن سالالور هاي تعبيه شالالده در تلفن هاي هو شالالمند ه سالالتند‪ ،‬در نتيجه سالالن سالالور ها دائما در حا ثبت‬ ‫اطالعاو كاربر مي باشالند كه اين خود شالاهدي بر اين ادعاسالت‪ .‬رز به ذكر اسالت كه با توجه به سالرعت‬ ‫باري تو سالعه ي سالن سالورها و پردازنده ها ن سالبت به پي شالرفت در زمينه ي باتري هاي ا سالتفاده شالده در‬ ‫تلفن هاي هوشالمند‪ ،‬مسالئله ي مطرح شالده همچنان يکي از چالش هاي پيش روي محططان باتي بماند‬ ‫)‪ .(Torres, Huitzil, & Zapién, 2016‬يکي از راه حل هايي كه براي اين چالش ارائه شالده ا سالت‪،‬‬ ‫س‬ ‫ا سالتفاده ي سالن سالور ها متنا ال‬

‫با اطالعاو مورد نياز برنامه هاي كاربردي مي با شالد‪ .‬در ‪(Wang, et‬‬

‫)‪ al., 2009‬فريم وركي ارائه شالده كه به صالورو ساللسالله مراتبي فعاليت سالنسالور ها براي ثبت داده ها را‬ ‫كنتر و برنامه ريزي مي كند‪.‬‬

‫‪Noise 1‬‬

‫‪35‬‬

‫مروري بر پيشينه پژوهش‬

‫‪ .8-2‬چالشهای مرتبط با حوزهی سالمت الکترونیک‬ ‫فعاليتكاوي در زمينهي سالالالمت الکترونيك نيز با چالشهايي رو به رو سالالت‪ .‬در اين حوزه به علت‬ ‫تعامل مسالتطيم با افراد در موتعيتهاي مختلف كه اذل منها محيس درماني و بيمارسالتان اسالت‪ ،‬سالطح‬ ‫ح سالا ساليت بار رفته و انجا تحطيطاو در زمينههاي مرتبس كمي سالختتر مي شالود‪ .‬در محيسهاي ذير‬ ‫درماني نيز به علت وجود پارامتر سالالمتي و مسالائل مرتبس با من مشالکالتي بر سالر راه محططان اين حوزه‬ ‫ترار دارد كه در ادامه به تفصيل به هريك از مسائل پرداخته خواهد شد‪.‬‬

‫دادههای بدون ساختار‬ ‫هنگالا كالار بالا داده هالاي اين حوزه از من جالايي كاله بالا اطالعالاو افراد مختلف سالالروكالار داريم كاله حين‬ ‫جمعموري شالالان نيز هدفي مبني بر اعما فعاليتكاوي نبوده ا سالالت در نتيجه سالالاختار منا سالالبي صالالرفا‬ ‫جهت كاوش اين اطالعاو نيز در د سالالت نميبا شالالد ‪(Shickel, Tighe, Bihorac, & Rashidi,‬‬

‫)‪ .2018‬اين ويژگي براي چنين دادههايي منجر به پايين ممدن سالالرعت و دتت ك شالالف و ت شالالخيص‬ ‫فعاليتها مي شالالود‪ .‬همچنين چنانچه اين عد‬

‫سالالاختيافتگي به گونه با شالالد كه پيچيدگي ا سالالتخراج‬

‫بردارهاي ويژگي را از يك م سالالتانهاي بارتر برد‪ ،‬حتي ميتواند منجر به ناتما ماندن فرايند و ناتواني در‬ ‫حصو نتيجهاي كارا و مفيد نيز گردد‪.‬‬

‫محرمانگی الالعات‬ ‫هنگامي كه بح دادههاي شالخصالي افراد پيش ميميد‪ ،‬شالاخصترين موضالوعي كه در كنار من مطرح‬ ‫مي شالود محرمانگي منها ميبا شالد كه در نتيجه د سالتر سالي به اين دادهها را سالخت و م شالکل ميكند‪ .‬در‬ ‫حطيطت به علت عد اعتماد افراد و ناتواني در محافرت ‪100‬در صالالدي از اطالعاو شالالخ صالالي تو سالالس‬ ‫گروههاي تحطيطاتي منجر به اين چالش مي شالود‪ .‬به عنوان م ا دادههاي بيماران در مراكز درماني و يا‬ ‫مط هاي پز شالکان متخ صالص با تدابير خا صالي محافرت مي شالود‪ .‬اين امر نهتنها به علت شالخ صالي بودن‬ ‫اطالعالاو بلکاله گالاهي باله علالت شالالرايس تجالاري نيز باله راحتي در اختيالار گروههالاي تحطيطالاتي ترار نخواهالد‬ ‫گرفت‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪36‬‬

‫‪ .9-2‬چالشهای مرتبط با سنسورهای محیطی‬ ‫منرور از سالن سالورهاي محيطي‪ ،‬سالن سالورهايي ا سالت كه در محيسهاي هو شالمند به كار ميروند‪ .‬با‬ ‫وجود اينکه برخي از اين سالن سالورها ميتوانند در د سالتههاي پي شالين ترار گيرند‪ ،‬و ممکن ا سالت در نگاه‬ ‫او ضالرورتي براي جداسالازي چالشهاي مرتبس با اين نوع سالنسالورها يافت نشالود اما شايان ذكر است كه‬ ‫هنگامي كه يك محيس به سالالن سالالورهاي مورد نياز يك تحطيق مجهز شالالده و نا محيس و يا خانهي‬ ‫هو شالمند بر من نهاده مي شالود‪ ،‬تعامل و كاركرد توامان اين سالن سالورها منجر به بروز برخي م شالکالو و‬ ‫مسائل شده كه رز دانسته شد تا در گروهي ديگر ترار گرفته و به تفصيل به من پرداخته شود‪.‬‬

‫دادههای ناهمگت‬ ‫هنگامي كه چند نوع سالالن سالالور در يك محيس كنار يکديگر ترار ميگيرند دادههاي جمعموري شالالده‬ ‫توسالس منان نسالبت به تفاوو موجود ميانشالان ميتواند متنوع باشالد‪ .‬در اين زمان پردازش اين دادهها كه‬ ‫تنوع باريي نيز دارند كاري طاتتفر سالالا خواهدبود )‪ .(Cook, et al., 2003‬در حطيطت ناهمگن بودن‬ ‫دادههاي جمعموري شالالده هم از نرر شالالکل ظاهري و هم از نرر معنايي ميتواند فرايند ت شالالخيص و‬ ‫شالنا سالايي فعاليتها را در اين محيسها كمي پيچيده و د شالوار بنمايد ‪(Rashidi & Cook, Mining‬‬

‫)‪ .Sensor Streams for Discovering Human Activity Patterns over Time, 2010‬ذكر‬ ‫اين نکته حائز اهميت ا سالالت كه در برخي مواتع نياز به انجا مرحلهاي تحت عنوان تركي و تف سالالير‬ ‫وجود دارد‪ .‬به عنوان م ا هنگا " شالسالتن دسالتها" شالامل اسالتفاده از مب‪ ،‬مايع دسالتشالويي‪ ،‬حوله و ‪...‬‬ ‫مي با شالد‪ .‬در اين هنگا تنها زماني كه تمامي دادههاي مربوو به سالن سالورهاي اين موارد تركي‬

‫شالوند‪،‬‬

‫تشخيص فعاليت "شستن دستها" امکانپاير خواهدبود )‪.(Chen, Nugent, & Wang, 2012‬‬

‫تولید دادهها به صورت سریهای زمانی‬ ‫به صالورو معمو هنگامي كه يك فعاليت در حا انجا اسالت‪ ،‬سالنسالورهاي درگير به صالورو پيوسالته‬ ‫دادهها را ثبت و ضالبس ميكنند‪ .‬هرچه كه يك فعاليت روزمره پيش ميرود‪ ،‬حجم دادههاي توليدي نيز‬ ‫به صالالورو بي وتفه افزايش مييابند‪ .‬در اين هنگا چنانجه فرد مطيم خانهي هو شالالمند نيازمند كمك‬ ‫خاصالي باشالد و يا درصالورتي كه نرارتي خاص (پس از يك عمل جراحي) بر وي در حا انجا باشالد‪ ،‬به‬ ‫علت پيو سالالته بودن دادههاي توليد شالالده از اين منرر كه هيچ نططهي زماني ميان دادهها وجود ندارد‪،‬‬ ‫انجا كمك و يا نرارو خاص بر فرد مورد نرر با م سالالائلي مواجه خواهد بود‪ .‬به بياني ديگر شالالنا سالالايي‬

‫مروري بر پيشينه پژوهش‬

‫‪37‬‬

‫فعاليت ميباي سالالت در مجموعهاي از دادهها كه داراي نطاو زماني گ سال سالالته در دنياي واتعي بوده و به‬ ‫صالورو تصالاعدي نطاو زماني بازهها افزايش مييابند‪ ،‬انجا پايرد‪ .‬در اين صالورو تشالخيص حالت جاري‬ ‫مناس و به‬ ‫در محيس مورد نرر به مسالاني رخ داده و به نيازهاي فردي كه تحت مراتبت اسالت در زمان ال‬ ‫بهترين صورو از نرر پيوستگي معنايي پاسخ داده خواهد شد‪.‬‬

‫سنسور های حساس به محیط‬ ‫سالن سالورهاي ح سالاس به محيس همچون ف شالار سالن كه با كوچکترين تغييري در ف ضالاي پيرامون‪ ،‬به‬ ‫عنوان م ا با تغيير اندازه ي اتاتي كه در من واتع شالده اند براي ارائه ي نتيجه ي سالالم و صالحيح نياز‬ ‫به كاليبره كردن چندباره دارند كه اين خود كاري زمانبر و طاتت فر سالالا مي با شالالد‪ .‬و يا موردي ديگر‬ ‫مانند مغناطيس سالن كه به راحتي تحت تاثير ا شالياي فرومغناطي سالي اطرا خود ترار گرفته و نتيجه‬ ‫ي نهالايي كاله باله د سالالت مي دهالد بالا تغييراتي رو باله رو خواهالد بود & ‪(Beddiar, Brahim Nini,‬‬

‫)‪.Hadid, 2020‬‬

‫‪ .10-2‬چالش های مرتبط با سنسورهای ویدیویی‬ ‫باله منرور كالاوش فعالاليالت افراد بالا ا سالالتفالاده از اين نوع داده هالا در مرحلالهي جمع موري داده در ابتالدا‬ ‫م سالالئلهي حف حريم شالالخ صالالي مطرح ا سالالت چرا كه نرارو و كنتر با سالالن سالالورهاي ويديويي در‬ ‫محيسهاي خانگي و خ صالو صالي با مخالفتهايي روبهرو سالت‪ .‬همچنين در اين را سالتا باي سالتي م سالئله ي‬ ‫ت شالخيص افراد از محيس پيرامون شالان حل شالود‪ ،‬در واتع م سالائلي از تبيل ان سالداد ا شاليا و همپو شالاني از‬ ‫جمله چالش هاي معمو بر سالر راه اين تحطيطاو به شالمار مي روند‪ .‬عالوه بر موارد فوق‪ ،‬سالن سالورهاي‬ ‫مورد ا سالالتفاده در روشهاي مبتني بر بينايي ما شالالين خود نيز محدوديتهايي براي محططين ايجاد مي‬ ‫كنند كه در ادامه هريك به تفصيل شرح دادهشدهاند‪.‬‬

‫امنیت‬ ‫ا سالالتفاده از دوربين ها به منرور كاوش فعاليت افراد در مناز و محيس هاي شالالخ صالالي امنيت و‬ ‫م سالالودگي خيا من ها را بر هم مي زند‪ .‬حس تعطي و دنبا‬

‫شالالدن و زير نرر گرفته شالالدن تمامي‬

‫حركاو تو سالالس ما شالالين هاي هو شالالمندي كه حتي با يکديگر تو سالالس شالالبکه اي در ارتباو ه سالالتند‪ ،‬نا‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪38‬‬

‫خو شالالايند و نا مطلوب ا سالالت‪ .‬بودن در يك محيس هو شالالمند در كنار تمامي مزاياي گفته شالالده‪ ،‬ممکن‬ ‫است براي برخي افراد حتي تحمل ناپاير باشد )‪.(Pentland, 2000‬‬

‫انسداد اشیا‬ ‫سالئله ي‬ ‫يکي از بارز ترين م سالالائلي كه در حوزه ي كار با داده هاي بينايي ما شالالين وجود دارد‪ ،‬م ال‬ ‫پنهان شالدن اشاليا ميان يکديگر اسالت كه هنگا اسالتفاده از دوربينهاي نرارتي در اماكن مختلف رخ مي‬ ‫دهد (‪ .)Keyvanpour, 2017 & Ezatzadeh‬يکي از راه حل هاي ارائه شالالده براي رفع اين م سالالئله‬ ‫ا سالتخراج سالايه به منرور ت شالخيص سالطوو مي با شالد‪ .‬در واتع در تکنيك ارائه شالده يك پسزمينه ي‬ ‫ثابت و ا سالتاتيك مدل سالازي شالده و ويژگي رن‬

‫يك پيک سالل م شالخص كننده سالايه بودن و يا نبودن من‬

‫پيکسل است (‪.)He, 2006 & ,Anderson, Keller, Skubic, Chen‬‬

‫هم پوشانی‬ ‫هنگا ا سالتفاده از دوربين براي ثبت داده هاي حركاو و فعاليت هاي افراد‪ ،‬چنانچه بيش از يك نفر‬ ‫در مکان مورد نرر حضور داشته باشد‪ ،‬امکان هم پوشاني افراد توسس يکديگر وجود دارد‪ .‬به اين صورو‬ ‫كه به علت محدوديت ها دوربين ها‪ ،‬يکي از افراد از ديد دوربين پنهان مانده و مشالاهده نشالوده كه براي‬ ‫رفع چنين م سالالئله اي ا سالالتفاده از دوربين هاي بي شالالتر و دوربين هاي عمطي پي شالالنهاد مي شالالود‬ ‫(‪.)Keyvanpour, 2017 & Ezatzadeh‬‬

‫محدودیت های دوربیت‬ ‫در يك مزمايش در حوزه ي بينايي ما شالالين در مورد ا سالالتفاده از دوربين ها به منرور ثبت و ضالالبس‬ ‫داده هالاي مربوطاله‪ ،‬محالدوديالت هالاي مختلفي پيش رو سالالت‪ .‬باله عنوان مالا بالا توجاله باله هالد مزمالايش و‬ ‫م سالالاحت مکان مورد بح تعداد محدودي دوربين تابل ا سالالتفاده مي با شالالد‪ .‬همچنين براي ثبت داده‬ ‫هاي سالالم از محيس مورد مزمايش‪ ،‬دوربين هاي اسالتفاده شالده مي بايسالت كاليبره شالده باشالند‪ .‬عالوه بر‬ ‫موارد ذكر شالالده نطاو ديد دوربين هاي مورد ا سالالتفاده نيز م سالالئله اي تابل تأمل ا سالالت‪ .‬با وجود اينکه‬ ‫اسالتفاده از چند دوربين مسالئله ي انسالداد اشاليا را كاهش مي دهد اما تركي داده هاي جمع موري شالده‬ ‫توسس دوربين ها به صورتي نا متناتض دشوار و پيچيده است (‪.)Poppe, 2010‬‬

‫‪39‬‬

‫مروري بر پيشينه پژوهش‬

‫‪ .11-2‬مراح فرایند فعالیت کاوی‬ ‫به منرور تشالخيص فعاليتها‪ ،‬در ابتدا ميبايسالت دادههاي مورد نياز جمعموري شالوند‪.‬در اين مرحله‬ ‫نرخ نمونالهبرداري موردي ا سالالت كال ه براي هرچاله بالارتر رفتن نتالاي بالايالد مورد توجاله ترار بگيرد‪ .‬پس از‬ ‫جمعموري دادهها‪ ،‬مرحلهي پيش پردازش با نرمال سالالازي دادهها مذاز مي شالالود‪ .‬در ادامه نيز اختالرو‬ ‫موجود در دادههاي نرمال سالالازي شالالده با اعما فيلترهايي كاهش مييابد‪ .‬سالالپس تکنيك پنجره لغزان‬ ‫مورد ا سالتفاده ترارگرفته و بردارهاي ويژگي به د سالت ميميند‪ .‬در گا بعدي دادهها تطعهبندي شالده و‬ ‫پس از من ويژگيهاي مورد نرر ا سالتخراج مي شالوند‪ .‬در مرحلهي مخر نيز برا سالاس ويژگيهاي به د سالت‬ ‫ممده طبطهبندها اعما‬

‫شالالده و در تال كالسهايي دادهها طبطهبندي مي شالالوند‪ .‬شالالکل ‪ 3-2‬مراحل‬

‫فرايند فعاليت كاوي را نمايش ميدهد‪.‬‬

‫نمعقوری دادهها‬ ‫يکي از مواردي كه در مبح جمعموري داده به منرور انجا پردازش با هد‬

‫شالالنا سالالايي و كاوش‬

‫فعالاليالت افراد مورد توجاله و اهميالت ا سالالت نرخ نمونالهبرداري ميبالا شالالد‪ .‬در (‪& ,Kwapisz, Weiss‬‬ ‫‪ )Moore, Cell phone-based biometric identification, 2010‬هر ‪ 50‬ميليثالانياله يالك نموناله‬ ‫بردا شالالت و ضالالبس ميگردد‪ ،‬كه نرخ نمونهبرداري ‪ 20‬نمونه در ثانيه ميبا شالالد و يا در ‪(Brezmes,‬‬

‫)‪ Gorricho, & Cotrina, 2009‬باله علالت لزو ارتبالاو ميالان كالدهالاي پالايتون و برنالامالهي كالاربردي جالاوا‬ ‫در پروژه‪ ،‬نمونالههالا بالا حالداك ر نرخ ‪ 30‬نموناله در هر ثالانياله جمعموري شالالده انالد‪ .‬باله طور كلي نرخ معمو‬ ‫براي جمعموري دادهها‪ 20 ،‬تا ‪ 50‬هرتز ميبا شالالد ‪(Anguita, Ghio, Oneto, Parra, & Reyes-‬‬ ‫جمع آوري‬ ‫داده ها‬

‫پيش پردازش‬

‫قطعه بندي‬ ‫داده ها‬ ‫استخراج‬ ‫ویژگي‬ ‫طبقه بندي‬ ‫فعاليت ها‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪40‬‬

‫‪Ortiz, Human Activity Recognition on Smartphones Using a Multiclass Hardware‬‬‫)‪ .Friendly Support Vector Machine, 2012‬با اين وجود نرخ نمونهبرداري پايين به علت مطابله‬

‫با چالش مطرح شده در تسمتهاي پيشين تحت عنوان محدوديت منابع‪ ،‬بسيار مورد توجه بوده و عمر‬ ‫باتريها را افزايش ميدهد‪.‬‬ ‫‪ :‬فرایند فعالیتکاوی‬

‫يکي ديگر از مواردي كه حين جمعموري داده مورد توجه ا سالت‪ ،‬نحوهي ترار گيري شالتاب سالن و يا‬ ‫د سالتگاهي كه مجهز به شالتاب سالن ا سالت‪ ،‬ميبا شالد‪ .‬ت صالوير زير نمايانگر نحوههاي ممکن ترارگيري اين‬ ‫شالتاب سالن حين جمعموري داده اسالت‪ ،‬كه در هر مزمايشالي به فراخور هد من هر يك از اين مد هاي‬ ‫ترارگيري مي توا نالد مالدنرر ترار گيرد‪ .‬باله عنوان م الا در مز مالاي شالالي كاله در ‪(Henpraserttae,‬‬

‫)‪ Thiemjarus, & Marukatat, 2011‬انجا گرفته‪O3 ،‬و ‪ O7‬مورد بررسالي بودهاند‪ .‬شالکل ‪ 4-2‬انواع‬ ‫نحوه ترارگيري سنسورها را نمايش ميدهد‪.‬‬

‫‪ :‬انواع ارارگیریهای تلفت همراه ماهز به شتا سنج ]‪[71‬‬

‫پیش پردازش‬ ‫پس از جمعموري داده هالا‪ ،‬فراي نالد ف عالال يالت كالاوي بالا ان جالا پيشپردازش بر اين داده هالاي خالا پيش‬ ‫ميرود‪ .‬يکي از مواردي كه در پيش پردازش بر دادهها اعما مي شالود‪ ،‬نرمال سالازي منها ميبا شالد كه در‬ ‫اين را سالالتالا از ميالانگين و انحرا معيالار بهره گرفتاله مي شالالود (‪& ,Henpraserttae, Thiemjarus‬‬ ‫‪ .)Marukatat, 2011‬در ادامه نيز ساله محور موجود با اسالتفاده از اين سيگنا هاي نرما شده محاسبه‬ ‫مي شالوند‪ .‬به اين صالورو فعاليتهاي ايسالتا و پويا با مطدار واريانس ساليگنا هاي نرمالسالازي شالده تفکيك‬

‫‪41‬‬

‫مروري بر پيشينه پژوهش‬

‫مي شالوند و با ا سالتفاده از ميانگينِ بخش پوياي ساليگنا ها محور عمودي م شالخص مي شالود ‪(Zintus-‬‬

‫)‪ .art, Saetia, Pongparnich, & Thiemjarus, 2011‬يکي ديگر از راههاي استاندارد كردن دادهها‬ ‫كم كردن مطدار ميانگين از هر يك از مطادير موجود و تطساليم مطدار بدسالت ممده بر مطدار انحرا معيار‬ ‫ميباشد كه با فرمو زير حاصل ميشود )‪.(Ronao & Cho, 2016‬‬ ‫(‪)1-2‬‬

‫(‪)2-2‬‬

‫̅𝑥‪𝑥−‬‬ ‫𝜎‬

‫=𝑧‬

‫در كنار نرمال سالازي دادهها‪ ،‬معمور فيلترهايي جهت كاهش اختالرو ميان دادهها اعما‬

‫شالده و در‬

‫ادامه متد پنجره لغزان با همپو شالاني ‪ 50‬در صالد كه خروجي منا سالبي به د سالت ميدهد‪ ،‬اجرا مي شالود‬ ‫‪(Anguita, Ghio, Oneto, Parra, & Reyes-Ortiz, Human activity recognition on‬‬ ‫)‪.smartphones using a multiclass hardware-friendly support vector machine, 2012‬‬

‫در اين متد اذل طو پنجره را ثابت در نرر گرفته و ميزان من ميتواند ‪2/56‬ثانيه ‪ ،‬و ‪ ...‬باشد‪ .‬خروجي‬ ‫اين مرحله تعدادي بردار ويژگي ميباشد كه ورودي مرحلهي بعدي محسوب ميشوند‪.‬‬

‫ اطعه بندی دادهها‬‫چنانچه بخواهيم اعمل مورد نرر خود را بر دادههاي جمعموري شالده پياده كنيم در ابتدا ميباي سالت‬ ‫مناس تطساليم شالوند‪ .‬در اين راسالتا براي به دسالت موردن تعداد تکرار‬ ‫دادههاي مرحلهي تبل به تطعاو ال‬ ‫كافي از هر فعاليت در هر تطعه بايد طو زماني هرتطعه مطدار كافي و مناسالبي باشالد‪ .‬اين ميزان در هر‬ ‫مجموعه دادهاي متطاوو ا سالالت‪ .‬به عنوان م ا در ‪(Kwapisz, Weiss, & Moore, Cell phone-‬‬

‫)‪ based biometric identification, 2010‬يك بازهي ‪ 10‬ثانيهاي به منرور دريافت تعداد تکرارهاي‬ ‫كافي را ضاليكننده به نرر مير سالد‪ .‬همچنين در)‪ (Hynes, Wang, & Kilmartin, 2009‬يك فريم‬ ‫كه شالامل ‪ 60‬نمونه از دادهي خارج شالده از شالتابسالن اسالت مورد اسالتفاده ترار گرفته اسالت كه طو هر‬ ‫تطعه در اين مزمايش ‪3‬ثانيه در نرر گرفته شده است‪.‬‬

‫استخراج ویژگی‬ ‫در مورد ا سالالتخراج ويژگيهاي مورد نياز براي انجا پردازش بر دادههاي جمعموري شالالده بايد افزود‬ ‫كه هنگا اعما پنجره لغزان بردارهاي ويژگي ا سالتخراج شالده و به د سالت ميميند‪ .‬برخي ويژگيها در‬ ‫حوزهي زمان محا سالالبه مي شالالوند كه از اين ميان ميتوان به ميانگين‪ ،‬واريانس‪ ،‬ميانه و انحرا معيار‬ ‫اشاره كرد كه با استفاده از پنجره لغزان به دست ميميند )‪ .(Parkka, et al., 2006‬دستهي ديگري از‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪42‬‬

‫ويژگيها ه سالالتند كه مرتبس با حوزهي فركانس ميبا شالالند‪ .‬اين د سالالته نيز شالالامل طيف ا سالالپکترا ‪،1‬‬ ‫سالنتروييد ا سالپکترا ‪ ،2‬تخمين اوج فركانس و انرژي ساليگنا در باندهاي مختلف فركان سالي ميبا شالند‬ ‫)‪.(Dargie, 2009‬‬ ‫مورد ديگر "بردار اندازهي سالاليگنا "‪ 3‬ميبا شالالد كه به منرور ا سالالتخراج ويژگي مورد ا سالالتفاده ترار‬ ‫ميگيرد‪ .‬اين مورد كه ميزان درجهي حركاو بدن افراد را ارائه ميدهد با فرمو ‪ 3-2‬محاسبه ميشود‬ ‫)‪ .(Ni, Patterson, Cleland, & Nugent, 2016‬پارامترهاي موجود در فرمو ارائه شالالده مطادير‬ ‫شالتابسالن در راسالتاي ساله محور ‪ y ،x‬و ‪ z‬ميباشالد )‪ .(Cheng WC, 2013‬البته رز به ذكر اسالت كه‬ ‫باربردن تعداد بردارهاي ويژگي تا يك ميزان مشالخ صالي منجر به باررفتن كارايي ساليسالتم خواهد شالد و‬ ‫هنگامي كه تعداد بردارهاي ويژگي از يك مستانه باررود‪ ،‬تاثيري بر ميزان كارايي نخواهد داشت‪.‬‬ ‫(‪)2-2‬‬

‫𝟐𝒛 ‪√𝒙𝟐 + 𝒚𝟐 +‬‬

‫لبقه بندی فعالیتها‬ ‫در اين بخش متالدهالا برا سالالاس نوع ديالدگالاه باله داده هالاي موجود و تالابالل ا سالالتفالاده در هر روش باله‬ ‫رويکردهاي مختلف د سالالتهبندي شالالدهاند‪ .‬همانگونه كه در شالالکل ‪ 5-2‬م شالالخص ا سالالت‪ ،‬د سالالتهبتندي‬ ‫رويکدهاي پيشالنهادي براي فعاليتكاوي به ساله دسالتهي معنايي‪ ،‬ويژگي و تركيبي دسالتهبندي ميشالوند‪.‬‬ ‫در جدو ‪ 1-2‬نيز دستهبندي اين رويکردها به همراه نطاو توو و ضعف هركدا شرح داده شدهاست‪.‬‬

‫‪Spectral spread1‬‬ ‫‪Spectral centroid2‬‬ ‫‪Signal Magnitude Vector(SMV)3‬‬

‫‪43‬‬

‫مروري بر پيشينه پژوهش‬

‫محيط داخلي‬

‫محيطي‬

‫محيط خارجي‬

‫مبتني بر معنا‬ ‫كاربر‬

‫چند‪-‬كاربر‬ ‫زماني‬ ‫فركانسي‬

‫دستي‬

‫جسمي‬

‫اتوماتيك‬

‫مبتني بر ويژگي‬

‫رويكردهاي كاوش فعاليت انسان‬

‫تك‪-‬كاربر‬

‫تركيبي‬

‫‪ :‬دستهبندی رویکردهای فعالیتکاوی‬

‫رویكرد مبتني بر معنا‬ ‫رويکرد او در حطيطت برا سالالاس مفهو دادهها ا سالالت به اين معني كه دادههاي مورد نرر تو سالالس‬ ‫سنورهاي مرتبس با موتعيت و اطرا كاربران در حا انجا فعاليت جمعموري شده است‪ .‬اين سنسورها‬ ‫ويژگيهاي شالالرايطي كه مزماي شالالاو در منها رخ ميدهد را نرارو و كنتر ميكنند و داخل و سالالايل‬ ‫مرتبس با محيس داخلي تعبيه شالدهاند‪ .‬بر اين اسالاس اين رويکرد ميتواند به دو بخش مبتني برمحيس و‬ ‫مبتني بر كاربر تطسيم گردد‪.‬‬ ‫• مبتني بر محيس‬ ‫سالالي سالالتمهاي خانههاي هو شالالمند و شالالهرهاي هو شالالمند متداو ترين كاربرد براي پياده سالالازي‬ ‫تکنولوژيهاي مبتني بر محيس ميبا شالند‪ .‬پايهي چنين گروهي دادههاي زمينهاي بر ا سالا سالويژگيهاي‬ ‫محيطي و فعالاليالتهاي روزانه افراد ه سالالتند‪.‬در محيسهاي داخلي و سالالرپو شالاليده نيز دادهي حرارتي‬ ‫جمعموري شالده تو سالس دوربينهاي ‪ RGB‬و سالن سالورهاي حرارتي مناليز شالده تو سالس مد هاي حرارتي‬ ‫ارائه شالده به منرور باربردن امنيت و جلوگيري از بوجود ممدن شالرايس خطرناک در نرر گرفته شالدهاند‬ ‫)‪ .(Naik, Pandit, Naik, & Shah, 2021‬فعاليتهاي موجود در محيسهاي خطرناک گفته شالالده‬ ‫شالامل منهايي كه مرتبس با م شالپزخانه و و سالايل پخت و پز در شالرايس خطرناكي چون ن شالتي گاز و ‪...‬‬ ‫مي شالود كه توسالس اطالعاو ديداري به مسالاني تابل تشالخيص نيسالتند و دانش بيشالتري مورد نياز اسالت‪.‬‬ ‫انتطا دانش در محيسهاي سالرپوشاليده به عنوان راهحلي براي محدوديتهاي ذيرتابل اجتناب دادههاي‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪44‬‬

‫زمينهاي پياده سالازي شالده ا سالت و نتاي تابل تبولي در رابطه با فا صالله كم ميان منابع و حوزه هد به‬ ‫د سالت ممده ا سالت )‪.(Soleimani & Nazerfard, 2021‬از منجايي كه اطالعاو معنايي در ت شالخيص‬ ‫فعاليت در محيسهاي سالالرپو شالاليده به وفور يافت مي شالالود يك روش پردازش اتوماتيك يك روش براي‬ ‫ن شالخيص ‪ 9‬فعاليت پياده سالازي شالده ا سالت )‪ .(Zhou, Yang, & Li, 2019‬كاوش فعاليت در چند‬ ‫طبطه سالاختمان‪ 1‬نيز براسالاس محيسهاي سالرپوشاليده مورد پرسالش ترار گرفته و يك فريمورک براي اين‬ ‫امر ارائه شالالده كه نرخ ت شالالخيص فعاليت را باربرده و نتاي دتيقتري بهد سالالت ممده ا سالالت ‪(Zhang,‬‬

‫)‪ .Tian, Zhang, & Li, 2020‬برا سالاس اثرانگ شالتهاي ‪ WIFI‬كه يك پرو ساله ا سالت كه در من انت شالار‬ ‫سالاليگنا تو سالالس رفتار افراد سالالاكن در محيس تحت تاثير ترار ميگيرد و الگوهاي خا صالالي سالالاخته‬ ‫ميگردند‪ ،‬يك فريمورک ارائه شالالده كه تابليت ت شالالخيص فعاليتهاي مت صالالل در كنار موتعيتيابي‬ ‫ف ضالالاهاي م سالالطف را دارد )‪ .(Wang, et al., 2019‬همچنين محيسهاي بيروني‪ 2‬با روشهاي معنايي‬ ‫مورد بررسي ترار ميگيرند‪ .‬يك فريمورک جديد براي مناليز رفتار انسان براساس رفتار ذير طبيعي ارائه‬ ‫شده است )‪ .(Belhadi, et al., 2021‬اين فريمورک از دادهي جمعموري شدهي رفتاري استفاده كرده‬ ‫و با سالالخت افزار اينترنت ا شالاليا و تعامالو عاملهاي هو شالالمند در شالالهرهاي هو شالالمند پردازش را جلو‬ ‫ميبرد‪.‬‬ ‫• مبتني بر كاربر‬ ‫رويکردهاي مبتني بر كاربر به طور كلي واب سالالته به دادههاي حاوي فعاليتهاي روزانه كه تو سالالس‬ ‫سالنسالورهاي پوشاليدني در مزمايشالاو مختلف جمعموري شالده‪ ،‬ميباشالند‪ .‬اين گروه از دو گروه ديگر تك‪-‬‬ ‫كاربر‪ 3‬و چند‪-‬كاربر‪ 4‬تشالکيل شالده اسالت‪ .‬اين عناوين تعداد اشالخاصالي كه در هر مزمايش درگير هسالتند‬ ‫را ن شالان ميدهد‪ .‬رويکرد تك‪-‬كاربر ا سالا سالا در مزماي شالاو با سالاعتهاي هو شالمند مورد ا سالتفاده ترار‬ ‫ميگيرنالد‪ .‬مالان نالد )‪ (Boyer, Burns, & Whyne, 2021‬كاله ف عالال يالت هالاي فيزيوتراپي م يالان‬

‫سالالاير‬

‫فعاليتهاي نامرتبس با ا سالالتفاده از الگوريتمهاي يادگيري ما شالالين ت شالالخيص داده مي شالالوند‪ .‬يك روش‬ ‫ت شالخيص افتادن بر ا سالاس دادهي جمعموري شالده از يك كاربر ميان سالا تو سالس سالن سالورهاي پو شاليدني‬ ‫ارائه شالده و پارامترهاي مربوو در روش بهينه سالازي شالدهاند كه منجر به دتت بارتر در نرخ ت شالخيص‬

‫‪Multi-floor Activity Recognition1‬‬ ‫‪Outdoor 2‬‬ ‫‪Single-user 3‬‬ ‫‪Multi-user4‬‬

‫‪45‬‬

‫مروري بر پيشينه پژوهش‬

‫شالد )‪ .(Gjoreski, et al., 2020‬در رويکرد تشالخيص فعاليت چند‪-‬كاربر يا تشالخيص فعاليت گروهي‬

‫‪1‬‬

‫نيز كاله اخيرا تعالداد زيالادي از محططالان را باله خود جالاب كرده & ‪(Li, Liu, Wang, Nishimura,‬‬

‫)‪ Kankanhalli, 2020‬به منرور جمعموري و ذخيره دادههاي زمينهاي درمورد افراد در يك صحنه يا‬ ‫اطالعاو بيشالتر از روابس افراد‪ ،‬يك مد رابطهاي ساللسالهمراتبي ارائه شالده كه منجر به تشالخيص فعاليت‬ ‫چند‪-‬كاربر در به صالالورو با نرارو و بدون نرارو گ شالالت (‪ .)Mori., 2018 & Ibrahim‬دنبالههاي‬ ‫ويديويي پردازش شالالده و فعاليتهاي انفرادي و جمعي در را سالالتاي ت شالالخيص موتعيت ت شالالخيص داده‬ ‫شالدهاند‪ .‬هزينهي دنبا كردن هر فرد كه وارد صالحنه مي شالود در يك مد چند‪-‬كاربر برا سالاس رابطه‬ ‫‪ 4-2‬تعريف ميگردد‪ .‬در اين رابطه )𝑗 ‪ 𝑉𝑎𝑏 (𝑖,‬هزينه انتطا كه كاربر تازه وارد شالالدهي ‪ i‬در حا انجا‬ ‫فعاليت ‪ a‬را به كاربر پي شالين ‪ j‬در حا انجا فعاليت ‪ b‬ات صالا ميدهد‪ .‬در ذير اين صالورو يك ات صالا‬

‫‪2‬‬

‫جديد ساخته ميشود‪.‬‬ ‫(‪)3-2‬‬

‫‪𝑖𝑓 ∃𝑗∃𝑃(𝑖)𝑠. 𝑡. 𝑧𝑖 = 𝑧𝑗 , 𝑦𝑖 = 𝑏,‬‬ ‫‪𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒,‬‬

‫)𝑗 ‪𝑉𝑎𝑏 (𝑖,‬‬ ‫‪𝜆°‬‬

‫{ = )𝑖( ‪𝑉𝑎′‬‬

‫هزينه انتطا )𝑗 ‪ 𝑉𝑎𝑏 (𝑖,‬با رابطهي ‪ 4-2‬بيان ميشود‪.‬‬ ‫(‪)4-2‬‬

‫) 𝒃𝒂𝒑(𝐠𝐨𝐥 𝒄𝝀 ‪𝑽𝒂𝒃 (𝒊, 𝒋) = 𝝀𝒅 𝒆𝒙𝒑 (−𝒅(𝒊, 𝒋)) −‬‬

‫هزينه انتطا تركيبي از دو جملهي "شباهت شخص ‪ i‬به شخص ‪ " j‬كه با استفاده از معيار فاصلهاي‬ ‫)‪ d(i,j‬محا سالالبه مي شالالود و "احتما پي شالالين ‪ pab‬مرتبس با فعاليت ‪ a‬و ‪ "b‬كه به صالالورو متوالي رخ‬ ‫دادهاند ا سالالت‪ .‬اهميت اين دو جمله بر ا سالالاس 𝒅𝝀 و 𝑐𝝀 سالالنجيده مي شالالود (‪& ,Khamis, Morariu‬‬ ‫‪.)Davis, 2012‬‬ ‫رویكرد مبتني بر ویژگي‬ ‫در زمينهي اسالتخراج ويژگي در سيستمهاي تشخيص فعاليت افراد‪ ،‬ويژگيهاي متعددي از مجموعه‬ ‫دادههاي خا ا سالالتخراج شالالده كه ب سالاليار واب سالالته به حوزهي دان شالالي محطق ا سالالت و ا سالالتخراج د سالالتي‬ ‫ويژگيها ناميده مي شالود )‪ .(Zhou, Yang, & Li, 2019‬ويژگيهاي زماني‪ ،‬فركان سالي و ج سالمي ساله‬

‫‪Group Activity Recognition1‬‬ ‫‪Link 2‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪46‬‬

‫گروه از متداو ترينها ه سالتند كه در فرايند ت شالخيص فعاليت روزانه مورد ا سالتفاده ترار ميگيرند و به‬ ‫صالورو د سالتي ا سالتخراج مي شالوند )‪ .(Li, He, & Jing, 2019‬انرژي پايين و پيچيدگي تابل تبو در‬ ‫پردازش منجر به استفاده مکرر در كاربردهاي مني و بالدرن‬

‫ميشود (‪.)Sun, 2021 & ,Chen, Sun‬‬

‫ا سالالتخراج اتوماتيك گروه ديگري از ويژگيها سالالت كه تو سالالس الگوريتمهاي مختلفي انجا ميپايرد‬ ‫(‪.)Alo, 2018 & ,Nweke, Teh, Al-garadi‬‬ ‫ويژگيهاي زماني در تركي با ويژگيهاي فضالايي كه از فريمهاي ‪ RGB‬دادههاي ورودي مسالتخرج‬ ‫شالدهاند در تشالخيص فعاليت ويديويي او شالخص مورد اسالتفاده بودهاند (‪& ,Zhang, Sun, Lei, Liu‬‬ ‫‪ .)Xie, 2021‬در كاربردهاي بالدرن‬

‫توانمندي متمايزكننده بنيادي پردازش دادهي جمعموري شالالده‬

‫به محض شالالروع فعاليت مورد نرر ا سالالت‪ .‬در نتيجه‪ ،‬ويژگي بازهي زماني از منجايي كه نططه شالالروع‬ ‫فعالاليالتهالا را م شالالخص ميكنالد يالك نطش كليالدي بالازي ميكنالد‪ .‬باله همين علالت اين ويژگي در الگوريتم‬ ‫ت شالخيص فعاليت روزانهي زماني ارائه شالده ا سالتفاده شالدها سالت كه نططه شالروع فعاليتهاي ان سالان را‬ ‫م شالالخص ميك نالد (‪ ,Liu‬و ذيره‪ .)2019 ,‬يالك فريمورک تخيص ف عالال يالت برا سالالاس مالد كردن‬ ‫واب سالالتگيهاي زماني پي شالالنهاد شالالده ا سالالت كه از روابس زماني ميان دنبالهي فريمها ا سالالتفاده كرده و‬ ‫طبطهبندي فعاليت روزانه ارتطا يافته ا سالالت (‪ .)Yang, 2017 & ,Xu, Wei, Zhu‬ميانگين و واريانس‬ ‫معمو ترين ويژگيها در اين حوزه ه سالتند كه در روابس ‪ 5-2‬و ‪ 6-2‬بيان شالدهاند (‪,Zhang, Zhao‬‬ ‫& ‪.)Li, 2019‬‬ ‫(‪)5-2‬‬

‫𝒏‬

‫𝟏‬ ‫=̅‬ ‫𝒙‬ ‫𝒊𝒙 ∑‬ ‫𝒏‬ ‫𝟏=𝒊‬

‫(‪)6-2‬‬

‫𝑛‬

‫‪1‬‬ ‫‪∑(𝑥𝑖 − 𝑥̅ )2‬‬ ‫𝑛‬

‫=𝜎‬

‫‪𝑖=1‬‬

‫ويژگيهالاي حوزهي فركالانس نيز در زمينالهي ت شالالخيص فعالاليالت بالا وجود نيالاز باله منالابع تکميلي براي‬ ‫توابع تبالديلي و پردازش هالاي مربوو باله ا سالالتخراج ويژگي باله كالار ميرونالد ]‪ .[88‬روش ارائاله‬

‫شالالده در‬

‫(‪ )Rahim, 2018 & ,Sukor, Zakaria‬ويژگيهاي فركانسالي از جمله چگالي طيفي تدرو‪ ،1‬منتروپي‬ ‫سالاليگنا ‪ 2‬و انرژي طيفي‪ 3‬انتخاب و ا سالالتخراج ميكند‪ .‬نمايش طيفي سالاليگنا هاي حركتي به علت‬

‫‪Power Spectral Density1‬‬ ‫‪Signal Entropy2‬‬ ‫‪Spectral Energy3‬‬

‫‪47‬‬

‫مروري بر پيشينه پژوهش‬

‫خا صالاليت دورهاي بودن فعاليتهاي ان سالالان اطالعاو بي شالالتري ارائه ميدهد كه در يك روش ت شالالخيص‬ ‫ف عالال يالت مورد م طالال عاله ترار گرف تاله ا سالالت (‪ .)Ji, 2112 & ,Shi, Sigg‬پيچ يالدگي متنوع در دادهي‬ ‫فعاليتها در حوزه سالاليگنا ميتواند تو سالالس بينرمي طيف‪ 1‬بيان شالالود و در رابطه ‪ 7-2‬ن شالالان داده‬ ‫شدهاست‪.‬‬ ‫(‪)7-2‬‬

‫)]𝒊[𝑷( 𝒑𝒐𝒍 × ]𝒊[𝑷‬

‫𝒏‬

‫𝟏=𝒊‬

‫∑ ‪𝑯= −‬‬

‫در اين رابطه ]‪ p[i‬با رابطه ‪ 8-2‬تعريف ميشود‪.‬‬ ‫]𝒊[𝑷‬ ‫]𝒊[𝑷 𝟏=𝒊𝒏∑‬

‫(‪)8-2‬‬

‫= ]𝒊[𝑷‬

‫ويژگيهاي فيزيکي و حارو بدن كاربر به عنوان م ا مخت صالالاو ف ضالالايي تو صالاليف كننده موتعيت‬ ‫بدن و حركاو عالوه بر دادهي زماني اطالعاو مربوو به ژ سالت در مجموعهدادههاي جمعموري شالده را‬ ‫نمايش ميدهد (‪ .)Zhong, 2020‬ويژگيهاي سالايهاي يك گروه جديد از اطالعاو ا ضالافي ه سالتند كه‬ ‫برا سالاس ژ سالتها و موتعيت بدن افراد و با كمك روشهاي مماري ا سالتخراج مي شالوند كه به دتت بارتر‬ ‫در مزماي شالاو ميانجامد (‪ .)Fong, 2021 & ,Brito, Biuk-Aghai‬بايد افزود كه ويژگيهاي فيزيکي‬ ‫ا سالتخراج شالده از حركاو بدن كاربر ميتواند دتت را در مطاي ساله با انواع ديگر ويژگيها به صالورو تابل‬ ‫مالحرهاي بار ببرد (‪.)Sawchuk, 2011 & Zhang‬‬

‫رویكرد ترکيبي‬ ‫رويکرد متداو ديگر كه در اين حوزه مورد ا سالالتفاده ا سالالت ديدگاه تركيبي ا سالالت‪ ،‬كه تركيبي از‬ ‫رويکردهاي اشاره شده است‪ .‬استخراج انواع مختلف ويژگيها از دادههاي زمينهاي مربوو به محيسهاي‬ ‫هوشمند يا فعاليتهاي روزانه افراد اين رويکرد را تشکيل ميدهد‪.‬‬ ‫يك معماري بالدرن‬

‫كه از سالالن سالالورهاي ناهمگن موجود در يك محيطهو شالالمند در يك دان شالالگاه‬

‫اسالتفاده ميكند‪ ،‬ارائه شالده اسالت‪.‬اين معماري ويژگيهاي زماني و مکاني باربرندهي عملکرد را اسالتخراج‬ ‫ميكند (‪ .)Ortigosa, 2021 & ,Lupión, Medina-Quero, Sanjuan‬دماي بدن يك فرد عالوه بر‬

‫‪Spectrum Entropy1‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪48‬‬

‫دادههاي ذخيره شده محيطي به عنوان ورودي به يك سيستم هشدار كوويد‪ 19-‬وارد شده كه منجر به‬ ‫مگاهي پز شالالکان و افراد خانوادهي شالالخص در مورد دماي بدن وي دوران ترنطينه مي شالالود ‪(Hoang,‬‬

‫)‪ .Carratù, Paciello, & Pietrosanto, 2021‬ويژگيهاي محيس سالالرپو شالاليده تحت نرارو انتطا‬ ‫ويروس ميبا شالالد‪ .‬يك فريمورک تركيبي برا سالالاس دادههاي ت صالالويري محيس خارجي مرتبس با شالالرايس‬ ‫پيراموني و ويژگيهاي مکاني و ف ضالايي پي شالنهاد شالده ا سالت كه پيچيدگيها را كاهش داده و ت شالخيص‬ ‫فعاليت دتيقتري ارائه ميكند (‪ ,Hussain‬و ذيره‪ .)2020 ,‬در د سالالتهي معنايي حتي دادههاي مربوو‬ ‫به فعاليت كاربران در كنار دادهي محيطي كه مجموعهداده فعاليت روزانه ناهمگن را ت شالکيل ميدهند‪،‬‬ ‫به عنوان چالش دادهي چند منبعي‪ 1‬تلطي شالالده كه اطالعاو تکميلي در اختيار ترار ميدهد و تو سالالس‬ ‫يك فريمورک ارزيابي شده با مجموعهدادهي درون دانشگاهي حل شده است ( ‪Ranieri, MacLeod,‬‬

‫‪.)Romero, 2021 & ,Dragone, Vargas‬‬

‫مبتني بر سنسور‬ ‫تعداد كمي از اين دسته روشها به بررسي فعاليتهايي كه از منرر زمان با يکديگر در ارتباو هستند‬ ‫پرداخته اسالت‪ .‬به علت ديد اين روشالها به ويژگيهاي فركانسالي و زماني به صالورو نطاو دادهاي مسالتطل‪،‬‬ ‫در شناسايي فعاليت به صورو كارا تابل پيادهسازي نمي باشند‪.‬‬ ‫در اين د سالته از متدها ساليگنا هاي ورودي از سالن سالورهاي مربوطه جمعموري شالده و پس از اعما‬ ‫متناس با اهدا ‪ ،‬نتاي به دسالت ممده مناليز مي شالوند‪ .‬با توجه به افزايش ميزان دسالترسالي‬ ‫ال‬ ‫تکنيكهاي‬ ‫به سالنسالورهاي اشالاره شالده‪ ،‬توسالعهي الگوريتمهاي محاسالبهي تشالخيص فعاليت نيز مورد توجه بسالياري‬ ‫از عالتهمندان اين حوزه گرديدها سالت‪ .‬در اين زمينه تحطيطاو موفق بر شالرايس مزماي شالگاهي سالادهتري‬ ‫چون وجود تنها يك كاربر تمركزكردهاند كه در نتيجهي من تحطيطاو كمتري صالر‬

‫شالرايس پيچيدهتر‬

‫شدهاند‪.‬‬ ‫اين دسالته از روشالها با مسالتطل درنررگرفتن دادههايسالنسالوري و ويژگيهاي مشالاهده شالده‪ ،‬رويکردي‬ ‫احتمالارتي را در پيش گرفتالهانالد‪ .‬اين متالدهالا در بالاز سالالازي سالالطوح مختلف فعالاليالت هالا نالاتوان بوده و‬ ‫پيچيدگي زماني تابل تبولي ندارند كه در نتيجهي اين مسائل رويکرد عنوانشده موج انعطا پايري‬ ‫و كارامدي پايين اين روشها شالالدها سالالت‪ .‬در حطيطت افزايش نمايي پيچيدگي زماني با باررفتن تعداد‬ ‫فعاليتها و ناتواني در سالالاخت مدلي افزاي شالالي براي ت شالالخيص منها از جمله نطاو ضالالعف اين متدها مي‬ ‫باشد )‪.(Liu, Nie, Liu, & Rosenblum, 2016‬‬ ‫‪Multi-source data1‬‬

‫مروري بر پيشينه پژوهش‬

‫‪49‬‬

‫به منرور شالناسالايي و كاوش فعاليتهايي كه به صالورو زماني به يکديگر مرتبس ميباشالند‪ ،‬الگوريتم‬ ‫كاوش الگوهاي زماني ارائه شدهاست كه هر الگو شامل فعاليتهايي است كه به صورو زماني با يکديگر‬ ‫در ارتباو هسالتند‪ .‬اين الگوريتم با بهرهبردن از متدهاي يادگيري الگو در حوزهي بينايي ماشالين ‪(Yao‬‬ ‫)‪ & Fei-Fei, 2010‬و طبطهبندهاي مبتني بر الگوهاي زماني در سالالاير حوزهها )‪(Höppner, 2001‬‬

‫به دست امده است‪.‬‬ ‫در اين مجموعاله بالا توجاله باله پيچيالدگي فعالاليالت هالاي انجالا گرفتاله تو سالالس افراد متالدهالا د سالالتالهبنالدي‬ ‫ميشوند كه در ادامه به توصيف هر يك پرداخته ميشود‪.‬‬ ‫• روشهاي كاوش فعاليتهاي ساده‬ ‫همانطور كه پيشالتر نيز اشالاره شالد‪ ،‬فعاليتهايي اتميك كه صالرفا حركت بدن در جهتي خاص‪ ،‬تغيير‬ ‫سالطح فرد از سالطحي به سالطح ديگر و يا تغيير مکان شالخص از مکاني به مکان ديگر در بازهي زمانياي‬ ‫ب سالاليار كوتاه در د سالالتهي فعاليتهاي سالالاده ترار ميگيرند‪ .‬شالالنا سالالايي چنين فعاليتهايي به علت‬ ‫سالالادهبودن خود فعاليت از جملهي سالالهلترين كاوشها در اين حوزه ميبا شالالد و اك ر تحطيطاو انجا‬ ‫گرفته به منرور ت شالخيص چندنوع فعاليت اتميك از يکديگر و همچنين د سالتهبندي منها در گروههاي‬ ‫مجزا مي باشد‪.‬‬ ‫در اين را سالتا يکي از رو شالهايي كه بي شالتر مورد ا سالتفاده ا سالت‪ ،‬درخت ت صالميم بوده كه با ا سالتفاده از‬ ‫من طبطهبندي دادهها انجا ميگيرد‪ .‬در اين روش مسالئلهي شالناسايي زمينه و متن به ريز مسائل ديگر‬ ‫تط سالاليم شالالده كه اين خود يکي از مزاياي اين روش مح سالالوب مي شالالود ‪(Fan, Wang, & Wang,‬‬

‫)‪ .2013‬از طرفي اين رويکرد شالفا به سالادگي تادر به تعيين ميزان كارا بودن توانين اسالتخراج شالدهي‬ ‫د سالالتي و الگوريتمهاي توليد اتوماتيك درختها ميبا شالالد )‪ .(Parkka, et al., 2006‬در يك درخت‬ ‫ت صالالميم كه از 𝑛𝑘گره سالالاخته شالالده ا سالالت‪ ،‬فرض ميكنيم مجموعهي } 𝑖𝑘 ‪ {𝑘1 . 𝑘2 . 𝑘3 . … .‬گرههاي‬ ‫ميالاني بوده و مجموعالهي } 𝑛𝑘 ‪ {𝑘𝑖+1 . 𝑘𝑖+2 . 𝑘𝑖+3 . … .‬گره هالاي برگ بالا شالالنالد‪ .‬در گره هالاي مجموعالهي‬ ‫دو ت صالالميماو باينري كه در واتع پا سالالخ به سالالوارتي چون ‪" :‬ميا كاربر ميدود؟" و يا "ميا كاربر راه‬ ‫ميرود؟" ميبا شالالد‪ ،‬اتخالاذ ميگردد‪ .‬گرههاي برگي كه مجموعهي او را ت شالالکيالل ميدهنالد نيز تعالداد‬ ‫كالسهاي موجود را م شالالخص ميكند‪ .‬چنين روشهايي از پايداري پاييني برخوردار بوده ودر صالالورو‬ ‫وتوع تغييري بسيار كوچك‪ ،‬درخت بهينه تغيير بزرگي ممکن است داشته باشد‪.‬‬ ‫يکي ديگر از رو شالهايي كه در اين د سالته ترار ميگيرند ما شالين بردار پ شالتيبان ا سالت كه به منرور‬ ‫طبطهبندي از نوع ذيرخطي من با كرنل چند كاناله ‪ 𝑋 2‬ا سالالتفاده مي شالالود ‪(Local Features and‬‬ ‫‪Kernels for Classification of Texture and Object Categories: A Comprehensive‬‬ ‫)‪ .Study, 2007‬كرنل چندكاناله گاوسي مورد استفاده به صورو زير تعريف ميشود‪:‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪50‬‬

‫(‪)9-2‬‬

‫𝟏‬ ‫)) 𝑯 ‪𝑫 (𝑯 .‬‬ ‫𝒋 𝒊 𝒄 𝒄𝑨‬

‫∑ ‪𝑲(𝑯𝒊 . 𝑯𝒋 ) = 𝐞𝐱𝐩( −‬‬ ‫𝑪∈𝒄‬

‫‪2‬‬

‫که } 𝑛𝑖‪ 𝐻𝑖 = {ℎ‬و } 𝑛𝑗‪ 𝐻𝑗 = {ℎ‬هيستوگرا هاي كانا ‪ c‬و ) 𝑗𝐻 ‪ 𝐷𝑐 (𝐻𝑖 ,‬فاصلهي 𝑋 است كه به‬ ‫صورو زير تعريف ميشود‪:‬‬ ‫𝑽‬ ‫𝟐‬ ‫(‪)10-2‬‬ ‫) 𝒏𝒋𝒉 ‪(𝒉𝒊𝒏 −‬‬ ‫𝟏‬ ‫𝒏𝒋𝒉 ‪𝒉𝒊𝒏 +‬‬

‫∑‬

‫𝟏=𝒏‬

‫𝟐‬

‫= ) 𝒋𝑯 ‪𝑫𝒄 (𝑯𝒊 .‬‬

‫پارامتر 𝑐𝐴 مطدار ميانگين فوا صالالل ميان تمامي نمونههاي مموزش براي يك كانا ‪ c‬ا سالالت ‪ .‬بهترين‬ ‫مجموعه از كانا هاي ‪ C‬براي يك مجموعه مموزشالي بر اسالاس رويکرد حريصالانه يافت مي شالود‪ .‬فرايند با‬ ‫مجموعهاي تهي از كانا ها مذاز شالالده و تمامي افزونگيهاي ممکن و حافياو كانا ها هنگامي كه يك‬ ‫مطدار حداك ري به د سالت ر سالد ارزيابي مي شالود‪ .‬در صالورتي كه طبطهبندي چندكال ساله مدنرر با شالد از‬ ‫رويکرد يکي در مطابل همه ا سالالتفاده مي شالالود ‪(Laptev, Marszalek, Schmid, & Rozenfeld,‬‬

‫)‪.2008‬‬

‫‪51‬‬

‫مروري بر پيشينه پژوهش‬ ‫جدو ‪: 1-2‬نقاط اوت و ضعف دستهبندی رویکردهای فعالیتکاوی‬

‫ايجاد محدوديت براي حركات‬‫بدن‬ ‫دادههاي دنبالهزماني بدون‬‫مشخصبودن ابتدا و انتهاي‬ ‫بازه‬

‫انعطافپذيرتر‬‫مسائل كمتر در مورد حريم خصوصي‬‫تعداد باالي سنسورهاي مصرفكنندهي‬‫برق‬ ‫جمعآوري فعاليتهاي پرجزييات‬‫‪-‬دقت باالتر‬

‫وابسته به دانش حوزه‬‫سرعت پاييننسبت به ويژگي‪-‬‬‫هاي معنايي‬ ‫‪-‬نيازمند پيشپردازش سنگين‬

‫استخراج ويژگيهاي جابجايي كاربر‬‫استخراج ويژگيهاي قسمتهاي مختلف‬‫بدن كاربر‬ ‫‪-‬تركيب دادهها ناهمگن‬

‫حساستر‬‫پردازش پيچيدهتر محاسبات‬‫زمان طوالني در فاز آموزش‬‫‪-‬تنظيم تعداد باالي پارامترها‬

‫كارايي باالتر‬‫دقت باالتر‬‫قابليت تشخيص فعاليتهاي پيچيده‬‫‪-‬تركيب دادههاي ناهمگن‬

‫پرهزينهتر‬‫تنظيم تعداد باالي پارامترها‬‫‪-‬پردازش پيچيده محاسبات‬

‫كاربرد در حالت بالدرنگ‬‫كاربرد در زمينههاي به روز و تشويق‬‫كنده‬

‫سرپوشيده‬

‫مسائل مربوط حريم شخصي‬‫جمعآوري دادههاي ناهمگن‬‫حساسيت به موقعيت سنسور‬‫موثر بر رفتار كاربر به علت‬‫دوربينهاي نظارتي‬

‫جمعآوري دادههاي محيطي پيچيده‬‫‪-‬سنسورهاي با منبع انرژي پايين‬

‫محيطي‬

‫نقاط ضعف‬

‫نقاط قوت‬

‫رويكردها‬

‫فضاي باز‬ ‫معنايي‬

‫تك كاربر‬ ‫كاربر‬

‫چندكاربر‬ ‫زماني‬ ‫فركانسي‬

‫دستي‬

‫جسمي‬

‫ويژگي‬

‫اتوماتيك‬ ‫تركيبي‬

‫• روشهاي كاوش فعاليتهاي نيمه پيچيده‬ ‫گروهي از فعاليتها كه در ميان فعاليتهاي سالالاده و پيچيده ترار ميگيرند‪ ،‬د سالالتهي فعاليتهاي‬ ‫نيمه پيچيده نا گااري شدهاند‪ .‬علت اين نا گااري ماهيت منها بوده چرا كه در واتع خود ساخته شده‬ ‫از چنالد فعالاليالت اتميالك و ابتالدايي ه سالالتنالد و در عين حالا تعالدادي از اين فعالاليالتهالا‪ ،‬يالك فعالاليالت تمالامالا‬

‫‪52‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫پيچيالده را مي سالالازنالد‪ .‬باله عنوان مالا فعالاليالت پيچيالدهاي چون "پخالت ذالاا" خود فعالاليتي تمالامالا پيچيالده‬ ‫ميباشالد كه از ريزفعاليتهاي نيمهپيچيدهاي چون "برداشالتن ظرو مورد اسالتفاده"‪" ،‬محيا كردن مواد‬ ‫ذاايي خا مورد نياز" و ‪ ...‬تشکيل شدهاست‪.‬‬ ‫يکي از رويکردهاي بدون نرارو و سالالادهاي كه در اين زمينه مورد ا سالالتفاده ترار ميگيرد‪ ،‬سالالاخت‬ ‫مد فعاليت بر ميناي اثر انگ شالت مي با شالد‪ .‬در اين را سالتا ا شاليايي كه مورد ا سالتفادهي كاربر ه سالتند به‬ ‫س ‪ 1‬هاي ‪ RFID‬مجهز شالده و تعداد دفعاتي كه شالي مورد نرر ا سالتفاده مي شالود ثبت ميگردد‪.‬‬ ‫برچ ال‬ ‫مد‬

‫سالالاخته شالالده درواتع الگوهاي متنوع ا سالالتفاده از ا شالاليا را مدنرر ترار ميدهد كه خود نمايانگر‬

‫تفاووهاي تابل توجه از تعداد دفعاو ا سالتفاده از يك شالي در دو كالس مختلف فعاليت مي با شالد‪ .‬رز‬ ‫به ذكر است كه روش مورد بح از وبكاوي نيز بهره ميجويد )‪.(Huỳnh & Schiele, 2006‬‬ ‫به منرور اعما اين روش ابتدا مجموعهاي از ا شالاليا مورد ا سالالتفاده در كالسهاي فعاليتي به د سالالت‬ ‫ممالده از وب مورد كالاوش ترار مي گيرنالد‪ .‬در تالد بعالدي كالاوش‪ ،‬باله منرور بالاربردن ميزان تنوع ميالان هر‬ ‫دو كالس فعاليت‪ ،‬دادههاي مربوو به الگوهاي مت ضالاد در ميان ا شالاليا برمبناي الگوهاي جديد در حا‬ ‫شالالکلگيري مورد ا سالالتفاده ترار ميگيرند )‪ .(Dong & Li, 1999‬در مخر نيز با توجه به الگوريتمي‬ ‫س زدن د سالتي نبوده كه‬ ‫مبتني بر اثرانگ شالت فعاليتها م شالخص مي شالوند‪ .‬در اين روش نيازي به برچ ال‬ ‫در نتيجهي من تابليت اجرا‪ ،‬مطياس پايري و سالالازگاري به منرور پياده سالالازي در دنياي واتعي افزايش‬ ‫مييابد )‪.(Gu, Chen, Tao, & Lu, 2012‬‬ ‫در اين زمينه به منرور پيبردن به انواع اين فعاليتهاي پيچيده و ا سالالتنباو منها از انواع اتميك از‬ ‫"ا سالتدر منتولوژيکا احتمالي‪ "2‬بهره گرفته مي شالود‪ .‬در اين را سالتا فعاليتهاي سالادهاي كه با اعما‬ ‫انواع تکنيكهاي يادگيري ما شالالين بر دادههاي سالالن سالالوري به د سالالت ممدهاند به عنوان ورودي در نرر‬ ‫گرفته مي شالوند )‪ .(Helaoui, Riboni, & Stuckenschmidt, 2013‬مدلسالازي منتولوژيکا ‪ 3‬تادر به‬ ‫استخراج مفاهيم كليدي يك مسئله در يك حوزهاي خاص ميباشد‪ .‬اين مفاهيم در يك ساختار سلسله‬ ‫مراتبي سالازمان يافتهاند كه با ا صالطالحاو م شالترک در اين حوزه مد مي شالوند‪ .‬منتولوژيهاي نهايي در‬ ‫واتع مد هاي دان شالالي ه سالالتند كه به علت توانا بودن در كدكردن و نمايش دانش‪ ،‬برچ سال گااري به‬ ‫صالورو د سالتي انجا نميپايرد و فرايندهاي پيشپردازش و يادگيري نيز به صالورو سالتني نميبا شالند‬ ‫)‪.(Chen, Nugent, & Wang, 2012‬‬

‫‪Tag 1‬‬ ‫‪Ontological reasoning 2‬‬ ‫‪Ontological modeling3‬‬

‫‪53‬‬

‫مروري بر پيشينه پژوهش‬

‫همانطور كه در بخش چالشها نيز ا شالاره شالد به علت تنوع درون كال سالي و شالباهت ميانکال سالي‪ ،‬اين‬ ‫فعالاليالتهالاي پيچيالده باله صالالورو وراثتي داراي عالد تطعيالت ميبالا شالالنالد‪ .‬در حطيطالت بالا مواردي از جملاله‬ ‫امکان پيش بردن فعاليتهاي پيچيده يکسالان در تال چندين فعاليت متفاوو مجزا و نيز نمايان شالدن‬ ‫فعاليتهاي گوناگون و حتي ناسالازگار از دادههاي سالنسالوري كامال مشالابه‪ ،‬روبهرو هسالتنده و در زمينهي‬ ‫شالالنا سالالايي چنين فعاليتهايي رويکردهاي ذيراحتمارتي ناتص عمل ميكنند‪ .‬به عنوان م ا چنانچه‬ ‫فردي در حا انجا فعاليتي در محيس اتاق ن شالاليمن ميبا شالالد‪ .‬برا سالالاس دادههاي به د سالالت ممده دو‬ ‫فعاليت "مطالعه روزنامه" و يا "تما شالالاي تلويزيون" امکانپاير خواهد بود‪ .‬از منجايي كه اين دو فعاليت‬ ‫در زمان يکسالان تابل انجا نميباشالند با اسالتفاده از يك اسالتدر كنندهي ذيراحتمارتي هر دو فعاليت‬ ‫رد خواهنالد‬

‫شالالد‪ .‬چنين رويکرد محتالاطالانالهاي دتالت‪ 1‬پالايين و صالالحالت‪ 2‬بالاريي را باله ارمغالان ميمورد‪ .‬بالا‬

‫چ شالمپو شالي از نا سالازگاريهاي موجود هر دو فعاليت ا سالتنتاج مي شالود‪ .‬اين رويکرد دتت بار و صالحت‬ ‫پاييني را به دست ميدهد )‪.(Chen, Nugent, & Wang, 2012‬‬ ‫• روشهاي كاوش فعاليتهاي تماما پيچيده‬ ‫ف عالال يالت هالايي كاله در بالازه هالاي ز مالاني طورني تر كاله هالد‬

‫خالا صالالي را دن بالا ميكن نالد از جم لالهي‬

‫فعاليتهاي تماما پيچيده ه سالتند‪ .‬در حطيطت رخدادهاي كاوش شالده در تحطيطاو حوزهي رخدادكاوي‬ ‫در اين زيرمجمو عاله ترار ميگيرنالد‪ .‬در اين گروه از ف عالال يالت هالا باله منرور هر چاله سال هالل ان جالا گرفتن‬ ‫تشخيص و در تد بعدي دستهبندي منها در ابتدا اين فعاليتها به اجزاي كوچکتر تطسيم ميشوند‪.‬‬ ‫باله عنوان م الا ميتوان ف عالاليتي چون "تميزكردن خالاناله" را در اين د سال تاله ترارداد‪ .‬اين ف عالال يالت‬ ‫پيچيده خود از چند ريزفعاليت نيمهپيچيده و چندين ريزفعاليت سالالاده ت شالالکيل شالالدها سالالت‪ .‬يکي از‬ ‫فعاليتهاي نيمهپيچيدهاي كه ميتوان از اين فعاليت مت شالالق نمود "مماده نمودن ما شالالين ظرف شالالويي"‬ ‫ميبا شالالد‪ .‬خود اين ريزفعاليت نيمهپيچيده نيز همانطور كه ا شالالاره شالالد از چند فعاليت اتميك ت شالالکيل‬ ‫شالده كه در واتع چندين مرحله "راهرفتن"‪" ،‬نشالسالتن"‪" ،‬ايسالتادن" و ‪ ...‬كه چنانچه محيس مورد نرر از‬ ‫نرر اندازه ن سالبتا بزرگ با شالد‪ ،‬تطريبا تمامي فعاليتهاي اتميك را مي توان زيرنرر ترارداد كه بنابر نوع‬ ‫ويژگيهاي محيس مربوطه تعداد هركدا از اينها متغير خواهدبود‪.‬‬ ‫يکي از رو شالهاي اين گروه كه با اتتباس از ‪ A-SVM‬و ‪ DTSVM‬به د سالت ممده ‪ A-MKL‬ا سالت‬ ‫كه در واتع با ا سالتفاده از روش يادگيري انتطالي يك طبطهبند هد كه از طبطهبندهاي از پيش مموزش‬

‫‪Precision 1‬‬ ‫‪Recall 2‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪54‬‬

‫ديده در كنار يك تابع م شالالفتگي برمبناي كرنلهاي پايهاي 𝑚𝑘 بهره برده را مموزش ميبيند ‪(Duan,‬‬

‫)‪ .Xu, Tsang, & Luo, 2012‬در اين روش‪ ،‬متدهاي يادگيري ما شالالين موجود مانند ‪ SVM ،FR‬و‬ ‫‪ ...‬با ا سالالتفاده از انواع مختلف ويژگيها به منرور به د سالالت موردن طبطهبندهاي از پيش مموزش ديده‬ ‫مورد ا سالالتفاده ترار ميگيرند‪ .‬در اين روش همچنين تركي خطي ضالالراي‬

‫‪ 𝛽𝑝 |𝑃𝑝=1‬از طبطهبندهاي از‬

‫پيش مموزش ديالده ‪ ، 𝑓𝑝 (𝑥)|𝑃𝑝=1‬مموزش ميبيننالده كاله ‪ P‬تعالداد تمالامي طبطالهبنالدهالاي از پيش مموزش‬ ‫ديده ميباشالد‪ .‬در اين راسالتا تابع كرنل ‪ k‬به عنوان تركي خطي از كرنلهاي پايهاي 𝑚𝑘 به صالورو زير‬ ‫تعريف ميشود‪:‬‬ ‫𝑴‬

‫(‪)11-2‬‬

‫𝒎𝒌 𝒎𝒅 ∑ = 𝒌‬ ‫𝟏=𝒎‬

‫𝑀∑ است‪ .‬تابع تصميم هد بر روي هر‬ ‫که 𝑚𝑑ها تركي خطي ضراي بوده و ‪𝑚=1 𝑑𝑚 = 1 ، 𝑑𝑚 ≥ 0‬‬ ‫نمونهي ‪ x‬نيز به صورو زير تابل تعريف است‪:‬‬ ‫(‪)12-2‬‬

‫𝑴‬

‫𝑷‬

‫𝒃 ‪= ∑ 𝜷𝒑 𝒇𝒑 (𝒙) + ∑ 𝒅𝒎 𝒘′ 𝒎 𝝋𝒎 (𝒙) +‬‬ ‫𝟏=𝒎‬

‫)𝒙( 𝑻‬

‫𝒇‬

‫𝟏=𝒑‬

‫‪′‬‬ ‫𝑀∑ = )𝑥(𝑓∆ تابع م شالفتگي با باياس ‪ b‬ميبا شالد‪ .‬از‬ ‫در اين تابع نيز 𝑏 ‪𝑚=1 𝑑𝑚 𝑤 𝑚 𝜑𝑚 (𝑥) +‬‬

‫جملاله نطالاو م بالت اين روش مي توان باله اين نکتاله ا شالالاره كرد كاله باله علالت ا سالالتفالاده از مجموعالهاي از‬ ‫طبطهبندهاي از پيش مموزش ديده شالالده )𝑥( 𝑝𝑓 به عنوان توابع پارامتريك و مدل سالالازي تابع م شالالفتگي‬ ‫)𝑥(𝑓∆ بر ا سالالاس كرنلهاي پايهاي‪ ،‬تابه ت صالالميم هد بهتر براي دادههاي موجود منا سال و سالالازگار‬ ‫خواهد بود‪ .‬همچنين به منرور تركي كردن طبطهبندهاي از پيش مموزش ديده‪ ،‬تركي خطي ضالراي‬ ‫بهينه 𝑝𝛽 مموزش ديده مي شالود‪ .‬عالوه بر اين چنانچه طبطهبندها به صالورو بهينه و كارا تركي‬ ‫روش ارائاله‬

‫شالوند‬

‫شالالده در كالاربردهالاي حطيطي مطالاو تر عمالل ميكنالد‪ .‬امالا در مطالابالل چنالانچاله پي شالاليناله كالار‬

‫توزيعهاي از انواع گوناگون باشد ممکن است منجر به شکست در يادگيري كرنل بهينه شود‪.‬‬ ‫روش ديگر ا سالالتفاده از شالالبکه بيز به منرور شالالنا سالالايي فعاليتهاي تماما پيچيده ميبا شالالد‪ .‬در اين‬ ‫روش فرض كنيالد سالالنالاريوهالايي از رخالدادهالا باله‬

‫صالورو 𝑁𝑆 ‪ 𝑆 = 𝑆1 . … .‬وجود دارد ‪(Hongeng,‬‬

‫)‪ 𝑂𝑡𝑖 .Nevatia, & Bremond, 2004‬نيز مجموعهاي از مشالخصالههاي محرکها در زمان 𝑖𝑡 ميباشالد‪.‬‬ ‫بالا توجاله باله مجموعالهاي از اطالعالاو از محرک هالاي موجود مالاننالد 𝑡𝑂 … ‪ 𝑂1.𝑡 = 𝑂1 𝑂2‬ت صالالميم اينکاله‬ ‫كدا رخداد اتفاق افتاده و در چه زماني شالالرو و پايان يافته بايد اتخاذ شالالود‪ .‬جهت اخا اين ت صالالميم‬

‫‪55‬‬

‫مروري بر پيشينه پژوهش‬

‫) 𝑡‪ ∀𝑖, 𝑃(𝑆𝑖 |𝑂1,‬بايد محا سالبه شالود و رخدادي با بي شالترين مطدار به د سالت ميد‪ .‬با تعريف هر رخداد به‬ ‫گونهاي كه هر زيررخداد من م سالتطل از يکديگر عمل ميكنند‪ ،‬روابس سالل سالله مراتبي ميان شالان به يك‬ ‫شالالبکه بيز تبديل مي شالالود كه از چندين ريهي طبطهبند بيز ت شالالکيل شالالده ا سالالت و هيچ گرهي پنهان‬ ‫ندارد‪ .‬در ريهي باريي رخداد والد ترار گرفته‪ ،‬و به سالاله فرزند زيررخداد خود مت صالالل ميبا شالالد‪ .‬اين‬ ‫رخدادهاي فرزند ريهي ديگري از طبطهبند بيز را ت شالالکيل ميدهند (چنانچه ‪ n‬فرزند موجود با شالالد‪n ،‬‬

‫طب طاله ب نالد بيز در من ر ياله ترار دارد)‪ .‬توزيع احت مالالي بر م طالدار ر خالداد وا لالد در طب طالهب نالد هالاي بيز‬ ‫)) ‪ (𝑃(𝐻 |𝑒1 , 𝑒2 , 𝑒3‬با ا سالالتفاده از توزيع بر مطادير رخدادهاي فرزندان به د سالالت ميميد‪𝑒1 , 𝑒2 , 𝑒3 .‬‬

‫م سالالتطالل از يکالديگر بوده و از اين زيررخدادها توزيع احتمالالي ‪ H‬به د سالالت ميميد‪ .‬با اعمالا تانون بيز‬ ‫داريم‪:‬‬ ‫(‪)13-2‬‬

‫)𝑯(𝑷)𝑯| 𝟑𝒆(𝑷)𝑯| 𝟐𝒆(𝑷)𝑯| 𝟏𝒆(𝑷 ∝ = ) 𝟑𝒆 𝟐𝒆 𝟏𝒆|𝑯(𝑷‬

‫(‪)14-2‬‬

‫)𝐻‪𝑃(−𝐻|𝑒1 𝑒2 𝑒3) = ∝ 𝑃(𝑒1 |−𝐻)𝑃(𝑒2 |−𝐻)𝑃(𝑒3|−𝐻)𝑃(−‬‬

‫در اين فرمو ∝ ثابت نرمال سالالازي بوده به گونهاي كه ‪𝑃(𝐻 |𝑒1 𝑒2 𝑒3 ) + 𝑃 (−𝐻 |𝑒1 𝑒2 𝑒3 ) = 1‬‬

‫است‪.‬‬ ‫درصالورتيکه بازههاي زماني زير رخدادها به اندزهي كافي بلند در نرر گرفته شالود‪ ،‬اين روش ميتوان‬ ‫با تدرو خوبي تفاووها را از يکديگر ت شالخيص داده و تدرو تمايز باريي دارد‪ .‬از جمله نطاو منطي اين‬ ‫روش ميتوان باله تالاثيرپالايري من از اختالرو و خطالاهالا در ت شالالخيص فعالاليالت و رديالابي ا شالالاره كرد‪.‬‬ ‫همچنين باله علالت تفالاوو در نحوهي انجالا فعالاليالت هالاي تمالامالا پيچيالده‪ ،‬نتالاي باله د سالالت ممالده ميتوانالد از‬ ‫تفاووها در زمانبنديها متاثر با شالالد‪ .‬اين فرايند اتوماتيك احتمالي رخدادها به بازههاي زماني مختلف‬ ‫نيز حساس خواهد بود‪.‬‬

‫‪ .12-2‬نمع بندی‬ ‫در اين بخش به كاربرد هاي متنوعي كه فعاليتكاوي در زندگي روزمره انسالان ها دارد پرداخته شالد‪.‬‬ ‫به عناون م ا ‪ ،‬در حوزه ي سالالمت سالن سالور ها به ياري سالالمندان‪ ،‬افراد ناتوان و همچنين معلورن با‬ ‫جلوگيري از وارد ممدن م سالي هاي فيزيکي ممده اند‪ .‬و يا در زمينه ي ارتطاي كيفيت زندگي افراد‪ ،‬با‬ ‫ا سالتفاده از سالن سالور هاي مربوطه مي توان به جلوگيري از افزايش وزن افراد پرداخت‪ .‬به عنوان موردي‬ ‫ديگر‪ ،‬بالازي هالاي كالامپيوتري نيز از فعالاليالتكالاوي بي بهره نمالانالده و براي ت شالالويق نوجوانالان و كودكالان باله‬

‫‪56‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫فعاليت بدني بي شالتر از سالن سالور هاي ا شالاره شالده سالود برده اند‪ .‬همچنين انواع چالش هاي پيش روي‬ ‫محططان اين حوزه ارائه شالالد‪ .‬با وجود اينکه راه حل هاي ب سالالياري براي هر كدا از چالش هاي ا شالالاره‬ ‫شالده‪ ،‬پيشالنهاد گشالته اما هنوز چالش مورد نرر به طور كامل رفع و حل نشالده اسالت‪ .‬به عنوان م ا در‬ ‫زمينه ي كار با داده هاي ويديويي امکان پو شالاليده شالالدن افراد تو سالالس يکديگر وجود دارد كه براي حل‬ ‫من اسالتفاده از چند دوربين به صالورو همزمان پيشالنهاد شالده اما مجددا چالش هايي در ادامه ي كار به‬ ‫وجود ممده اسالت‪ .‬همچنين به عنوان موردي ديگر‪ ،‬تنوع نحوه ي انجا يك فعاليت توسالس افراد متفاوو‬ ‫نيز چال شالي ا سالت كه دتت سالي سالتم هاي فعاليتكاوي را پايين مي مورد‪ .‬حتي انجا يك فعاليت تو سالس‬ ‫يك فرد در زمان هاي متفاوو نيز داده هاي متنوع و ذير تکراري به د سالت مي دهد كه اين خود نيز از‬ ‫م شالکالو اين حوزه به شالمار مي رود‪.‬در ف صالل فعلي‪ ،‬فرايندي كه طي من دادههاي موجود در زمينهي‬ ‫فعاليت افراد مورد كاوش و تف سالير ترار ميگيرند‪ ،‬برر سالي شالد‪ .‬در واتع مراحلي كه بر اين دادهها اعما‬ ‫شده تا خروجي مد نرر كه نهايتا كالسهاي فعاليتهاست به دست ميد‪ ،‬توضيح داده شد‪ .‬در اين راستا‬ ‫عالوه بر ذكر گا هاي اين فرايند‪ ،‬انواع متدها و روشهايي كه محططان اين حوزه از منها بهره برده و در‬ ‫تحطيطاو خود مورد استفاده ترار ميدهند نيز معرفي شدند‪.‬‬

‫فصل سوم‬

‫روش پيشنهادي‬

‫‪59‬‬

‫روش پيشنهادي‬

‫‪ .3‬روش پیشنهادی‬ ‫‪ .1-3‬مقدمه‬ ‫در اين ف صالل به شالرح و برر سالي روشهاي پي شالنهادي پرداخته خواهد شالد‪ .‬در ابتدا دورنما و شالماي‬ ‫كلي سالي سالتم پي شالنهادي ا شالاره شالده و در ادامه جزيياو سالي سالتم مورد نرر به تفکيك مراحل برر سالي‬ ‫خواهد شالد‪ .‬در سالاختارهاي ترساليم شالده تسالمتهاي پيشالنهادي به صالورو دوخطي و با لبههاي تيرهتر‬ ‫متمايز شالدهاسالت‪ .‬در اين پژوهش مفهو فعاليت به هرگونه فعاليت كاربر به صالورو انفرادي اطالق شالده‬ ‫و فعاليتهاي چندكاربر مورد برر سالي ترارنگرفتهاند‪ .‬همچنين حوزه مورد مطالعه فعاليتكاوي در دنباله‬ ‫داده سالالن سالالوري به عد وجود مرز دتيق ميان هر دو فعاليت و همچنين پيچيدگي باري فعاليتهاي‬ ‫انجا گرفته محدود شالالدها سالالت‪ .‬دادههاي ورودي داراي برچ سال بوده و مرحله مموزش سالالي سالالتم‬ ‫پي شالنهادي به صالورو نرارو شالده و مفالين صالورو ميگيرد‪ .‬مجموعه ورودي به چند ت سالمت برا سالاس‬ ‫محورهاي ‪ y ،x‬و ‪ z‬تط ساليم شالده و به صالورو همزمان به عنوان ورودي به سالي سالتم داده مي شالوند‪ .‬از‬ ‫منجايي كه دادهها به صالورو ترتيبي به ساليسالتم وارد مي شالود‪ ،‬فعاليتكاوي نيز به صالورو تکي رخ داده و‬ ‫چند فعاليت همزمان ت شالخيص داده نمي شالوند‪ .‬از منجايي كه د سالتگاه ثبت ساليگنا هاي حركتي به بدن‬ ‫افراد متصالل شالده‪ ،‬امکان محدود شالدن دامنه حركتي كاربر موردنرر ويا اتما باتري سالنسالور وجود دارد‪.‬‬ ‫جدو ‪ 3-1‬اختصاراو به كاررفته در فصل پيشرو را شرح ميدهد‪.‬‬

‫‪ .2-3‬سیستم کاوش فعالیت در دنبالهی دادهی سنسوری با تاکید بر تشخیص‬ ‫فعالیتهای مشابه (‪)AMSAD1‬‬ ‫دورنماي سالي سالتم كاوش فعاليت پي شالنهادي در شالکل ‪ 1-3‬م شالخص شالدها سالت‪ .‬اين سالي سالتم كه بر‬ ‫مبناي يادگيري عميق به ت شالالخيص فعاليت افراد مي‪-‬پردازد يك دنباله زماني جمعموري شالالده تو سالالس‬ ‫سالن سالورهاي پو شاليدني به عنوان ورودي دريافت كرده و با ا سالتخراج ويژگيها در چند مرحله به صالورو‬

‫‪Activity Mining with emphasis on Similar Activity Detection system1‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

60

‫ برچس فعاليتهاي‬،‫دسالتي و همچنين اتوماتيك و سالاير اعما توسالس شالبکهي عصالبي پيادهسالازي شالده‬ .‫داده شده را پيشبيني ميكند‬ ‫ شرح اختلارات به کاررفته در فل سوم‬: 1-3 ‫جدو‬ ‫شرح‬ Window size

‫اختصار‬ Ws

Fast Fourier Transform

FFT

Overlapping Period

OP

2Streams

2S

Convolutional Neural Network Temporal Convolutional Neural Network Sensor Data_Time Series

CNN

SD_TimeS

Detected Activities

Das

Two Stream Neural Network

TSNN

: ‫ورودي سيست‬ ‫دنبال زماني دادهي سنسوري‬

TCN

‫شرح‬ Feature Vector in x dimention Feature Vector in y dimention Feature Vector in z dimention Fft feature of the Feature Vector in x dimention Fft feature of the Feature Vector in y dimention Fft feature of the Feature Vector in z dimention Reshaped variable of Feature Vector in x dimention Reshaped variable of Feature Vector in y dimention Reshaped variable of Feature Vector in z dimention

‫سيست كاوش فعاليت در دنبال زماني دادهي سنسوري‬

‫اختصار‬ FVx FVy FVz FVx_fft FVx_fft FVx_fft R_FVx

R_FVy

R_FVz

: ‫خروجي سيست‬ ‫برچس نو فعاليت‬

‫ دورنمای سیستم کاوش فعالیت در دنبالهی دادهی سنسوری با تاکید بر تشخیص فعالیت مشابه‬:

‫‪61‬‬

‫روش پيشنهادي‬

‫گردش كار ساليسالتم ‪ AMSAD‬در شالکل ‪ 2-3‬ترساليم شالده اسالت‪ .‬در اين ساليسالتم از شالبکه ع صالبي‬ ‫پيچ شالي‪ ،‬شالبکه ع صالبي پيچ شالي زماني‪ ،‬چندجريان‪ ،‬چندورودي در شالبکههاي ع صالبي و ادذا دادهها‬

‫‪1‬‬

‫استفاده شده است‪.‬‬

‫‪ :‬گردش کار سیستم ‪AMSAD‬‬

‫شالماي كلي سالي سالتم پي شالنهادي كاوش فعاليت در شالکل ‪ 3-3‬تر ساليم شالده ا سالت‪ .‬اين سالي سالتم از‬ ‫دوجريان موازي سالاخته شالده كه هر دوجريان از يك مد مبتني بر يادگيري عميق بهرهبرده و دادهها‬ ‫ورودي را پردازش ميكنند‪ .‬اين ساليسالتم متشالکل از چهار زير ساليسالتم "پيشپردازش و اسالتخراج ويژگي‬ ‫اوليه توسالس ساليسالتم كاوش فعاليت ‪ " ،"AMSAD‬كدگااري مجدد متغيرهاي حاوي ويژگي فركانسالي‬ ‫"مد شالبکه ع صالبي پي شالنهادي" ميبا شالد‪ .‬زير سالي سالتم او شالامل پيشپردازش كه در واتع تطعهبندي‬ ‫دنباله زماني داده سالنسالوري ورودي اسالت‪ ،‬ميباشالد‪ .‬در اين زيرساليسالتم دادههاي جمعموري شالده توسالس‬ ‫شالتاب سالن به ساله د سالته برمبناي محورهاي ‪ y ،x‬و ‪ z‬تط ساليم شالده و در ساله مخزن جداگانه ذخيره‬ ‫مي شالوند‪ .‬همچنين اسالتخراج ويژگي اوليه در حوزه فركانس در اين زيرساليسالتم جاي دارد‪ .‬دادههاي ساله‬ ‫محور ا شالالاره شالالده پس از ا سالالتخراج ويژگي حوزه فركانس در سالاله مخزن ديگر ذخيره ميگردند‪ .‬در‬ ‫زير سالي سالتم دو ‪ ،‬دادههاي زماني ساله مخزن كه مرايههايي شالامل دادهي شالتاب سالن ميبا شالند بدون‬ ‫هيچگونه تغييري در محتوا به صالالورو شالالکلي‪ 2‬ديگر درميميند‪ .‬زير سالالي سالالتم سالالو نيز تغيير شالالکل‬

‫‪Fusion1‬‬ ‫‪Shape 2‬‬

‫‪62‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫دادههاي فركان سالي ساله مخزن ا شالاره شالده را در بردارد‪ .‬در اين ت سالمت نيز هيچگونه تغييري در محتواي‬ ‫داده رخ نداده و مطادير موجود در مرايهها همانند زيرساليسالتم دو بدون تغيير باتي ميماند‪ .‬زير ساليسالتم‬ ‫چهار نيز در حطيطت مد پي شالالنهادي مبتني بر يادگيري عميق ا سالالت‪ .‬اين مد‬

‫شالالامل ‪ 3‬ورودي به‬

‫صالالورو همزمان ا سالالت كه به صالالورو موازي در دو جريان مبتني برزمان‪ 1‬و مبتني بر فركانس‪ 2‬مورد‬ ‫پردازش ترار ميگيرند‪ .‬هر ‪ 3‬ورودي كه در واتع همان دادههاي مخزنهاي ا شالاره شالده و تغيير شالکل‬ ‫داده شده است‪ ،‬وارد يك جريان جداگانه از اين شبکه ميگردد‪ .‬پس از عبور از ريههاي ورودي‪،‬‬

‫‪ :‬شمای کلی سیستم فعالیتکاوی پیشنهادی‬

‫‪Temporal-based 1‬‬ ‫‪Frequency-based 2‬‬

‫‪63‬‬

‫روش پيشنهادي‬

‫داده هالاي مورد نرر در رياله هالاي ميالاني و پنهالان پردازش مي شالالود‪ .‬پس از عبور از مرحلاله مموزش‪،‬‬ ‫دادههاي مربوو به تسالت به مد سالاخته شالده داده مي شالوند و مد گروهي‪ 1‬سالاخته شالده با اسالتفاده از‬ ‫س هاي منا سالبي به صالورو گروهي براي دادههاي ت سالت پيشبيني ميكند‪ .‬در‬ ‫رايگيري گروهي‪ 2‬برچ ال‬ ‫ادامه هريك از زيرسيستمها به تفکيك و با جزيياو شرح داده خواهند شد‪.‬‬

‫‪ .3-3‬پیشپردازش اولیه و استخراج ویژگی توسط سیستم پیشنهادی‬ ‫زير سالي سالتم او در شالکل ‪ 4-3‬وظيفه پيشپردازش و ا سالتخراج ويژگي اوليه در حوزه فركانس را بر‬ ‫عهده دارد‪ .‬جزيياو هر يك از مراحل اين زير سالي سالتم در شالکل ‪ 7-3‬ممده ا سالت‪ .‬در اين زير سالي سالتم‬ ‫دادههاي سالريزماني سالنسالوري به عنوان ورودي وارد شالده و در ابتدا تطعهبندي منها صالورو ميگيرد‪.‬‬ ‫سالپس اين دادهها به ساله بخش برمبناي محورهاي ‪ y ،x‬و ‪ z‬تط ساليم شالده و در ساله مخزن م شالخص و‬ ‫جداگانه ذخيره ميگردند‪ .‬ا سالتخراج ويژگي اوليه كه همان ا سالتخراج ويژگي در حوزه فركانس ميبا شالد‬ ‫بر دادههاي ذخيره شالالده در اين سالاله مخزن رخ داده و خروجي اين مرحله در سالاله مخزن ديگر ذخيره‬ ‫ميگردند‪ .‬هد از ذخيرهسازي در مخزنهاي اشاره شده كاهش پيچيدگي زماني و مکاني پردازشهاي‬ ‫رخداده ميباشد‪ .‬در ادامه توضيحاو هر مرحله از اين سيستم ممده است‪.‬‬ ‫اطعهبندی دنباله زمانی با سایز پناره ‪ws‬‬

‫اطعهبندی دنباله زماني يك رويکرد در مرحله پيشپردازش فعاليتكاوي است كه ذالبا با روش پنجره‬ ‫لغزان‪ 3‬پيادهسازي ميشود )‪ .(Dehghani, Sarbishei, Glatard, & Shihab, 2019‬تطعهبندي‬ ‫پيوستهي دادههاي ترتيبي ورودي به علت تفاوو در طو انجا هر فعاليت و همچنين نبود مرز دتيق‬ ‫ميان فعاليتها كاري چالشبرانگيز به شمار ميرود‪ .‬در حا حاضر‪ ،‬هر دو نوع روشهاي مبتني بر‬ ‫يادگيري ماشين و يادگيري عميق از تکنولوژي پنجره لغزان ثابت براي تطسيم سيگنا هاي سنسوري‬ ‫به پنجرههاي با طو ثابت بهره ميجويند (‪ ,Zhang‬و غیره‪ .)2019 ,‬در ایت متد دادههای سنسوری‬ ‫توسط پنارههایی با سایز ثابت ‪ ws‬به اطعات مختلف تقسیم میشوند و اعمال پناره مورد‬

‫‪Ensemble-model1‬‬ ‫‪Ensemble-voting2‬‬ ‫‪Sliding window3‬‬

‫‪64‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫نرر به صورو همپوشاني‪ 1‬يا ذيرهمپوشاني‪ 2‬رخ ميدهد‪ .‬در اين پژوهش تکنيك پنجره لغزان با هم‪-‬‬ ‫پوشاني‪ 50‬درصد و سايز پنجره برابر ‪ 32‬اعما شده است‪.‬‬

‫‪ :‬پیشپردازش و استخراج ویژگی اولیه‬

‫‪Overlapping 1‬‬ ‫‪Non-overlapping 2‬‬

‫‪65‬‬

‫روش پيشنهادي‬

‫شکل ‪ 5-3‬نحوهي اعما پنجره لغزان بر دادههاي سنسوري را نشان ميدهد‪.‬‬

‫‪ :‬پناره لغزان با همپوشانی‬

‫سالايز پنجره براسالاس محاسالبه خطا براي اندازههاي مختلف پنجره مشالخص شالده اسالت كه در شالکل‬ ‫‪ 6-3‬ممده اسالت‪ .‬براسالاس توزيع يکنواخت و يکسالان فعاليتها در طو زمان طو پنجره يکسالان در نرر‬ ‫گرفته شده است )‪.(Banos, Galvez, Damas, Pomares, & Rojas, 2014‬‬

‫‪۷۴‬‬

‫‪۸۵‬‬

‫‪۸۲‬‬

‫‪۸۷‬‬

‫‪100‬‬

‫‪50‬‬

‫دتت سيستم (درصد)‬

‫‪۶۴‬‬

‫‪0‬‬ ‫‪۵۱۲‬‬

‫‪۲۵۶‬‬

‫‪۶۴‬‬

‫‪۱۲۸‬‬

‫‪۳۲‬‬

‫اندازه پنجره‬ ‫دقت‬

‫نمودار ‪: 1-3‬تاثیر اندازه پناره بر دات سیستم فعالیتکاوی‬

‫پس از تطعهبندي داده توسس تکنيك پنجره لغزان‪ ،‬دادههاي مربوو به شتابسن در سه راستاي محور‬ ‫‪ y ،x‬و ‪ z‬استخراج و جداسازي ميشوند و هريك در مخزني جداگانه به منرور كاهش هزينه و زمان‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪66‬‬

‫محاسباتي ذخيره ميگردند‪ .‬از دادههاي ذخيرهشده در مخزنهاي مربوطه‪ ،‬در مرحلهي بعد ويژگي حوزه‬ ‫فركانسي توسس توابع مماده در پايتون استخراج ميشود‪ .‬در اين مرحله نيز خروجي در سه مخزن جداگانه‬ ‫ديگر ذخيره ميگردند‪ .‬پنجره لغزان با همپوشاني به سب توليد حجم باري داده در مطايسه با پنجره‬ ‫لغزان بدون همپوشاني عملکرد طبطهبند تشخيص فعاليت را افزايش داده و موارد مهم نيز از دست‬ ‫نميروند‪.‬‬ ‫پروسهی يك پنجره لغزان ميتواند به صورو زير تعريف شود‪ .‬يك جريان داده با مطادير ‪ 𝑥𝑖 = ℝ‬در‬ ‫زمانهاي )‪ .𝑡𝑖 (𝑖 ∈ ℕ‬به منرور سادهسازي و بدون كاهش تعميمپايري ‪ 𝑡0 = 0‬در نررگرفته شده‪-‬‬ ‫است و دوره نمونهبرداري برابر با 𝑇∆ و ثابت ميماند‪ .‬رابطه ‪ 1-3‬به صورو رياضي اين موضوع را بيان‬ ‫ميكند‪.‬‬ ‫(‪)1-3‬‬

‫𝑇∆ = 𝑡𝑡 ‪∀ 𝑖 ∈ ℕ, 𝑡𝑡+1 −‬‬

‫يك پنجره لغزان با طو ثابت دنباله زماني را به تطعاو مجزا به گونهاي كه هر تطعه مت شالالکل از ‪n‬‬

‫) ‪ (𝑛 ∈ ℕ, 𝑛 > 1‬نمونه ا سالالت‪ .‬در نتيجه اندازه پنجره ‪ T‬در ثانيه بر ا سالالاس رابطه ‪ 2-3‬محا سالالبه‬ ‫ميشود‪.‬‬ ‫(‪)2-3‬‬

‫𝑇∆)‪𝑇 = (𝑛 − 1‬‬

‫رز به ذكر ا سالت در اين رابطه 𝑇∆ دوره نمونهبرداري ا سالت‪ .‬همچنین }‪𝑝 ∈ {0, 1, 2, … , 𝑛 − 1‬‬

‫تعداد نمونههايي كه در دورههاي همپو شالاني بين دو پنجره متوالي ه سالتن د را م شالخص ميکند‪ .‬در اين‬ ‫را سالالتا ‪ 𝑝 = 0‬ه سالالناريويي كه پنجر ههاي بدون همپو شالالاني ه سالالتند ا شالالاره ميکند‪ .‬سالالپس دوره‬ ‫همپوشاني بين دو پنجره متوالي در واحد ثانيه كه همان ‪ OP‬است به صورو زير محاسبه ميشود‪.‬‬

‫(‪)3-3‬‬

‫𝑇∆𝑝 = 𝑃𝑂‬

‫ب سالالياري از مطارو دوره همپو شالالاني را به عنوان يك در صالالدي از طو كلي پنجره به عنوان م ا‬ ‫پنجره همپوشالاني ‪ 80‬درصالدي تعريف ميشالود‪ .‬همچنين دوره همپوشالاني به صالورو درصالدي ميتواند به‬ ‫صورو ر ابطه ‪ 4-3‬نيز تعريف ميشود‪.‬‬ ‫(‪)4-3‬‬

‫𝑝‬ ‫𝑛‬

‫= )‪𝑂𝑃(%‬‬

‫در مخر ميتوان هر پنجره يا تطعه )‪ 𝑆𝑘 (𝑘 ∈ ℕ‬را به صالورو مطادير داده 𝑖𝑥 به صالورو زير تعريف‬ ‫كرد‪.‬‬

‫‪67‬‬

‫روش پيشنهادي‬

‫(‪)5-3‬‬

‫𝑘(} )𝑝‪𝑆𝑘 = {𝑋𝑘(𝑛−𝑝) , 𝑋𝑘(𝑛−𝑝)+1 , … , 𝑋𝑘(𝑛−‬‬ ‫)‪∈ ℕ‬‬

‫شکل ‪ 6-3‬جزيياو تطعهبندي انجا شده در پيشپردازش اين پژوهش را نمايش ميدهد‪.‬‬

‫‪ :‬نزییات اطعهبندی‬

‫در ابتدا سالايز پنجره تعيين شالده و داد ههاي سالن سالوري ورودي م شالخص مي شالوند‪ .‬در تد بعدي دو‬ ‫متغير ‪ segments‬و ‪ labels‬با مطادير پيشفرض )‪ (Null‬مطداردهي ميگردند‪ .‬سالپس متغير ‪ start‬نيز‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪68‬‬

‫با مطدار صالالفر مطداردهي مي شالالود‪ .‬در اين مرحله وارد سالالازنده ‪ window‬شالالده و بايد مطدار ‪ start‬به‬ ‫گونهاي تعيين شود كه از طو ليست داده كمتر شود تا مطادير ‪ start‬و ‪ start+ws‬بازگردانده شود‪ .‬اگر‬ ‫اين مورد رخ ندهد متغيرهاي ‪ start‬و ‪ end‬چك شالالده تا در ‪ start‬و ‪ start+ws‬صالالدق كنند و به اين‬ ‫ترتي‬

‫ماتريسهاي دوبعدي ‪ y ،x‬و ‪ z‬با مطادير شالالتاب سالن در سالاله را سالالتاي محورهاي ‪ y ،x‬و ‪z‬‬

‫مطداردهي شالالده و طو ويژگي ‪ timestamp‬در متغير ‪ data‬چك شالالده كه ميا در بازهي ‪ start‬و ‪end‬‬

‫برابر ‪ ws‬ا سالالت يا خير‪ .‬اگر اين مو ضالالوع رخ ندهد مجددا شالالرو صالالادق بودن ‪ start‬و ‪ end‬در ‪ start‬و‬ ‫‪ start+ws‬چك مي شالالود و اگر رخ داد ‪ segments‬و ‪ labels‬مطداردهي مي شالالوند‪ .‬رز به ذكر ا سالالت‬ ‫چنانچه شرو دو صدق نکند متغيرهاي ماتريسي ‪ segments‬و ‪ labels‬بازگردانده ميشوند‪.‬‬ ‫استخراج دادههای ابعاد شتا سنج‬ ‫در اين زير سالي سالتم دادههاي ابعاد متخلف شالتاب سالن در ساله را سالتاي محورهاي ‪ y ،x‬و ‪ z‬ا سالتخراج‬ ‫مييابد‪ .‬در واتع متغير ‪ segments‬كه سالاختار تن سالور‪ 1‬دارد داراي ساله بعد بوده كه بعد سالو مطدار ‪3‬‬ ‫دارد‪ .‬در اين مرحله هر يك از اين مطادير در بعد سالالو تفکيك شالالده و سالاله ماتريس دو بعدي دتيطا با‬ ‫محتوياو تنسور پيشين تشکيل ميشود‪ .‬شکل ‪ 7-3‬جزيياو اين زير سيستم را نمايش ميدهد‪.‬‬ ‫استخراج ویژگی اولیه در حوزه فرکانس‬ ‫در اين زير سالي سالتم ويژگي حوزه فركانس تحت عنوان ا سالتخراج ويژگي اوليه رخ ميدهد‪ .‬ا سالتفاده از‬ ‫ويژگيهاي حوزه فركانس كه در اين پژوهش با ا سالالتفاده از تبديل فوريه سالالريع‪ 2‬بهد سالالت ممدهاند در‬ ‫ب سالالياري از تحطيطاو متداو بوده ا سالالت ‪ .‬از جمله علل ا سالالتفاده از اين نوع تبديل ميتوان به اين نکته‬ ‫اشاره كرد كه با توجه به نتاي به دست ممده بدون تغييري در دتت تشخيص فعاليتها در حوزه فوريه‪،‬‬ ‫سرعت باريي در يادگيري به دست ممد )‪ .(Pratt, Williams, Coenen, & Zheng, 2017‬همچنين‬ ‫كاهش نمونهبرداري و ت سالريع همگرايي در نتاي اجراي مد بو ساليله اعما اين د سالته ويژگي حا صالل‬ ‫شده است‪.‬‬

‫‪tensor1‬‬ ‫‪Fast Fourier Transform2‬‬

‫‪69‬‬

‫روش پيشنهادي‬

‫‪ :‬فلوچارت استخراج دادههای ابعاد شتا سنج‬

‫علت اسالتفاده از تبديل فوريه سالريع به جاي تبديل فوريه گسالسالته‪ 1‬كاهش پيچيدگي محاسالباتي من‬ ‫تبديل ا سالالت‪ .‬محا سالالباو تبديل فوريه گ سال سالالته براي يك نمونه ورودي كه به شالالکل ت صالالوير در اندازه‬ ‫𝑛 × 𝑛 اسالت شالامل ‪ 𝑛2‬عملياو ضالرب و ( ‪ 𝑛 (𝑛 – 1‬عملياو جمع ميباشالد كه در حالتي كه تبديل‬ ‫فوريه سالالريع ا سالالتفاده شالالود اين مطدار به ترتي به 𝑛 ‪ 𝑛⁄2 log 2‬عملياو ضالالرب و 𝑛 ‪ 𝑛 log 2‬عملياو‬ ‫جمع تنز مييابد‪ .‬اين مو ضالالوع باع بهبود كلي از ) ‪ 𝑂(𝑛2‬عملياو رز براي محا سالالبه تبديل فوريه‬ ‫گ سال سالته به )𝑛 ‪𝑂(n log‬بر اي تبديل فوريه سالريع شالده ا سالت‪ .‬چنين مو ضالوعي باع‬

‫افزايش ن سالبي‬

‫سالرعت محا سالباو براي داد ههاي سالن سالوري ورودي كه به شالکل ت صالوير ه سالتند مي شالود كه در ادامه با‬ ‫جزيياو بيشتر بيان خواهد شد‪.‬‬ ‫شکل ‪ 8-3‬اين فرايند را به تصوير كشيد هاست‪.‬‬

‫‪Descrete Fourier Transform1‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪70‬‬

‫‪ :‬نزییات استخراج ویژگی حوزه فرکانس‬

‫کدگذاری‪ 1‬مادد متغیرهای حاوی دادههای سه بعد شتا سنج و ویژگی فرکانسی‬ ‫قنها‬ ‫بعدي ‪ n‬بعدي به صالورو يك ماتريس ‪ m‬كدگااري مجدد در اين زير سالي سالتم با ا سالتفاده از توابع‬ ‫ممالاده انجالا ميپالايرد‪ .‬در اين را سالالتالا يالك مالاتريس درممالده و افزايش بعالد رخ ميدهالد‪ .‬باله بيالاني ديگر‬ ‫دادههاي سالالن سالالوري ورودي تا حدودي بك مفهو انزاعي دارند كه هنگا پياده سالالازي باي سالالتي از يك‬ ‫ساختار خاص با نا تنسور استفاده گردد‪ .‬علت استفاده از اين ساختار دارا بودن خواصي رياضياتي است‬ ‫كه امکان ر ساليدن به هد كه همان پياده سالازي ا سالت را م سالان مينمايد‪ .‬در واتع مد پي شالنهادي بر‬ ‫مبناي يادگيري عميق بر اين تن سالورها عملياو انجا ميدهد‪ .‬پس از كدگااري مجدد تن سالورهاي مورد‬ ‫نرر شکلي در تال‬

‫سطرها و ستونهاي مورد جستجو را به دست ميمورند‪.‬‬

‫‪ .4-3‬مدل پیشنهادی کاوش فعالیت با تاکید بر تشخیص فعالیتهای مشابه‬ ‫(‪)AMSAD‬‬ ‫شالماي كلي زير ساليسالتم چهار در ساليسالتم ‪ AMSAD‬در شالکل ‪ 9-3‬به نمايش در ممدهاسالت‪ .‬اين‬ ‫زيرسيستم وظيفهي استخراج ويژگي ثانويه و كاوش فعاليت افراد با رويکرد تشخيص فعاليتهاي مشابه‬

‫‪Reshape1‬‬

‫‪71‬‬

‫روش پيشنهادي‬

‫براسالاس يادگيري عميق را برعهده دارد‪ .‬ورودي اين مد ساله مخزن محتوي دادههاي اسالتخراج يافته و‬ ‫تطعهبندي شالالده از مراحل تبل ا سالالت‪ .‬همچنين از يك مد مبتني بر يادگيري عميق مت شالالکل از دو‬ ‫شالبکه كه هر شالبکه چند ورودي نيز هسالت اسالتفاده شالده اسالت‪ .‬رز به ذكر اسالت كه از مد ارائه شالده‬ ‫در دوجريان موازي سالي سالتم ا سالتفاده شالده و ورودي هرجريان ساله مخزن حاوي دادههاي ا شالاره شالده‬ ‫است‪.‬‬

‫‪ :‬شمای کلی مدل پیشنهادی فعالیتکاوی‬

‫مدل پیشنهادی ‪ TSNN‬فعالیتکاوی مبتنی بر یادگیری عمید‬ ‫دادههاي جمعموري شالده در مورد فعاليت روزانه افراد كه توسالس سالنسالورهاي تابلحمل و پوشاليدني‬ ‫انجا ميگردد معمور از نوع دنباله زماني ميبا شالد‪ .‬ت شالخيص فعاليت افراد برا سالاس دادههايي از جنس‬ ‫دنباله زماني فرايندي پيچيده و طاتتفر سالا به شالمار ميرود كه شالامل مراحل مختلفي مي شالود‪ .‬در ابتدا‬ ‫پيشپرداش و تطعهبندي داده انجا شالده و سالپس با ا سالتفاده از الگوريتمهاي طبطهبندي در يادگيري‬ ‫ماشالن طبطهبندي انجا ميپايرد‪ .‬با اسالتفاده از متدهاي سالتني اسالتخراج ويژگي به صالورو دسالتي انجا‬ ‫مي شالود اما با تو سالعه يادگيري عميق اين مرحله با يادگيري عميق پياده سالازي مي شالود و ويژگيها به‬ ‫صالورو اتوماتيك اسالتخراج شالده و مراحل پيچيده در اسالتخراج دسالتي ويژگيها رخ نميدهد ‪(Zhang,‬‬

‫)‪ .et al., 2019‬در واتع علت اصاللي اسالتفاده از يادگيري عميق كاهش حجم كار در مرحلهي مهندسالي‬ ‫ويژگي‪ 1‬و ا سالتخراج منها ا سالت‪ .‬در نتيجه يادگيري عميق ذالبا در مطاي ساله با روشهاي سالتني رو شالي‬

‫‪Feature Engineering 1‬‬

‫‪72‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫برتر تلطي مي شالود‪ .‬در حوزه كاوش فعاليت نيز شالبکه عصالبي كانولوشالنا براي مناليز فعاليتهاي سالاده و‬ ‫پيچيده مورد استفاده ترار ميگيرد‪.‬‬ ‫ساختار مدل پیشنهادی برای کاوش فعالیت در سیستم ‪AMSAD‬‬

‫شالالبکههاي مختلفي مبتني بر يادگيري عميق ارائه شالالدهاند كه در اين پژوهش از دو نوع شالالبکه‬ ‫عصالبي پيچشالي و شالبکه عصالبي پپيچشالي متسالع شالده اسالتفاده شالدهاسالت‪ .‬شالبکههاي عصالبي كانولوشالنا‬ ‫در اخا و گرفتن اتصالارو محلي در دادههاي سنسوري چندحالته شايستگي بيشتري دارد‪ .‬اين شبکهها‬ ‫پولين‬ ‫از يك ريهورودي‪ ،1‬يك يا چنالد ريه پيچ شالالي و ال‬

‫‪2‬‬

‫و در نهايت يكيا چند ريه تماما مت صالالل‬

‫‪3‬‬

‫تشالکيل شالدهاسالت‪ .‬عملياو كانولوشالن به گرههاي ورودي و يا گرههاي پنهان در ريهي تبلي اعما شالده‬ ‫و مجموعه وزندار مطادير گرههاي موجود در كرنل‪ 4‬كانولو شالن محا سالبه مي شالود‪ .‬سالپس يك پي شالطدر‬

‫‪5‬‬

‫افزوده شالده و به يك تابع فعال سالازي منتطل ميگردد تا يك نگا شالت ويژگي ت شالکيل شالود‪ .‬شالکل ‪11-3‬‬ ‫ساختار مد ارائه شده را نمايش ميدهد‪.‬‬ ‫در شبکه ارائه شده‪ ،‬ابتدا ريهي ورودي دادههاي سنسوري تطعهبندي شده كه در ‪ 6‬مخزن جداگانه‬ ‫وجود دارند را دريافت ميكند‪ .‬پس از ريهي ورودي‪ ،‬ريه پيچ شالي پياده سالازي شالده ا سالت كه در اين‬ ‫مد از ريهي دوبعدي بعلت توانايي در ت سالاللس به واب سالالتگيهاي زماني و مکاني كه منجر به عملکرد‬ ‫بارتر و تعداد پارامتر كمتر در مطاي سالاله با ريهي پيچ شالالي يكبعدي ا سالالتفاده شالالدها سالالت‪ .‬همچنين‬ ‫واب سالتگيهاي محلي ميان سالن سالورها و گا هاي زماني تو سالس ريه پيچ شالي دوبعدي ذخيره مي شالود‪ .‬از‬ ‫علل ديگر براي پياده سالازي ريهي كانولو شالالنا دوبعدي چندمتغيره بودن دادهي ورودي ا سالالت‪ .‬يك‬ ‫دنباله زماني چندمتغيره دنبالهاي ا سالالت كه بيش از يك متغير واب سالالته به زمان دارد بهگونهاي كه هر‬ ‫متغير نه تنها به مطادير گا شالالتهاش بلکه به سالالاير متغيرها نيز واب سالالتها سالالت‪ .‬از اين واب سالالتگي براي‬ ‫پيشبيني ا سالتفاده مي شالود‪ .‬در مجموعهداده مورد ا سالتفاده نيز بعلت وجود چنين واب سالتگيهايي ميان‬ ‫ويژگيها از ربهي دوبعدي پيچشي استفاده شده است‪.‬‬ ‫اسالتفاده از ريه پيچشالي اتسالاع يافته‪ 6‬در شالبکه عصالبي پيچشالي به منرور جبران عد توانايي شالبکه‬ ‫پيچشالي در مد كردن وابسالتگيهاي بلندمدو در دادههاي ورودي‪ ،‬تركي اين شالبکه با شالبکه پيچشالي‬

‫‪Input Layer1‬‬ ‫‪Pooling Layer2‬‬ ‫‪Fully Connected Layer3‬‬ ‫‪Kernel 4‬‬ ‫‪Bias 5‬‬ ‫‪Dilated Convolutional Layer6‬‬

‫‪73‬‬

‫روش پيشنهادي‬

‫ات سالالاع بافته نتاي بهتري بهد سالالت ميمورد‪ .‬در اين پژوهش نيز در بلوک دو از هر جريان از شالالبکه‬ ‫پيچشالي اتسالاعيافته بهرهبرده و نرخ دتت تمييز فعاليتهاي مشالابه بار رفتهاسالت‪ .‬ميان ريههاي پيچشالي‬ ‫و پيچ شالالي ات سالالاع يافته نيز از ريههاي پولين‬

‫ا سالالتفاده شالالده و در نهايت نيز ريههاي تماما مت صالالل‬

‫اسالتفاده شالدهاند‪ .‬البته رز به ذكر اسالت كه از ريه حا تصالادفي‪ 1‬نيز اسالتفاده شالدهاسالت‪ .‬همچنين در‬ ‫مخرين ريه از ريه سالافتمکس‪ 2‬به منرور به د سالتموردن احتمارو كالسها براي پيشبيني فعاليتها‬ ‫بهكار برده شالالدها سالالت‪ .‬محتواي هر كدا از مخزنها پس از عبور از اين ريهها و در واتع پس از عبور از‬ ‫مد پيشنهادي وارد تسمت رايگيري ميشود‪.‬‬

‫‪ :‬شمای معماری مدل پیشنهادی فعالیتکاوی مبتنی بر یادگیری عمید‬

‫چنانچه ‪ n‬كالس ‪ c1, c2, c3, …, cn‬و ‪ k‬عدد مد ‪ m1, m2, m3, …, mk‬وجود دا شالته با شالد‪ ،‬به‬ ‫منرور پيشبيني كالس مناس براي الگوي ‪ X‬ورودي كه نمايشي از ويژگيهاست‪ ،‬احتما تعلق ‪ X‬به‬ ‫كالس ‪ ci‬از مد ‪ mj‬با ‪ dy‬ن شالالان داده مي شالالود‪ .‬براي هر مد ‪ mf‬اگر)‪ dy = max (dy‬الگوي ‪ X‬در‬ ‫كالس ‪ ci‬تو سالس مد ‪ mj‬پيشبيني مي شالود‪ .‬در رايگيري حداك ريت در اين پژوهش نيز كال سالي ک‬ ‫توسالس بيشالترين تعداد خروجي براي يك ورودي پيشبيني شالود‪ ،‬در نهايت كالس پيشبيني شالده براي‬ ‫نمونه ورودي در نرر گرفته خواهد شد‪.‬‬ ‫برا سالالاس تکنيالك رايگيري حالداك ريالت‪ 3‬اگر) 𝑗𝑖𝑑(‪ 𝑑𝑦 = max‬بالا شالالد‪ ،‬رابطاله ‪ ...‬در نرر گرفتاله‬ ‫𝑖‬

‫ميشود‪.‬‬ ‫(‪)6-3‬‬ ‫اگر ) 𝑗𝑖‪ ،∑𝑘𝑗=1 Δ𝑝𝑗 = max (∑𝑘𝑗=1 Δ‬كالس پيشبيني‬

‫𝟏=𝒊‬ ‫‪𝒐. 𝒘.‬‬

‫‪𝟏,‬‬ ‫{ = 𝒋𝒊𝚫‬ ‫‪𝟎,‬‬

‫شالالده براي الگوي ورودي ‪ X‬كالس ‪cp‬‬

‫خواهد بود‪.‬‬

‫‪Dropout1‬‬ ‫‪Softmax Layer 2‬‬ ‫‪Majority Voting3‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪74‬‬

‫قموزش مدل ارائهشده برای کاوش فعالیت در سیستم ‪AMSAD‬‬

‫در اين مد از يادگيري نرارتي استفاده شده است به اين معني كه دادههاي ورودي داراي برچس‬ ‫ميبا شالالند‪ .‬پس از مراحل پيشپرازش در سالاله مخزن مجموعه دادههاي زماني جمعموري شالالده تو سالالس‬ ‫سالن سالور پو شاليدني و در ساله مخزن ديگر ويژگي حوزه فركانس منها موجود ه سالتند‪ .‬هركدا از اين ساله‬ ‫د سالته ورودي در جرياني جاداگانه اما موازي و همزمان تو سالس مد پي شالنهادي پردازش مي شالوند‪ .‬در‬ ‫واتع يك طبطهبند يک سالالان با سالاله ورودي در دوجريان موازي مموزش ميبيند و به اين ترتي موج‬ ‫ارتطاي نتاي يکديگر نيز مي شالوند‪ .‬هركدا از اين جرياناو داراي يك شالبکه ‪ CNN‬و يك شالبکه ‪TCN‬‬

‫ه سالتند كه دادههاي ورودي پس از عبور از اين شالبکهها در ريهي مخر الحاق شالده و پس از پيشبيني‬ ‫س نهايي به فعاليت مورد نرر تخ صاليص داده‬ ‫س ها وارد ت سالمت رايگيري شالده و در نهايت برچ ال‬ ‫برچ ال‬ ‫ميشود‪.‬‬

‫‪ .5-3‬نمعبندی‬ ‫در اين فصالل روش پيشالنهادي براي كاوش فعاليت بر مبتني بر يادگيري عميق با تاكيد بر تشالخيص‬ ‫فعاليتهاي مشالابه تشالريح شالد‪ .‬اين ف صالل از چهار زير بخش تشالکيل شالده كه به ترتي‬

‫ساليسالتم كاوش‬

‫فعالاليالت در دنبالالالهي دادهي سالالن سالالوري بالا تالاكيالد بر ت شالالخيص فعالاليالت هالاي م شالالاباله (‪،)AMSAD1‬‬ ‫پيشپردازش اوليه و ا سالتخراج ويژگي تو سالس سالي سالتم پي شالنهادي‪ ،‬روش پي شالنهادي كاوش فعاليت با‬ ‫تاكيد بر تشالخيص فعاليتهاي مشالابه (‪ )AMSAD‬هسالتند‪ .‬مد پيشالنهادي ارائه شالده با رويکرد جز به‬ ‫كل مورد بررسي ترار گرفته و هريك به تفصيل شرح داده شدهاست‪.‬‬ ‫زيربخش او كليت سالي سالتم پي شالنهادي را تو صاليف ميكند‪ .‬زيربخش دو شالامل تطعهبندي دنباله‬ ‫زماني با سالايز پنجره ‪ ،ws‬اسالتخراج دادههاي ابعاد شالتابسالن ‪ ،‬اسالتخراج ويژگي اوليه در حوزه فركانس‪،‬‬ ‫كدگااري‪ 2‬مجدد متغيرهاي حاوي دادههاي ساله بعد شالتاب سالن و ويژگي فركان سالي منها ا سالت كه در‬ ‫ت سالمت دو و سالو نوموري موجود ا سالت‪ .‬زيربخش سالو شالماي كلي سالي سالتم را شالرح ميدهد و شالامل‬ ‫مد پي شالنهادي كاوش فعاليت مبتني بر يادگيري عميق‪ ،‬سالاختار مد پي شالنهادي براي كاوش فعاليت‬ ‫در سالي سالتم ‪ AMSAD‬و مموزش مد ارائه شالده براي كاوش فعاليت در سالي سالتم ‪ AMSAD‬ميبا شالد‪.‬‬

‫‪Activity Mining with emphasis on Similar Activity Detection system1‬‬ ‫‪Reshape2‬‬

‫روش پيشنهادي‬

‫‪75‬‬

‫در اين ت سالالمت جزيياو شالالبکهي مبتني بر يادگيري عميق بيان شالالده و سالالاختار من بههمراه جزيياو‬ ‫ريهها بررسي و شرح داده شدهاست‪.‬‬

‫فصل چهارم‬

‫پيادهسازي و ارزيابي‬

‫‪79‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫‪ .4‬پیادهسازی و ارزیابی‬ ‫‪ .1-4‬مقدمه‬ ‫در ابتداي اين ف صالالل به ت سالالمت سالالي سالالتم كاوش فعاليت در دنبالهي دادهي سالالن سالالوري با تاكيد بر‬ ‫ت شالالخيص فعاليتهاي م شالالابه ( ‪ ،)AMSAD‬پيشپردازش و ا سالالتخراج ويژگي اوليه تو سالالس سالالي سالالتم‬ ‫پي شالنهادي كه شالالامل مراحل تطعهبندي دنباله زماني با سالالايز پنجره ‪ ،ws‬ا سالالتخراج دادههاي ابعاد‬ ‫شالتاب سالن ‪ ،‬ا سالتخراج ويژگي اوليه در حوزه فركانس و كدگااري مجدد متغيرهاي حاوي دادههاي ساله‬ ‫بعد شالتاب سالن و ويژگي فركانسالي منها پرداخته شالده اسالت‪ .‬همچنين روش پيشالنهادي كاوش فعاليت‬ ‫با تاكيد بر ت شالالخيص فعاليتهاي م شالالابه (‪ )AMSAD‬و زيرمجموعههاي من از جمله سالالاختار مد‬ ‫پي شالالنهادي براي كاوش فعاليت در سالالي سالالتم ‪ ،AMSAD‬مموزش و ت سالالت مد ارائه شالالده براي كاوش‬ ‫فعاليت در سيستم ‪ AMSAD‬نيز به تفصيل مورد بح و بررسي ترارگرفتهاند‪.‬‬

‫‪ .2-4‬پیادهسازی سیستم کاوش فعالیت در دنبالهی دادهی سنسوری با تاکید بر‬ ‫تشخیص فعالیتهای مشابه‬ ‫در فصالل سالو ساليسالتم پيشالنهادي ‪ AMSAD‬بهطور كامل و به تفصاليل شالرح داده شالد‪ ،‬در اين فصالل‬ ‫جزيياو پياده سالازي من توضاليح داده مي شالود‪ .‬در شالکل ‪ 1-4‬شالبهكد پياده سالازي ساليسالتم پيشالنهادي به‬ ‫نمايش درممده ا سالت‪ .‬اين شالبه كد شالامل ت سالمتهاي متعددي ا سالت كه بخشهاي مهم من در ادامه با‬ ‫جزيياو بيشالتر ت شالريح شالده اسالت‪ .‬ساليسالتم مورد نرر دادههاي سالنسالوري جمعموري شالده ‪SD_TimeS‬‬

‫تو سالس سالن سالور به صالورو دنباله زماني را به عنوان ورودي دريافت كرده و پس از انجا پيشپردازش و‬ ‫پردازشهالاي متفالاوو برچ سال متنالاظر بالا فعالاليالت انجالا‬

‫شالالده را باله عنوان خروجي پيشبيني و توليالد‬

‫مينمالايالد‪ .‬پس از دريالافالت ورودي تطعالهبنالدي باله عنوان اولين گالا برروي داده هالا انجالا ميپالايرد‪ .‬پس از‬ ‫اين‪ ،‬در مرحلهي دو دادههاي تطعهبندي شالده برا سالاس محورهاي ‪ y ،x‬و ‪ z‬به ساله بخش ‪FVy, FVx‬‬

‫و ‪ FVz‬تطساليم شالده و در ساله مخزن جداگانه ذخيره ميگردند‪ .‬در گا سالو به منرور اسالتخراج ويژگي‬ ‫حوزهي فركانسالي از دادههاي ذخيره شالده در مخزنها‪ ،‬تبديل فوريه سالريع انجا پايرفته و خروجي اين‬ ‫مرحله ‪ FVy_fft ،FVx_fft‬و ‪ FVZ_fft‬نيز در سه مخزن ديگر ‪ FSy_fft ،FSx_fft‬و ‪ FSz_fft‬ذخيره‬

‫‪80‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫مي شالوند‪ .‬در اين هنگا در مرحلهي چهار ‪ ،‬كدگااري مجدد بر روي هر ‪ 6‬مخزن به منرور مماده سالازي‬ ‫براي ورود باله مالد پي شالالن هالادي ان جالا مي پالايرد و ‪،R_FVx_fft ،R_FVz ،R_FVy ،R_FVx‬‬ ‫‪ R_FVy_fft‬و ‪ R_FVz_fft‬تول يالد مي شالالو نالد‪ .‬در گالا پنجم‪ ،‬مالد پي شالالن هالادي ارا ئاله‬

‫شالالدهي‬

‫‪ 2S_CNN_TCN‬كه با جزيياو بي شالتر به تف صاليل شالرح دادهخواهد شالد پياده سالازي شالده و ‪6‬مخزن‬ ‫ا شالاره شالده به عنوان ورودي به اين مد داده مي شالوند‪ .‬درنهايت در گا شال شالم خروجيهاي پيشبيني‬ ‫شالالده وارد بخش رايگيري ‪ ens_jVot‬شالالده و برچ سال نهايي ‪ DAs‬م شالالخص ميگردد‪ .‬رز به ذكر‬ ‫ا سالت كه گا هاي چهار ‪ ،‬شال شالم‪ ،‬نهم و يازدهم از جمله نوموريهاي ارائه شالده در اين پژوهش به شالمار‬ ‫ميرود كه در ادامه به تفصيل شرح داده شدهاست‪.‬‬ ‫‪Algorithm: ActivityMiningInSensoryTimeSeriesData‬‬ ‫‪Input: The TimeSeries Data captured by Sensors‬‬ ‫‪Output: The label of the given Activity‬‬ ‫‪1.Import the required Libraries‬‬ ‫‪2.Create global tensors and set them NULL‬‬ ‫)‪3.[Segments, Labels] = PreProcessAndSegmentation (SD_TimeS‬‬ ‫‪4. [x-axis, y-axis, z-axis] = 3DExtractionBasedOnX,Y,Z-axis‬‬ ‫‪5.Save FVx, FVy, FVz to File as FSx, FSy, FSz‬‬ ‫‪6.[FVx_fft, FVy_fft, FVz_fft] = Frequency-based-FeatureExtraction‬‬ ‫‪7.Save FVx _fft, FVy_fft, FVz_fft to File as FSx_fft, FSy_fft, FSz_fft‬‬ ‫‪7.[R_FVx, R_FVy, R_FVz] = ReshapingTemporalAndSpectralFeatureVectors‬‬ ‫‪8.[R_FVx-fft, R_FVy-fft, R_FVz-fft] =ReshapingTemporalAndSpectralFeatureVectors‬‬ ‫‪9.Define TSNN_CNN_TCN model‬‬ ‫‪10.TrainAndTestDatasets‬‬ ‫‪11.Predict Activity Labels DAs‬‬

‫شبهکد سیستم پیشنهادی ارائه شدهی فعالیتکاوی ‪AMSAD‬‬

‫‪ .3-4‬پیادهسازی سیستم پیشنهادی پیشپردازش اولیه‬ ‫پيشپردازش اوليه در گا سالو شالکل ‪ 1-4‬م شالخص شالده كه در واتع بخش پيشپردازش اوليه و‬ ‫تطعهبندي ا سالت كه دادههاي سالن سالوري را دريافت كرده و برا سالاس سالايز پنجره ‪ ws‬كه از پيش تعيين‬ ‫شالده دادهها را تطعهبندي ميكند‪ .‬گا ديگر در اين پيشپردازش اسالتخراج دادهها در ساله بعد ‪ y ،x‬و ‪z‬‬

‫ا سالالت كه در نهايت منجر به ذخيره سالالازي اين د سالالته داده در مخازن مجزا مي شالالود‪ .‬عالوه بر اين‪،‬‬ ‫استخراج ويژگي حوزه فركانس از اين سه بخش مجزاي داده در اين زيرسيستم انجا ميپايرد‪.‬‬ ‫پیادهسازی اطعهبندی دنباله زمانی ورودی‬ ‫اين مرحله گا سالو در شالکل ‪ 1-4‬اسالت كه در اين تسالمت با جزيياو بيشالتر توضاليح داده مي شالود‪.‬‬ ‫همانگونه كه پي شالتر عنوان شالد ورودي اين ت سالمت (پيشپردازش اوليه) دادههاي سالن سالوري از جنس‬

81

. ‫پيادهسازي و ارزيابي‬

‫ مطداردهي‬Lables ‫ و‬Segments ‫ و تنسالورهاي‬window_size ‫ در ابتدا متغير‬.‫سالري زماني ميباشالد‬ ‫ براي شالالروع تکنيالك پنجره لغران مطالداردهي‬end ‫ و‬start ‫ در تالد بعالدي متغيرهالاي‬.‫اولياله مي شالالونالد‬ ‫س هاي متناظر به د سالت‬ ‫ پس از عبوردادن پنجره مورد نرر دادههاي تطعهبندي شالده و برچ ال‬.‫مي شالود‬ ‫ شالبهكد مربوو به پياده سالازي‬2-4 ‫ شالکل‬.‫ در مخر نيز موارد خروجي در فايل ذخيره ميگردند‬.‫ميميند‬ .‫اين تطعهبندي را نمايش ميدهد‬ Algorithm: PreProcessAndSegmentation Input: The TimeSeries Data captured by Sensors Output: The Segments and Labels of Time Series 1.Define window_size and set it to the desired value 2.Define Segments and Labels tensors and initialize to NULL 3.Define start and end variables for sliding window 4.While start and end in WindowGenerator (SD_TimeS, window_size) 5. x= SD_TimeS[x-axis] [start, end] 6. y= SD_TimeS[y-axis] [start, end] 7. z= SD_TimeS[z-axis] [start, end] 8. IF length (SD_TimeS[timeF] [start, end]) == window_size 9. Segments = SD_TimeS [x, y, z] 10. Labels = SD_TimeS[labels] 11. End IF 12.End While 13. [Segments] = Save to File (Segments) 14. [Labels] = Save to File (Labels)

‫ شبهکد اطعهبندی دنبالهی زمانی ورودی‬: 4.Save FVx, FVy, FVz to File as FSx, FSy, FSz

‫ در تسمت تطعهبندي دادهها‬window generator ‫• پيادهسازي‬ ‫ بوده كاله مطالادير‬2-4 ‫اين مرحلاله درواتع گالا چهالار از تطعالهبنالدي داده هالاي دنبالالاله زمالاني در شالالکالل‬ ‫ شالبهكد اين سالازنده‬3-4 ‫ شالکل‬.‫ كه ابتدا و انتهاي هر پنجره (تطعه) اسالت را توليد ميكند‬end ‫ و‬start .‫را نشان ميدهد‬ Algorithm: WindowGenerator Input: Part of The TimeSeries Data captured by Sensors and the window-size Output: Start and End values of each segment 1.Define start variable and set it to zero 2.While start< data 3. yield (start, start+window_size) 4. start = start + window_size /2 5.End While

window generator ‫شبهکد‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪82‬‬

‫جدو ‪ 1-4‬دتت ت شالخيص فعاليتها در سالي سالتم ‪ AMSAD‬در در پن مطدار مختلف همپو شالاني‬ ‫‪ 70 ، 50 ، 30 ،10‬و ‪ 90‬در صالالد نمايش ميدهد‪ .‬علت انتخاب همپو شالالاني ‪ 50‬در صالالد در اين پژوهش‬ ‫دتت باري تفکيك فعاليتها توسس مد پيشنهادي است‪.‬‬ ‫جدو ‪ : 1-4‬دات تشخیص فعالیت توسط سیستم پیشهادی به ازای درصدهای مختلف همپوشانی‬ ‫درصد ه پوشاني‬ ‫ميانگين دقت‬

‫‪10‬‬

‫‪30‬‬

‫‪50‬‬

‫‪70‬‬

‫‪90‬‬

‫‪69.45%‬‬

‫‪85.32%‬‬

‫‪97.33%‬‬

‫‪75.23%‬‬

‫‪62.72%‬‬

‫سيست ‪AMSAD‬‬

‫پیادهسازی استخراج دادههای ابعاد شتا سنج‬ ‫اين تسالمت كه شالامل اسالتخراج دادههاي ابعاد شالتاب سالن در ساله راسالتاي محورهاي ‪ y ،x‬و ‪ z‬اسالت‪.‬‬ ‫گا چهار شالکل ‪ 1-4‬ميباشالد‪ .‬شالبه كد اسالتخراج دادهها در اين ساله راسالتا و ذخيره سالازي منها در ساله‬ ‫مخزن مجزا در شکل ‪ 4-4‬ممدهاست‪.‬‬ ‫‪Algorithm: 3DExtractionBasedOnX,Y,Z-axis‬‬ ‫‪Input: Segments of SD-TimeS‬‬ ‫‪Output: x-axis, y-axis and z-axis Extracted from Segments‬‬ ‫]‪1.FVx = Segments [x-axis‬‬ ‫]‪2.FVy = Segments [y-axis‬‬ ‫]‪3.FVz = Segments [z-axis‬‬ ‫‪4.Save to File as FSx, FSy, FSz‬‬

‫‪ :‬شبهکد استخراج دادههای شتا سنج در سه راستای‪ y ،x‬و ‪z‬‬

‫پیادهسازی استخراج ویژگی حوزه فرکانس‬ ‫در اين ت سالمت گا شال شالم از شالکل ‪ 1-4‬ت شالريح مي شالود‪ .‬شالبهكد اين پياده سالازي در شالکل ‪ 5-4‬به‬ ‫نمايش درممدهاسالت‪ .‬همانطور كه در شالکل مشالخص اسالت دادههاي ذخيره شالده در مخازن ‪ FSy ،FSx‬و‬ ‫‪ FSz‬توسالس توابع موجود در زبان مورد اسالتفاده پردازش شده و پس از انجا تبديل فوريه سريع ويژگي‬ ‫حوزه فركانس منها ‪ FVy_fft ،FVx_fft‬و ‪ FVz_fft‬استخراج شده و در مخازن ‪ FSy_fft ،FSx_fft‬و‬ ‫‪ FSz_fft‬ذخيره ميگردد‪.‬‬

83

. ‫پيادهسازي و ارزيابي‬ Algorithm: Frequency-based-FeatureExtraction Input: 3D Segments across x, y and z axes Output: FVx_fft, FVy_fft, FVz_fft across x, y and z axes 1.FVx _fft = FFT [x-axis] 2.FVy _fft = FFT [y-axis] 3.FVz _fft = FFT [z-axis] 4. FVx _fft = ABS[FVx _fft] 5. FVy _fft = ABS[FVy _fft] 6. FVz _fft = ABS[FVz _fft] 7.Save to File as FSx_fft, FSy_fft, FSz_fft

‫ شبهکد استخراج ویزگی حوزهی فرکانس‬:

FV_fft ‫ و‬FV ‫پیادهسازی کدگذاری مادد بردارهای‬

‫ و ويژگي حوزه فركانس‬z ‫ و‬y ،x ‫اين بردارهاي ويژگي كه شالامل دادههاي شالتابسالن در سالهراسالتاي‬ ‫ به منرور مماده سالازي براي ورود به مد پي شالنهادي ارائه شالده برمبناي‬z ‫ و‬y ،x ‫منها در سالهرا سالتاي‬ ‫ اين عمل‬.‫ ميبا شالند‬1-4 ‫يادگيري عميق كدگااري شالدهاند و همان گا هاي هفتم و ه شالتم از شالکل‬ ‫درواتع شالالکل اين بردارهاي ويژگي را تغيير داده و متنا سال با اندازهي ريهي ورودي مد مورد نرر‬ ‫ عالوه براين ت سالالمتبندي بهمنرور مماده سالالازي دادههاي مموزش و مزمون نيز در اين بخش‬.‫مينمايد‬ .‫ شبهكد مربوطه را به نمايش ميگاارد‬6-4 ‫ شکل‬.‫انجا ميگيرد‬ Algorithm: ReshapingTemporalAndSpectralFeatureVectors Input: The Feature Vectors across x, y and z axes Output: The Reshaped Feature Vectors 1.Define Split Ratio 2.Splitting the Train and Test date 3.[R_FVx] = Reshape_x [FVx][splitRtio] 4.[R_FVy] = Reshape_y [FVy] [splitRtio] 5.[R_FVz] = Reshape_z [FVz] [splitRtio] 6.[R_FVx_fft] = Reshape_x_fft [FVx_fft] [splitRtio] 7.[R_FVy_fft] = Reshape_y_fft [FVy_fft] [splitRtio] 8.[R_FVz_fft] = Reshape_z_fft [FVz_fft] [splitRtio] 9.[R_FVx, R_FVy, R_FVz] = ReshapingTemporalAndSpectralFeatureVectors 10.[R_FVx-fft, R_FVy-fft, R_FVz-fft] =ReshapingTemporalAndSpectralFeatureVectors

FVx_fft, FVy_fft, FVz_fft ‫ و‬FVx, FVy, FVz ‫شبهکد کدگذاری مادد بردارهای ویژگی‬:

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪84‬‬

‫‪ .4-4‬پیادهسازی سیستم پیشنهادی پیشپردازش ثانویه و لبقهبندی بر مبنای‬ ‫یادگیری عمید‬ ‫در اين بخش ابتدا مد پي شالالنهادي ارائه شالالده مبتني بر يادگيري عميق با جزيياو پياده سالالازي‬ ‫مي شالالود‪ .‬ريهي ورودي‪ ،‬ريههاي مياني و سالالاير پارامترهاي مربوو به شالالبکه تعريف مي شالالوند‪ .‬پس از‬ ‫تعريف شبکه ‪3‬ورودي در بخش ديگر پيادهسازي مربوو به پردازش دوجريان موازي شرح داده ميشود‪.‬‬ ‫در اين بخش با اسالتفاده از ماژو پردازش چندگانه موجود در زبان مورد اسالتفاده بصالورو موازي اين دو‬ ‫مد مموزش ميبينند‪ .‬سالالپس در ت سالالمت بعدي دو مد موردنرر وارد بخش رايگيري مي شالالوند و با‬ ‫س هاي نهايي بر ا سالاس رايگيري بهد سالت‬ ‫س هاي پيشبيني شالده تو سالس هرمد ‪ ،‬برچ ال‬ ‫تركي برچ ال‬ ‫ميميند‪.‬‬ ‫پیادهسازی دونریان موازی با استفاده از مدل ارائهشده‬ ‫در الگوريتم فعالاليالتكالاوي در شالالکالل ‪ 7-4‬باله منرور طبطالهبنالدي فعالاليالتهالاي افراد از تالابليالت پردازش‬ ‫موازي ا سالتفاده شالده ا سالت‪ .‬در تد او تعداد ه سالتههاي مزاد و تابل ا سالتفاده معين مي شالود‪ .‬سالپس با‬ ‫تابع كمككننده‪ 1‬اتخاذ ميگردند‪ .‬به كمك تابع مربوو به مد شالبکه‪ ،‬مد مربوطه اجرا مي شالود و به‬ ‫عنوان ورودي به بخش رايگيري گروهي داده مي شالود‪ .‬شالبهكد مربوو به مد ‪TSNN CNN_TCN‬‬

‫و رايگيري گروهي به ترتي در شکل ‪ 8-4‬و ‪ 9-4‬به نمايش درممده است‪.‬‬

‫‪Algorithm: Define 2Streams containing the proposed model‬‬ ‫‪Input: 6 storages containing accelerometer data across x, y and z axes‬‬ ‫‪Output: The predicted label of the given Activity‬‬ ‫‪1.Get CPU cores available in system‬‬ ‫‪2.While‬‬ ‫‪Run Helper Function to run two streams‬‬ ‫‪3.‬‬ ‫‪Iterate over the iterable input‬‬ ‫‪4.‬‬ ‫‪Retuen each element of input to worker procwss‬‬ ‫‪5.‬‬ ‫)‪Define TSNN CNN_TCN_Model (FVx, FVy, FVz‬‬ ‫‪6.‬‬ ‫)‪Define TSNN CNN_TCN_Model (FVx_fft, FVy_fft, FVz_fft‬‬ ‫‪7.‬‬ ‫)‪Voting_Ensemble (model1, model2‬‬ ‫‪8.‬‬ ‫‪9.End While‬‬ ‫‪10.Close Pool‬‬

‫‪ :‬شبهکد دونریان موازی‬

‫‪Helper1‬‬

‫‪85‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫پیادهسازی مدل شبکه پیشنهادی ‪TSNN CNN_TCN‬‬

‫در اين ت سالمت مد ‪3‬ورودي حاوي دو بلوک ‪ CNN‬و ‪ TCN‬تعريف مي شالود‪ .‬ورودي اين مد ساله‬ ‫د سالته دادهي خروجي مرحلهي پيشپردازش ا سالت كه تو سالس هر بلوک مورد پردازش ترار ميگيرد‪ .‬در‬ ‫ابتدا پارامترهاي مربوو به ريهي ورودي و ريههاي مياني شالالبکه از جمله اندازه ورودي‪ ،‬اندازه كرنل‪،1‬‬ ‫تابع فعال سالالازي‪ 2‬و تعداد فيلترها مطداردهي مي شالالوند‪ .‬از منجايي كه به ا سالالتفاده مجدد اين مد نياز‬ ‫ا سالت‪ ،‬مد در تال يك تابع تعريف مي شالود‪ .‬پس از مطدار دهي سالاير پارامترهاي ا سالا سالي مد شالبکه‬ ‫ع صالبي هر كدا از بلوکها تعريف و پياده سالازي ميگردند‪ .‬دادهها تركي‬

‫شالده و ريههاي تماما مت صالل‬

‫نيز پيالاده سالالازي مي شالالونالد‪ .‬جالدو ‪ 2-4‬جزييالاو پيکربنالدي رياله هالاي مالد پي شالالنهالادي ‪TSNN‬‬

‫‪ CNN_TCN‬را نشان ميدهد‪.‬‬ ‫در شالبکهي پي شالنهادي از تابع خطاي ‪ Cross Entropy‬ا سالتفاده شالده و براي م سالائل طبطهبندي‬ ‫برابر براورد حداك ر احتما ‪ 3‬است‪ .‬اين تابع خطا در طبطهبندي با رابطه ‪ 1-4‬تعريف ميشود‪.‬‬ ‫𝑵‬

‫(‪)1-4‬‬

‫𝟏‬ ‫)) 𝒊̂𝒚( 𝒈𝒐𝒍 ‪𝑱 = (∑ 𝒚𝒊 −‬‬ ‫𝑵‬

‫برچس‬ ‫ال‬ ‫برچس پيشبيني شالده براي ‪i‬امين نمونه مموزشالي اسالت و 𝑖𝑦‬ ‫ال‬ ‫كه 𝑖̂𝑦‬

‫𝟏=𝒊‬

‫صالحيح مورد انترار و‬

‫‪ N‬تعداد نمونههاي مورد مموزش است‪.‬‬ ‫‪Algorithm: TSNN CNN_TCN model‬‬ ‫‪Input: 3 storages containing accelerometer data across x, y and z axes‬‬ ‫‪Output: The label of the given Activity‬‬ ‫‪1.Initialize parameters for input and network layers‬‬ ‫‪2.Initialize number of filters, kernelSize of convolutional layers‬‬ ‫‪3.Initialize max pooling window sizes‬‬ ‫‪4.Initialize number of filters in fully connected layers‬‬ ‫‪5.Initialize split ratio, batchSize and dropout ratio‬‬ ‫‪6.Define input layer‬‬ ‫‪7.Define convolutional Blocks‬‬ ‫‪8.Define temporal Convolutional Blocks‬‬ ‫‪9.Define Flatten layer‬‬ ‫‪10.Concatenate Data‬‬ ‫‪11.Define FullyConnected layers‬‬ ‫‪12.Define Softmax layer‬‬ ‫‪13.Finalize the model with appropriate functions‬‬

‫‪ :‬شبهکد مدل پیشنهادی مبتنی بر یادگیری عمید‬

‫‪Kernel Size1‬‬ ‫‪Activation Function2‬‬ ‫‪Maximum Likelihood Estimation 3‬‬

‫‪86‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫در جالدو ارائاله شالالده نحوه نمالايش پالارامترهالاي هر رياله باله صالالورو (تعالداد كرنالل) – ( انالدازه كرنالل)‬ ‫‪ Conv‬ميبا شالد و گا حركت كرنل به منرور ا سالتخراج نط شالهي ويژگي‪ 1 × 1 1‬ا سالت‪ .‬تمامي ريههاي‬ ‫پيچ شالي تو سالس واحد خطي ا صالالح شالده‪ 2‬فعا شالدها سالت‪ .‬معماري شالبکه ع صالبي پيچ شالي در دوجريان‬ ‫ترتي هاي زماني و فركان سالي توليد ميكند و سالپس معماري شالبکه ع صالبي پيچ شالي زماني به منرور‬ ‫يادگيري متوالي‪ 3‬اعما ميشود‪.‬‬ ‫به منرور ا سالتخراج واب سالتگيهاي زماني و فركان سالي كه از معماري شالبکه ع صالبي پيچ شالي بد سالت‬ ‫ميميد از يادگيري متوالي ا سالتفاده شالده ا سالت‪ .‬با وجود اينکه در ب سالياري از روشهاي يادگيري متوالي‬ ‫از شالبکه ع صالبي مکرر‪ 4‬ا سالتفاده مي شالود اما )‪ (Lea, 2017‬اثباو كرده كه عملياو پيچ شالي‪ 5‬اطالعاو‬ ‫بلندمدو را نگهداري كند‪ .‬همچنين اثباو شالده كه براي كاربردهاي عمومي يادگيري عميق با هزينهي‬ ‫پايينتر در مطايساله با شالبکههاي عصالبي مکرر متعار مانند حافره كوتاهِ بلند‪-‬مدو بساليار موثرتر عمل‬ ‫مينمالايالد )‪ .(Hochreiter & Schmidhuber, 1997‬علالت اين ا سالالت كاله هر جريالان مالد‬

‫‪TSNN‬‬

‫ترتي بلنالد توليالد كرده و شالالبکاله ع صالالبي پيچ شالالي زماني براي يادگيري متوالي‬ ‫‪ CNN_TCN‬يك ال‬ ‫پيادهسازي ميشود و در مطايسه با شبکه عصبي مکرر نتاي بهتري بدست ميدهد‪.‬‬ ‫در سالاختار معماري اين بلوک (شالبکه پيچشالي زماني) از شالبکه كامال پيچشالي‪ ،6‬كانولوشالن متراكم‪ 7‬و‬ ‫كانولو شالن سالببي‪ 8‬ا سالتفاده شالده ا سالت )‪ .(Bai, Kolter, & Koltun, 2018‬شالبکه كامال پيچ شالي به‬ ‫جاي ريه تماما مت صالل تنها از ريههاي پيچ شالي ا سالتفاده شالده ا سالت و ميتواند اندازه ترتي ورودي را‬ ‫حف كند كه در يادگيري متوالي ب ساليار ا سالا سالي ا سالت )‪.(Long, Shelhamer, & Darrell, 2015‬‬ ‫كانولو شالن متراكم براي يادگيري متوالي بلندمدو ضالروري ا سالت و تادر ا سالت ميدان پايرش‪ 9‬با ر شالد‬ ‫نمالايي به جاي ر شالالد خطي با افزايش ريههاي پيچ شالالي زماني اعمالا كنالد )‪.(Oord, et al., 2016‬‬ ‫كانولو شالالن سالالببي مد را به پيشبيني مينده تنها برا سالالاس اطالعاو گا شالالته وا ميدارد‪ .‬در واتع براي‬ ‫ر سالاليالدگي باله جريالان زمالاني يالك رويکرد موثر ا سالالت‪ .‬در اين پژوهش از منجالايي كاله هر جريالان مالد‬ ‫ترتي زمالاني يالا فركالان سالالي را بيالاموزد بنالابراين‬ ‫‪ TSNN CNN_TCN‬باله خودي خود ميتوانالد تمالامي ال‬ ‫‪Feature Map1‬‬ ‫‪Rectified Linear Unit (ReLU)2‬‬ ‫‪Sequence Learning3‬‬ ‫‪Recurrent Neural Network4‬‬ ‫‪Convolutional Operation5‬‬ ‫‪Fully Convolutional Network6‬‬ ‫‪Dilated Convolution7‬‬ ‫‪Causal Convolution8‬‬ ‫‪Receptive Field9‬‬

‫‪87‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫س به نرر نمير سالد‪ .‬به همين علت از شالبکه كامال پيچ شالي مبتني بر‬ ‫ا سالتفاده از كانولو شالن سالببي منا ال‬ ‫كانولوشن متراكم براي معماري شبکه پيچشي زماني استفاده شده است‪.‬‬ ‫جدو ‪ : 2-4‬پیکربندی معماری بلوک پیچشی در مدل ارائه شده‬ ‫بلوک ‪CNN‬‬

‫‪ 10‬الي وزندار‬ ‫الي ورودي (‪ 3‬كانال – ‪)32 × 32‬‬ ‫‪32-Conv3‬‬ ‫‪32-Conv3‬‬ ‫‪Max pooling layer‬‬ ‫‪64-Conv3‬‬

‫‪64-Conv3‬‬ ‫‪Max pooling layer‬‬ ‫‪96-Conv3‬‬

‫‪96-Conv3‬‬ ‫‪Max pooling layer‬‬ ‫‪128-Conv3‬‬

‫‪128-Conv3‬‬ ‫‪Max pooling layer‬‬

‫چنانچه ‪ ReLU‬براي فعال سالازي ا سالتفاده شالود‪ ،‬معادلهي كانولو شالن متراكم به صالورو رابطهي ‪2-4‬‬ ‫تعريف ميشود‪.‬‬ ‫(‪)2-4‬‬

‫𝒌‬ ‫𝟐‬

‫𝒍‬ ‫𝟏‪𝒙𝒍𝒑,𝒕 = 𝑹𝒆𝑳𝑼 ( ∑ ∑ 𝑾𝒍𝒑,𝒊 𝒙𝒍−‬‬ ‫) 𝒑𝒃 ‪𝒒,𝒕−𝒅.𝒊 +‬‬ ‫𝒌‪𝒒 ∈ 𝑴𝒍𝒑 𝒊= −‬‬ ‫𝟐‬

‫𝑙‬ ‫𝑙‬ ‫𝑖‪ 𝑊𝑝,‬و 𝑙𝑝𝑏‬ ‫𝑡‪p ،𝑥𝑝,‬امين ويژگي از ‪t‬امين عن صالر در دنباله در ريه ‪ l‬را نمايش ميدهد‪.‬‬ ‫در اين رابطه‬

‫به ترتي وزنهاي پيچ شالالي و پارامتر پيشتدر ا سالالت‪ k .‬اندازهي كرنل و ‪ d‬پارامتر متراكم را ن شالالان‬ ‫ميدهد‪ 𝑀𝑝𝑙 .‬مجموعه انتخاب شده را بيان ميكند‪.‬‬ ‫جدو ‪ 3-4‬جزيياو پارامترهاي بلوک شالبکه پيچ شالي زماني را نمايش ميدهد‪ .‬برا سالاس اين جدو‬ ‫در هر بلوک‪ ،‬پارامتر تراكم دوبرابر ريهي پيشين است‪ .‬بنابراين‪ ،‬زمينه پايرش بهصورو نمايي گسترش‬ ‫مييابد‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪88‬‬

‫جدو ‪ : 3-4‬نزییات پارامتر بلوک شبکه پیچشی زمانی‬ ‫نو‬

‫اندازه كرنل‬

‫تعداد كرنل‬

‫پارامتر متراك‬

‫زمين پذيرش‬

‫كانولوشن متراك‬

‫‪8‬‬

‫‪32‬‬

‫‪1‬‬

‫‪8‬‬

‫‪2‬‬

‫‪22‬‬

‫‪4‬‬

‫‪50‬‬

‫پیادهسازی ‪voting ensemble‬‬

‫در اين ت سالالمت از روش رايگيري ا سالالتفاده شالالده كه توانايي من در نررگرفتن ت صالالميم گيري مد‬ ‫پي شالالنهالادي در دوجريالان پردازش موازي ا سالالت‪ .‬از منجالايي كاله داده هالاي ورودي هر جريالان متفالاوو از‬ ‫ديگري ا سالالت‪ ،‬خروجي هرجريان كه همان برچ سال هاي پيشبيني شالالده ا سالالت از ديگر بيشبينيها‬ ‫متطاوو خواهد بود و رايگيري م مرثمر واتع مي شالالود‪ .‬در اين رايگيري گروهي مد ارائه شالالده در‬ ‫دوجريان موازي اجرا شالالده و تکنيك مورد ا سالالتفاده در تركي نتاي از ميان چهار تکنيك متداو از‬ ‫جم لاله الف) رايگيري حالداك ر يالت‪ 1‬ب) تالانون جمع‪ 2‬ج) تالانون‬

‫ضالالرب‪ 3‬و د)‪ AWFA‬از رايگيري‬

‫مناس براي ادذا در سالطح تصالميم گيري‪ 4‬ا سالت‪ ،‬اسالتفاده شالده اسالت‪.‬‬ ‫حداك ريت بهدليل تنها تکنيك ال‬ ‫س ميبا شالند‪ .‬مفهو كليدي در‬ ‫رز به ذكر ا سالت كه ساله مورد ديگر براي ادذا در سالطح امتياز‪ 5‬منا ال‬ ‫تکنيك تركي هر طبطهبند‪ ،‬اين است كه نمونهي پيشبيني (در تکنيك الف) يا احتما پيشبيني (در‬ ‫تکنيك ب‪ ،‬ج‪ ،‬د) را از هر كدا از طبطهبندها گرفته و پيشبيني نهايي كه همان برچ سال كالس مورد‬ ‫نرر ا سالالت باله ازاي نموناله ورودي داده مي شالالود & ‪(Mukherjee, Mondal, Singh, Sarkar,‬‬

‫)‪.Bhattacharjee, 2020‬‬ ‫‪Algorithm: Voting_Ensemble‬‬ ‫‪Input: Neural Network Models‬‬ ‫‪Output: The final predicted label of the given Activity‬‬ ‫‪1.append model I‬‬ ‫‪2.append model II‬‬ ‫‪3.Define Voting Classifier‬‬ ‫‪4.Fitting segments and labels‬‬ ‫‪5.Predict the appropriate labels‬‬

‫‪ :‬شبهکد رایگیری سیستم پیشنهادی‬

‫‪Majority Voting1‬‬ ‫‪Sum Rule2‬‬ ‫‪Product Rule3‬‬ ‫‪Decision level fusion4‬‬ ‫‪Score level fusion5‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫‪89‬‬

‫‪ .5-4‬قزمونها‬ ‫در اين بخش به تو صاليف مجموعهدادههاي ا سالتفاده شالده براي مموزش و ارزيابي روش پينهادي در‬ ‫پيشپردازش و همچنين پردازش ا صالاللي در كاوش فعاليت و مد ارائه شالالده پرداخته شالالدها سالالت‪ .‬در‬ ‫ارزيابي روشهاي ارائه شالده‪ ،‬ارزيابي روش پيشالنهادي در بخش پيشپردازش و ارزيابي روش پيشالنهادي‬ ‫در بخش كاوش فعاليت مبتني بر يادگيري عميق تو ضاليح داده شالدهاند‪ .‬عالوه بر اين معيارهاي ارزيابي‬ ‫متداو در اندازهگيري عملکرد و كارايي سيستم و در واتع روشهاي ارائه شده نيز شرح داده ميشوند‪.‬‬ ‫ماموعه داده‬ ‫در اين پژوهش از دو مجموعه داده ا سالالتاندارد كه در مطارو ب سالالياري به عنوان مجموعهداده محك‬ ‫نيز مورد برر سالالي بوده‪ ،‬ا سالالتفاده شالالده ا سالالت‪ .‬اولين مجموعهداده ‪WISDM Smartphone and‬‬

‫‪ (Weiss, 2019) Smartwatch Activity and Biometrics Dataset1‬اسالت كه توسالس مزمايشالگاه‬ ‫‪ WISDM‬سالالاخته شالالده و در اين پژوهش با نا "‪ "WISDM-18Act‬از من ياد خواهيم كرد و در‬ ‫مال طالالارتالي چالون )‪(Jalal, ،(Quaid & Jalal, 2020) ،(Teng, Wang, Zhang, & He, 2020‬‬

‫)‪ Quaid, Tahir, & Kim, 2020‬و )‪ (Xia, Huang, & Wang, 2020‬مورد ا سالتفاده بوده ا سالت‪.‬‬ ‫اين مجموعهداده يك مخزن عريم از دادههاي حركتي براسالاس تلفن هوشالمند بوده كه شالامل دادههاي‬ ‫حركتي گالارا مي شالالود‪ .‬الگوهالاي حركتي معمو بالا تعالداد تالابالل توجهي نمونالههالاي تالابالل پردازش در اين‬ ‫مجموعه موجودند‪ .‬روا روزمره موجود در مجموعهداده ميتواند در مناليز حركت ت سالالمتهاي مختلف‬ ‫بدن سالالالمندان ا سالالتفاده گردد‪ .‬در تجزيه و تحليل موتعيت بدن افراد م سالالن‪ ،‬ان سالالجا و موتعيتيابي‬ ‫و ضالعيتي ميان ت سالمتهاي بدن ميتواند تو سالس ثبت و ضالبس حركاتي كه با عدد تابل بيان ه سالتند‪ ،‬به‬ ‫دسالتميد‪ .‬در واتع با اسالتفاده از سنسورهاي تعبيهشده داخل تلفنهاي هوشمند حركاو كاربر مورد نرر‬ ‫به ساليگنا هاي شالتاب سالن ترجمه مي شالوند‪ .‬از اين ساليگنا ها ميتوان براي شالناسالايي حركاو كاربر در‬ ‫زندگي روزمره استفاده كرد‪.‬‬ ‫يکي از مجموعهدادهها‪ ،‬مجموعهدادهي جديدي كه در مزماي شالالگاه ‪ WISDM‬جمعموري شالالده به‬ ‫منرور برر سالالي عملکرد مد ارئه شالالده پي شالالنهادي در شالالرايس مزماي شالالگاهي ا سالالتفاده شالالدها سالالت‪ .‬اين‬ ‫مجموعالهداده‬

‫شالالامالل داده هالاي ‪18‬فعالاليالت فيزيکي انجالا‬

‫شالالده تو سالالس ‪ 51‬كالاربر در حالالي كاله يالك‬

‫‪1‬‬

‫‪https://archive.ics.uci.edu/ml/datasets/WISDM+Smartphone+and+Smartwatch+Activity‬‬ ‫‪+and+Biometrics+Dataset+‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪90‬‬

‫تلفنهوشمند ‪ Google Nexus‬يا ‪ Samsung Galaxy S5‬در جي راست شلوار به طوري كه صفحه‬ ‫تلفن همراه روبهروي بدنشالان بود و يك سالاعتهوشمند در دست ذال خود داشتند‪ ،‬ميباشد‪ .‬در هر دو‬ ‫دسالتگاه يك شالتاب سالن و يك ژيروسالکوپ تعبيه شالده اسالت‪ .‬تمامي ساليگنا هاي حركتي نمونههايي در‬ ‫فركانس ‪20‬هرتز ه سالتند‪ .‬هركاربر ‪ 18‬فعاليت مختلف را با هر د سالتگاه به صالورو مجزا و جداگانه در ‪4‬‬ ‫دتيطاله متوالي انجالا دادنالد و فراينالد جمعموري داده براي هر كالاربر باله طور متو سالالس ‪ 54‬دتيطاله زمالان‬ ‫بردها سالالت‪ .‬اين فعاليتها شالالامل بازي با توپ تنيس (‪ ،)A‬خوردن چيپس (‪ ،)B‬د سالالتزدن (‪ ،)C‬دريبل‬ ‫توپ ب سالالکتبا (‪ ،)D‬نو شالاليدن از يك فنجان (‪ ،)E‬تازدن لباس (‪ ،)F‬دويدن (‪ ،)G‬شالالووزدن يك توپ‬ ‫(‪ ،)H‬خوردن پا سالتا (‪ ،)I‬خوردن يك سالاندويچ (‪ ،)J‬ن شال سالتن (‪ ،)K‬خوردن سالوپ (‪ ،)L‬ا سالتفاده از پله‬ ‫(‪ ،)M‬اي سالتادن (‪ ،)N‬م سالواک زدن (‪ ،)O‬تايبكردن (‪ ،)P‬راهرفتن (‪ )Q‬و نو شالتن (‪ )R‬ميبا شالد‪ .‬جزيياو‬ ‫اين مجموعهداده در جدو ‪ 4-4‬به نمايش درممده است‪.‬‬ ‫جدو ‪ : 4-4‬مشخلات ماموعه دادهی ‪WISDM-18Act‬‬ ‫مقدار‬

‫ویژگي‬ ‫تعداد کاربران‬

‫‪51‬‬

‫تعداد فعاليتها‬

‫‪18‬‬

‫زمان صرف شده براي هر فعاليت‬

‫‪3‬‬

‫(دقيقه)‬ ‫نرخ نمونهبرداري سنسور(هرتز)‬ ‫تلفنهمراه هوشمند استفاده شده‬

‫‪20‬‬ ‫‪Google Nexus 5/5x‬‬ ‫‪Samsung Galaxy S5‬‬

‫ساعت هوشمند استفاده شده‬

‫‪LG G Watch‬‬

‫تعداد اندازهگيريهاي خام‬

‫‪15,630,426‬‬

‫مجمو عالهداده مورد ا سالالت فالاده بالا نالا ‪Moore, Activity & ,Kwapisz, Weiss( WISDM1‬‬ ‫‪ )recognition using cell phone accelerometers, 2010‬كه در اين پژوهش با نا "‪WISDM-‬‬

‫‪https://www.cis.fordham.edu/wisdm/dataset.php1‬‬

‫‪91‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫‪ "6Act‬از من ياد خواهيم كرد شالالامل ‪ 6‬الگوي حركتي ا صالالليِ راهرفتن‪ ،‬دويدن‪ ،‬باررفتن از پله‪ ،‬پايين‬ ‫ممدن از پله‪ ،‬نشالسالتن و ايسالتادن ميباشالد‪ .‬اين فعاليتها توسالس ‪ 29‬كاربر در حاليكه يك تلفنهوشالمند‬ ‫در جي جلوي شاللوار داشالتند انجا شالده و نرخ ‪20‬هرتز براي ثبت فعاليتها در نرر گرفته شالده اسالت‪.‬‬ ‫اين مجموعهداده شالامل موارد ثبت شالده تو سالس سالن سالور شالتاب سالن داخل تلفن همراه ا سالت‪ .‬براي يك‬ ‫ن سالالبت متعاد از دادهي سالالن سالالوري‪ ،‬فركانس نمونهبرداري ‪ 50‬ميليثانيه براي جريان سالاليگنا هاي‬ ‫شالتاب سالن مورد اسالتفاده ترار گرفتهاسالت‪ .‬فعاليتهاي موجود در اين مجموعهداده شالامل پايين ممدن از‬ ‫پلهها (‪ ،)A‬دويدن (‪ ،)B‬نشالسالتن (‪ ،)C‬ايسالتادن (‪ ،)D‬باررفتن از پلهها (‪ )E‬و راهرفتن (‪ )F‬اسالت‪ .‬جدو‬ ‫‪ 5-4‬جزيياو اين مجموعهداده را نمايش ميدهد‪.‬‬ ‫جدو ‪ : 5-4‬مشخلات ماموعه دادهی ‪WISDM-6Act‬‬ ‫ويژگي‬

‫مقدار‬

‫تعداد كاربران‬

‫‪29‬‬

‫تعداد فعاليتها‬

‫‪6‬‬

‫فركانس جمعآوري هر فعاليت(ميلي ثاني )‬

‫‪50‬‬

‫نرخ نمون برداري سنسور(هرتز)‬

‫‪20‬‬

‫تلفنهمراه هوشمند استفاده شده‬

‫‪Nexus One‬‬ ‫‪HTC Hero‬‬ ‫‪Motorola Backflip‬‬

‫تعداد اندازهگيريهاي خام‬

‫‪1,098,209‬‬

‫معیارهای ارزیابی‬ ‫براي ارزيابي عملکرد روش ارائه شالدهي پي شالنهادي ماتريس درهمريختگي‪ 1‬محا سالبه شالده ا سالت‪.‬‬ ‫ماتريس درهمريختگي يك ابزار كارا براي ارزيابي عملکرد در كنار محا سالالبه سالالاير معيارهاي عملکرد‬ ‫ميباشد‪.‬‬

‫‪Confusion Matrix1‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪92‬‬

‫برچس هايي‬ ‫ال‬ ‫‪ -1‬صالحت‪ : 1‬يکي از اولين معيارهاي مورد اسالتفاده دتت اسالت‪ .‬اين معيار با تمركز بر‬ ‫كه به درسالتي صالحيح و ناصالحيح ناميده شالدهاند كار خود را پيش ميبرد و در اين راسالتا نسالبت‬ ‫س ها اندازه ميگيرد‪.‬‬ ‫س هايي كه به در سالتي انتخاب شالده اند را بر تمامي گروههاي برچ ال‬ ‫برچ ال‬ ‫برچس خوردهاند )‪ (2TP‬به تعداد كل فعاليتهاي‬ ‫ال‬ ‫نسالبت تعداد كل فعاليتهايي كه به درسالتي‬ ‫شالنا سالايي شالده )‪ (TP+3FP‬ميبا شالد‪ FP .‬درواتع فعاليتهايي ا سالت كه به ا شالتباه برچ سالب‬ ‫فعاليتي به جز فعاليت واتعي به منها ن سالالبت داده شالالدها سالالت‪ .‬به اين معيار‪ ،‬مطدار پيشبيني‬ ‫م بت نيز گفته ميشود‪ .‬اين معيار با رابطه ‪ 3-4‬مشخص ميشود‪.‬‬ ‫𝑷𝑻‬ ‫𝑷𝑭 ‪𝑻𝑷 +‬‬

‫(‪)3-4‬‬

‫= 𝒏𝒐𝒊𝒔𝒊𝒄𝒆𝒓𝑷‬

‫‪2‬و ‪ -3‬فراخواني‪ 4‬و اخت صالالا صالالي‪ :5‬ن سالالبت تعداد فعاليتهايي كه به در سالالتي برچ سال‬

‫م بت )‪(TP‬‬

‫خوردهاند به تعداد ‪ TP‬و فعاليتهايي كه به ا شالتباه برچ سالبي ذير از فعاليت صالحيح )‪ (6FN‬خوردهاند‪.‬‬ ‫اين دو معيار به صالورو مجزا عمل كرده و ميزان كارايي طبطهبند را م شالخص ميكند‪ .‬همچنين بهدليل‬ ‫م شالخص نمودن مطدار يك ويژگي اذل موارد در كنار يکديگر مورد ا سالتفاده ترار ميگيرند‪ .‬رابطه ‪4-4‬‬ ‫و ‪ 5-4‬اين دو معيار را به نمايش ميگاارند‪.‬‬ ‫𝑷𝑻‬ ‫𝑵𝑭 ‪𝑻𝑷 +‬‬

‫(‪)4-4‬‬

‫𝑵𝑻‬ ‫𝑷𝑭 ‪𝑻𝑵 +‬‬

‫(‪)5-4‬‬

‫= 𝒍𝒍𝒂𝒄𝒆𝑹‬

‫= 𝒚𝒕𝒊𝒇𝒊𝒄𝒆𝒑𝑺‬

‫‪ :F1-measure -4‬اين معيار يك ميانگين هارمونيك (به بيان ريا ضالالي) از صالالحت و فراخواني‬ ‫ميباشد كه ازرابطه ‪ 6-4‬به دست ميميد‪.‬‬ ‫(‪)6-4‬‬

‫𝒍𝒍𝒂𝒄𝒆𝑹 × 𝒏𝒐𝒊𝒔𝒊𝒄𝒆𝒓𝑷 × 𝟐‬ ‫𝒍𝒍𝒂𝒄𝒆𝑹 ‪𝑷𝒓𝒆𝒄𝒊𝒔𝒊𝒐𝒏 +‬‬

‫= 𝒆𝒓𝒖𝒔𝒂𝒆𝒎 ‪𝑭𝟏 −‬‬

‫‪Precision1‬‬ ‫‪True Positive2‬‬ ‫‪False Positive3‬‬ ‫‪Recall4‬‬ ‫‪Specifity5‬‬ ‫‪False Negative6‬‬

‫‪93‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫‪ -5‬دتت‪ :1‬ن سالبت تعداد فعاليتهايي كه به در سالتي طبطهبندي شالدهاند در واتع تعاليتهايي كه به‬ ‫در سالالتي برچ سال همرا سالالتا با خود فعاليت )‪ (TP‬و مخالف من )‪ (2TN‬را دريافت كردهاند به تعداد كل‬ ‫فعاليتهاي موجود ميباشد‪ .‬رابطه ‪ 7-4‬معادله مربوو به اين معيار را به نمايش گااشته است‪.‬‬ ‫𝑵𝑻 ‪𝑻𝑷 +‬‬ ‫𝑷𝑭 ‪𝑻𝑷 + 𝑭𝑵 + 𝑻𝑵 +‬‬

‫(‪)7-4‬‬

‫= 𝒚𝒄𝒂𝒓𝒖𝒄𝒄𝑨‬

‫معيارهاي متعددي در انواع مزماي شالالاو و تحطيطاو مورد ا سالالتفادهي محططين ترار گرفته ا سالالت كه‬ ‫اذل‬

‫منها بر تشالخيص صالحيح طبطهبند تمركز دارند ‪(Sokolova, Japkowicz, & Szpakowicz,‬‬

‫)‪.2006‬‬ ‫‪6‬و ‪-7‬نرخ صحت‪ 3‬و عد صحت برچس م بت‬

‫‪4‬‬

‫س م بت انتخاب‬ ‫س م بت انتخاب شالده و ذلس بودن برچ ال‬ ‫اين دو معيار ن سالبت صالحيح بودن برچ ال‬ ‫شده براي مجموعه دادهها را بيان ميكند‪ .‬هر يك از اين دو معيار از روابس زير به دست ميميد‪:‬‬ ‫(‪)8-4‬‬ ‫(‪)9-4‬‬

‫𝑷𝑻‬ ‫𝑷𝑻 ‪𝑭𝑵 +‬‬ ‫𝑷𝑭‬ ‫= 𝒆𝒕𝒂𝑹 𝒆𝒗𝒊𝒕𝒊𝒔𝒐𝑷 𝒆𝒔𝒍𝒂𝑭‬ ‫𝑵𝑻 ‪𝑭𝑷 +‬‬ ‫= 𝒆𝒕𝒂𝑹 𝒆𝒗𝒊𝒕𝒊𝒔𝒐𝑷 𝒆𝒖𝒓𝑻‬

‫رز به ذكر ا سالالت كه نرخ م بت بودن برچ سال هايي كه به در سالالتي انتخاب شالالدهاند ‪ recall‬و‬ ‫‪ sensitivity‬نيز ناميده ميشود )‪.(Davis & Goadrich, 2006‬‬

‫‪ .6-4‬ارزیابی روش پیشنهادی‬ ‫در اين بخش به ارزيابي روشهاي پي شالنهادي در پيشپردازش و مد ارائه شالده پرداخته مي شالود‪.‬‬ ‫اين موارد عبارتند از اسالتفاده از تبديل ‪ fft‬در پيشپردازش اوليه‪ ،‬تفکيك دادههاي ورودي به ساله بخش‬ ‫مجزا كه منجر به اسالتفاده از شالبکه چند ورودي شالد‪ ،‬پياده سالازي ساليسالتم به صالورو دو جريان موازي و‬ ‫پردازش به صالورو همرمان و افزودن بخش رايگيري به انتهاي ساليسالتم‪ .‬روشهاي ارائه شالده با اسالتفاده‬

‫‪Accuracy1‬‬ ‫‪True Negative2‬‬ ‫‪True Positive Rate3‬‬ ‫‪False Positive Rate4‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪94‬‬

‫از مجموعاله داده معتبر مورد ارزيالابي ترار گرفتنالد‪ .‬عالوه بر اين عملکرد هر روش بالا روش هالاي پالايالهاي و‬ ‫روشهاي بهروز و جديد در اين حوزه مطايسه شدند‪.‬‬ ‫ارزیابی سیستم پیشنهادی کاوش فعالیت مبتنی بر یادگیری عمید با تاکید بر‬ ‫تشخیص فعالیتهای مشابه‬ ‫به منرور ارزيابي سالي سالتم ارائه شالده و ن شالان دادن مطاوو‪ 1‬سالي سالتم از دو مجموعه دادهي ا سالتاندارد‬ ‫‪ WISDM-18Act‬و ‪ WISDM-6Act‬كه پيشتر ت شالالريح شالالد‪ ،‬ا سالالتفاده شالالدها سالالت‪ .‬معيارهاي‬ ‫‪ Recall ،Precision‬و ‪ F1-measure‬به منرور ارزيابي كارايي و عملکرد سالي سالتم مورد ا سالتفاده ترار‬ ‫گرفتهاند‪ .‬در اين بخش ابتدا روش مزمون تو ضاليح داده شالده و نتاي بد سالت ممده در ادامه به نمايش در‬ ‫ممده است‪.‬‬

‫روش آزمون‬ ‫براي ارزيابي روش پي شالنهادي ارائه شالده در فعاليتكاوي مبتني بر يادگيري عميق از مجموعه داده‬ ‫‪ WISDM-18Act‬كه محتوي ‪ 18‬فعاليت و ‪ WISDM-6Act‬شالامل ‪ 6‬تعاليت اسالتفاده شالده اسالت‪ .‬از‬ ‫منجايي كه دتت سالي سالتم پي شالنهادي در ت شالخيص فعاليتهاي م شالابه مورد برر سالي ا سالت‪ ،‬در نتاي نيز‬ ‫معيارهاي مربوطه مانند دتت‪ ،‬فراهخواني و ‪ F1-measure‬ممدهاند‪ .‬م شالخ صالاو سالي سالتم پردازشكننده‬ ‫در جدو ‪ 6-4‬ممدهاست‪.‬‬ ‫جدو ‪ : 6-4‬مشخلات سیستم پردازشکننده مدل پیشنهادی‬ ‫‪HP ProLiant DL380 G10 CTO‬‬ ‫‪1 *CPU Intel Xeon Processor 5218‬‬ ‫‪HPE 32gb dual rank x4 ddr4-2933‬‬ ‫‪3 *Samsung SSD 1TB 860 EVO‬‬

‫در اين تسمت ابتدا نتاي تشخيص فعاليتهاي موجود در اين دو مجموعه داده كه توسس مد ارائه‬ ‫شالده طبطهبندي شالدهاند ارائه شالده ا سالت و سالپس نتاي مد پي شالنهادي در مطاي ساله با روش پايه و‬ ‫روشهاي جديد اين حوزه بيان شالالدهاند‪ .‬رز به ذكر ا سالالت كه شالالبکهاي كه به هد مطاي سالاله با مد‬

‫‪Robustness1‬‬

‫‪95‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫پيشالنهادي انتخاب شالده بايسالتي داراي ويژگيهايي از جمله شبکه عصبي عميق و اعما مولفه زمان در‬ ‫من با شالالد‪ .‬دو مورد از جديدترين پژوهشها در زمينهي فعاليتكاوي كه با نتاي‬

‫شالالبکه پي شالالنهادي در‬

‫سالالي سالالتم ‪ AMSAD‬مورد مطاي سالاله ترار گرفته و از مجموعهدادهي ‪ WISDM-18Act‬ا سالالتفاده كرده‬ ‫)‪ (Benawidez & McCreight, 2019‬و مورد ديگر )‪ (Beirami & Shojaedini, 2020‬است‪ .‬اين‬ ‫شالبکهها هم عميق و هم داراي مولفه زماني ا سالت و معيار منا سالبي براي مطاي ساله به شالمار ميرود‪ .‬مد‬ ‫)‪ (Benawidez & McCreight, 2019‬با نا ‪ LSTM‬و مد (‪)Shojaedini, 2020 & Beirami‬‬ ‫با نا ‪ ResNet‬در نمودارها ذكر شده است‪.‬‬

‫نتایج مدل ارائه شده بر مجموعهدادگان ‪ WISDM-6Act‬و ‪WISDM-18Act‬‬ ‫در اين تسالمت مد ارائه زده بر روي دو مجموعهدادهي عنوان شده اعما گشته و نتاي ظبطهبندي‬ ‫به تفکيك فعاليت به نمايش درممده ا سالت‪ .‬همانطور كه پيشتر نيز ت شالريح شالد اين دو مجموعه داده از‬ ‫جمله مجموعههاي اسالتاندارد در اين حوزه بوده و در بسالياري از پژوهشها و مطارو مورد اسالتفاده بوده‬ ‫ا سالالت‪.‬نمودار ‪ 10-4‬ميانگبن نتاي مد پي شالالنهادي بر مجموعهدادهي ‪ WISDM-6Act‬و نمودار ‪2-4‬‬ ‫ميانگين نتاي بر روي مجموعهدادهي ‪ WISDM-18Act‬را به تفکيك فعاليتها نمايش ميدهد‪.‬‬ ‫‪۰.۹۸۰.۹۹۰.۹۹‬‬

‫‪۰.۹۸‬‬ ‫‪۰.۹۵‬‬ ‫‪۰.۹۲‬‬

‫‪۱.۰۰۰.۹۸‬‬ ‫‪۰.۹۶‬‬

‫‪۱.۰۰۰.۹۸۰.۹۹‬‬

‫‪۰.۹۹۰.۹۹۰.۹۹‬‬

‫‪F‬‬

‫‪E‬‬

‫‪D‬‬

‫‪C‬‬

‫‪B‬‬

‫‪۰.۹۳۰.۹۵۰.۹۴‬‬

‫‪۱.۰۰‬‬ ‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬ ‫‪۰.۶۰‬‬ ‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬

‫‪۰.۰۰‬‬

‫‪f1-measure‬‬

‫فراخوانی‬

‫دقت‬

‫نمودار ‪ : : 1-4‬نتایج شبکه پیشهادی بر ماموعه دادهی ‪WISDM-6Act‬‬

‫‪A‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪96‬‬

‫نمودار ‪ 3-4‬نيز معيالارهالاي دتالت‪ ،‬فراخواني و ‪ F1-measure‬براي دو مجموعاله دادهي ‪WISDM-‬‬

‫‪ 6Act‬و ‪ WISDM-18Act‬نمايش ميدهد‪.‬‬ ‫همانطور كه مشالاهده مي شالود در هر ساله معيار ارزيابي در ميان تمامي ‪ 6‬فعاليت موجود در مجموعه‬ ‫داه ‪ WISDM-6Act‬با پياده سالازي ساليسالتم پيشالنهادي ‪ AMSAD‬افزايش تابل تبولي به دسالت ممده‬ ‫است‪.‬‬ ‫‪۱.۰۰‬‬ ‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬ ‫‪۰.۶۰‬‬ ‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬ ‫‪۰.۰۰‬‬ ‫‪R‬‬

‫‪Q‬‬

‫‪P‬‬

‫‪O‬‬

‫‪N‬‬

‫‪M‬‬

‫‪L‬‬

‫‪K‬‬

‫‪J‬‬

‫‪f1-score‬‬

‫‪I‬‬ ‫فراخواني‬

‫‪G‬‬

‫‪H‬‬

‫‪F‬‬

‫‪E‬‬

‫‪D‬‬

‫‪C‬‬

‫‪B‬‬

‫‪A‬‬

‫دقت‬

‫نمودار ‪ : 2-4‬نتایج شبکه پیشنهادی بر ماموعه داده ‪WISDM-18Act‬‬

‫در اين نمودار نيز نتاي ب ساليار تابل مالحره و خوبي با ا سالتفاده از سالي سالتم پي شالنهادي ارائه شالده به‬ ‫دست ممد‪.‬‬ ‫‪۰.۸۵‬‬

‫‪۰.۸۹‬‬

‫‪۰.۸۵‬‬

‫‪۰.۸۹‬‬

‫‪۰.۸۸‬‬

‫‪۰.۸۴‬‬

‫‪۱.۰۰‬‬ ‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬ ‫‪۰.۶۰‬‬

‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬ ‫‪۰.۰۰‬‬ ‫‪f1-score‬‬

‫فراخواني‬ ‫‪WISDM-18Act‬‬

‫دقت‬ ‫‪WISDM-6Act‬‬

‫نمودار ‪ : 3-4‬نتایج شبکه پیشنهادی بر دو ماموعه دادهی ‪ WISDM-6Act‬و ‪WISDM-18Act‬‬

‫‪97‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫ميانگين ساله معيار ارزيابي مورد برر سالي در نمودار ‪ 3-4‬ن شالان از كارايي باري سالي سالتم پي شالنهادي‬ ‫دارد‪.‬‬

‫مقایسه و تحليل نتایج مدل پيشنهادي فعاليتکاوي با سایر مدلها‬ ‫در اين بخش سالي سالتم پي شالنهادي براي فعاليتكاوي با سالي سالتم ارائه شالده در (‪& Benawidez‬‬ ‫‪ )McCreight, 2019‬مورد مطاي ساله ترار گرفته ا سالت‪ .‬در (‪ )McCreight, 2019 & Benawidez‬از‬ ‫مجموعهدادهي ‪ WISDM-18Act‬ا سالالتفاده شالالده و شالالبکههاي ‪ CNN‬و ‪ LSTM‬به عنوان طبطهبند‬ ‫پياده سالازي شالدهاند و به ترتي به دتت ‪ 72‬و ‪ 79‬درصالد دسالتيافتهاند‪ .‬به هد ارائهي مطايسالهي دتيق‬ ‫شالالبکهي ‪ LSTM‬با نتاي مد پي شالالهادي در سالالي سالالتم‬

‫و صالالحيح‪ ،‬از ميان اين دو شالالبکه تنها نتاي‬

‫‪ AMSAD‬مطالاي سالاله شالالده ا سالالت‪ .‬رز باله ذكر ا سالالت كاله مالد ارائاله شالالده در (‪& Benawidez‬‬ ‫‪ )McCreight, 2019‬در ت شالخيص فعاليتهاي م شالابه در مجموعهدادهي مربوو به تلفنهو شالمند كه‬ ‫حركالاو د سالالت در من هالا ا سالالت مالاننالد حركالت هالاي ‪ H‬و ‪ I‬بالا م شالالکالل مواجاله ا سالالت‪ .‬همچنين در‬ ‫مجموعهدادهي سالاعت هو شالمند در ت شالخيص ميان حركاو ‪ M ،O‬و ‪ P‬نيز مد با م شالکل مواجه شالد‬ ‫س براي ت شالخيص و تمايز ميان اين فعاليتها ني سالت‪ .‬نمودار ‪ 4-4‬و‬ ‫چرا كه حركاو د سالت مورد منا ال‬ ‫نمودار ‪ 5-4‬نتاي‬

‫سالاله مطدار دتت‪ ،‬فراخواني و ‪ F1-measure‬شالالبکه پي شالالنهادي ارائه شالالده در اين‬

‫پژوهش و شبکه پيادهسازي شده در (‪ )McCreight, 2019 & Benawidez‬را نمايش ميدهد‪ .‬نتاي‬ ‫ارائاله‬

‫شالالده در (‪ )McCreight, 2019 & Benawidez‬براي هر گروه از مجمو عالهداده هالا از ح الي‬

‫تلفنهو شالمند و سالاعتهو شالمند به صالورو جداگانه به نمايش درممده كه در اين بخش نيز مطاي ساله بر‬ ‫همين اساس و به تفکيك سنسورهاي جمعموري دادهها بيان شده است‪.‬‬ ‫‪۱.۰۰‬‬ ‫‪۰.۷۴‬‬

‫‪۰.۸۰‬‬

‫‪۰.۷۴‬‬

‫‪۰.۸۰‬‬

‫‪۰.۸۰‬‬ ‫‪۰.۷۴‬‬

‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬ ‫‪۰.۶۰‬‬ ‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬ ‫‪۰.۰۰‬‬

‫فراخواني‬

‫‪f1-score‬‬ ‫‪LSTM‬‬

‫دقت‬

‫‪TSNN_CNN_TCN‬‬

‫نمودار ‪ : 4-4‬نتایج دادههای تلفت هوشمند دو مدل ‪ LSTM‬و ‪TSNN_CNN_TCN‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪98‬‬

‫همانطور كه م شالالاهده مي شالالود مد ‪ TSNN_CNN_TCN‬پياده سالالازي شالالده در سالالي سالالتم‬ ‫‪ AMSAD‬از نرر‬

‫سالاله معيالار دتالت‪ ،‬فراخواني و ‪ F1-measure‬در مطالاي سالاله بالا مالد ‪ LSTM‬مطالادير‬

‫س هايي‬ ‫س مطدار بار در معيار دتت ن شالان از تعداد پايين برچ ال‬ ‫س كرده و برتري دارد‪ .‬ك ال‬ ‫بارتري ك ال‬ ‫ا سالت كه به ا شالتباه م بت تلطي شالدهاند‪ .‬به بيان ديگر اين ميزان پايين تابليت اعتماد باري سالي سالتم را‬ ‫برچس هايي كه به درسالتي پيشبيني شالدهاند را مشالخص‬ ‫ال‬ ‫ميرسالاند‪ .‬از طرفي مطدار باري فراخواني نيز‬ ‫ميكنالد‪ .‬هر دو معيالار گفتاله شالالده ايالدهم يودن مالد پي شالالنهالادي در اين پژوهش را تالاييالد ميكننالد‪.‬‬ ‫همچنين معيار ‪ F1-measure‬به نوعي ميان اين دو معيار مصالحه برترار ميكند‪.‬‬ ‫‪۱.۰۰‬‬ ‫‪۰.۷۹‬‬

‫‪۰.۸۴‬‬

‫‪۰.۷۹‬‬

‫‪۰.۸۴‬‬

‫‪۰.۸۴‬‬

‫‪۰.۷۹‬‬

‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬

‫‪۰.۶۰‬‬ ‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬ ‫‪۰.۰۰‬‬

‫فراخواني‬

‫‪f1-score‬‬ ‫‪LSTM‬‬

‫دقت‬

‫‪TSNN_CNN_TCN‬‬

‫نمودار ‪ : 5-4‬نتایج دادههای ساعت هوشمند دو مدل ‪ LSTM‬و ‪TSNN_CNN_TCN‬‬

‫رز به ذكر اسالت كه در اين مطاله مجموعه دادهها به تفکيك مورد بررسالي ترار گرفته و نتاي شبکه‬ ‫پياده سالازي شالده نيز به اين ترتي گزارش شالده اسالت‪ .‬در اين پژوهش نيز به همين صالورو و به تفکيك‬ ‫دو سنسور جمعموري دادهها نتاي گزارش شدهاند‪.‬‬ ‫نمودار ‪ 6-4‬ميالانگين نتالاي مطالدار‬

‫سالاله معيالار دتالت‪ ،‬فراخواني و ‪ F1-measure‬را در مطالاي سالاله بالا‬

‫(‪ )Shojaedini, 2020 & Beirami‬براي ‪ 8‬فعاليت نشالان ميدهد‪ .‬در اين مطايساله از منجايي كه مطاله‬ ‫مورد مطايسه تنها نتاي ‪ 8‬فعاليت را گزارش داده است در اين پژوهش نيز تنها ميانگين نتاي سه معيار‬ ‫مورد برر سالالي در اين ‪ 8‬فعاليت كه عبارتند از راهرفتن‪ ،‬دويدن‪ ،‬ا سالالتفاده از پلهها‪ ،‬ن شال سالالتن‪ ،‬اي سالالتادن‪،‬‬ ‫خوردن سوپ‪ ،‬حوردن ساندويچ و خوردن چيپس در نمودار ‪ 6-4‬به نمايش درممده است‪.‬‬

‫‪99‬‬

‫پيادهسازي و ارزيابي ‪.‬‬ ‫‪۱.۰۰‬‬ ‫‪۰.۸۱‬‬

‫‪۰.۸۶‬‬

‫‪۰.۸۱‬‬

‫‪۰.۸۶‬‬

‫‪۰.۸۶‬‬

‫‪۰.۸۱‬‬

‫‪۰.۹۰‬‬ ‫‪۰.۸۰‬‬ ‫‪۰.۷۰‬‬ ‫‪۰.۶۰‬‬ ‫‪۰.۵۰‬‬ ‫‪۰.۴۰‬‬ ‫‪۰.۳۰‬‬ ‫‪۰.۲۰‬‬ ‫‪۰.۱۰‬‬ ‫‪۰.۰۰‬‬

‫فراخواني‬

‫‪f1-score‬‬ ‫‪ResNet‬‬

‫دقت‬

‫‪TSNN_CNN_TCN‬‬

‫نمودار ‪ : 6-4‬نتایج تمام دادههای ‪ 8‬فعالیت از ‪ WISDM-18Act‬بر دومدل ‪ ResNet‬و ‪TSNN_CNN_TCN‬‬

‫ذكر اين نکته ضروري است كه با وجود اينکه در اين مطايسه حدودا نيمي از نتاي مورد مطايسه ترار‬ ‫گرفته است و مطايسه كاملي‪ :‬نيست اما از منجايي كه ميان اين فعاليتها نتاي ‪TSNN_CNN_TCN‬‬

‫بارتر از شالالبکه ‪ ResNet‬ارائه شالالده در مطاله مورد برر سالالي ا سالالت ميتوان نتيجه گرفت كه در ميان‬ ‫فعاليتهاي ديگر چنين بهبودي وجود دارد‪.‬‬ ‫برتري مد پي شالالنهادي در مطاي سالاله با سالالاير مد ها به اين طريق توجيه مي شالالود كه با ا سالالتفاده از‬ ‫ويژگي ا سالالتخراج‬

‫ج‬ ‫شالالده در حوزه فر كالانس و دوجر يالان موازي‪ ،‬مو ال‬

‫ا سالالتخراج ويژگي هالاي‬

‫متمايزكنندهتري در مطايساله با سالاير مد ها مي شالود و تشالخيص فعاليتهاي مشالابه از جمله بار و پايين‬ ‫رفتن از پلهها در مجموعهداده ‪ WISDM-6Act‬و خوردن چيپس‪ ،‬نو شالاليدن مب و سالالاير فعاليتهاي‬ ‫مجموعهدادهي ‪ WISDM-18Act‬كه با دست انجا ميشود با نرخ بارتري انجا ميپايرد‪ .‬عالوهبراين‬ ‫تفکيك دادههاي جمعموري شالده تو سالس شالتاب سالن در ساله را سالتاي ‪ y ،x‬و ‪ z‬موج رويارويي با دو‬ ‫چالالش ع مالدهي‬

‫شال بالا هالت م يالانكال سالالي و ت فالاوو درونكال سالالي ميگردد‪ .‬باله اين ترت الي‬

‫اطال عالاو‬

‫متمايزكنندهتري به د سالت ممده و ميتوان گفت مد پي شالنهادي ن سالبت به تفاوو در انجا يك فعاليت‬ ‫توسس يك كاربر و يا چندكاربر مطاو است‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪100‬‬

‫‪ .7-4‬تاثیر هریک از نوقوریها بر دات سیستم فعالیتکاوی‬ ‫اين ت سالالمت به تاثير هريك از نوموريهاي ارائه شالالده از جمله پردازش دوجريان موازي به صالالورو‬ ‫همزمالان‪ ،‬ا سالالتفالاده از ويزگي حوزه فركالانس در پيشپردازش اولياله‪ ،‬ا سالالتفالاده از ‪ ،TCN‬ا سالالتفالاده از‬ ‫‪ ensemble voting‬در دتت سالي سالتم كاوش فعاليت ‪ AMSAD‬ميپردازد‪ .‬سالي سالتم پايهاي كه براي‬ ‫اين منرور در نررگرفته شالده شالامل يك شالبکه ‪ CNN‬با يك ورودي ا سالت و داراي ‪ 10‬ريه پيچ شالي‬ ‫و دوريه تماما مت صالالل و در نهايت ريهي ‪ softmax‬ا سالالت‪ .‬مموزش اين مد به‬

‫‪2‬بعدي‪ 4،‬ريه پولين‬

‫صالالورو با نرارو بوده و سالالاختار من در شالالکل ‪ 10-4‬نمايش داده شالالدها سالالت‪ .‬جدو ‪ 7-4‬پارامترهاي‬ ‫تنريم شالده براي مد پايهاي را نشالان ميدهد‪ .‬روش مزمون و بررسالي تاثير هر يك از نوموريهاي بيان‬ ‫شده در ادامه تشريح شدهاست‪.‬‬

‫‪ :‬ساختار مدل پایه‬ ‫جدو ‪: 7-4‬نزییات پارامترهای تنظیمشده در سیستم پایه‬ ‫مجموعه‬

‫تعداد ريه پيچشي‬

‫داده‬

‫تابع فعالسازي‬

‫اندازه كرنل‬

‫‪ReLU‬‬

‫‪3×3‬‬

‫‪10‬‬

‫‪WISDM-18Act‬‬

‫تعداد ريه پولين‬ ‫‪4‬‬ ‫نورونهاي‬

‫تعداد ريه ‪drop out‬‬

‫نرخ ‪dropout‬‬

‫‪1‬‬

‫‪0.8‬‬

‫‪ 128‬و‬

‫تعداد ريه ‪flatten‬‬

‫تعداد فيلتر‬

‫گا‬

‫‪1‬‬

‫‪ 32-64-96‬و ‪128‬‬

‫متصل‬

‫‪1‬‬

‫×‪1‬‬

‫ريه‬

‫تماما‬

‫‪101‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫سالاختار با جزيياو شالبکه پايه به اين صالورو ا سالت كه ابتدا ‪ 2‬ريه پيچ شالي با ‪ 32‬كرنل پياده سالازي‬ ‫شالدهاند و سالپس يك ريه ‪ pooling‬تراردارد‪ .‬بعد از من ‪ 2‬ريه پيچ شالي ديگر با ‪ 64‬كرنل ه سالتند كه‬ ‫يك ريه ‪ pooling‬در ادامه ممده ا سالالت‪ .‬در اين ت سالالمت ‪ 3‬ريه پيچ شالالي با ‪ 96‬كرنل وجود دارد و به‬ ‫دنبا من يك ريه ‪ pooling‬پياده سالازي شالده ا سالت‪ .‬در مخر نيز ‪ 3‬ريهي پيچ شالي ديگر با ‪ 128‬كرنل‬ ‫تراردارد و يك ريه ‪ pooling‬ديگر نيز در اين ت سالمت پياده سالازي شالده ا سالت‪ .‬رز به ذكر ا سالت كه‬ ‫تمامي ريههاي ‪ pooling‬با هد كاهش بيش برازش ‪ maxpooling‬ميباشند‪.‬‬ ‫روش قزمون‬

‫در اين مزمون از مجموعهدادهي ‪ WISDM-18Act‬كه داراي برچس است استفاده شده و مموزش‬ ‫نيز به صالالورو نرارتي انجا ميپايرد‪ .‬در اين شالالبکه پس از ورود دادهها ‪10‬ريه پيچ شالالي و ‪ 4‬ريه‬ ‫‪ ،pooling‬يك ريه ‪ dropout‬پياده سالازي شالده اسالت‪ .‬سالپس دادهها از ريه ‪ flatten‬عبور كرده و وارد‬ ‫دو ريه تماما مت صالالل شالالده و در نهايت از ريه ‪ softmax‬عبور ميكنند‪ .‬رز به ذكر ا سالالت كه تابع‬ ‫فعالسازي در ريههاي پيچشي و ريههاي ابتدايي تماما متصل ‪ ReLU‬است‪ .‬معيار ارزيابي در اين روش‬ ‫د تالالت ت شالالخيص ف عالالال يالالت هالالاي م‬

‫شالالا بالاله بوده و بع لالالت طب طالالهب نالالدي چ نالالدكال‬

‫سالاله تالالابع خ طالالا‬

‫‪ categorical_crossentropy‬ميباشد‪.‬‬ ‫نتایج حاص از بررسی تاثیر هریک از نوقوریها‬ ‫در اين بخش با هد برر سالالي تاثير هر يك از نوموريهاي ارائه شالالده دتت سالالي سالالتم پايهاي در‬ ‫ت شالخيص فعاليتهاي مجموعه دادهي ‪ WISDM-18Act‬در شالکل ‪ 17-4‬ن شالان داده شالده ا سالت‪ .‬در‬ ‫س‬ ‫اين ت سالمت تمامي نوموريها يك به يك در ت سالمت منا ال‬

‫خود در سالي سالتم پايهي ‪1 input CNN‬‬

‫اعما شالده و ميانگين ساله معيار دتت‪ ،‬فراخواني و ‪ F1-measure‬به نمايش درممده اسالت‪ .‬ساليسالتم پايه‬ ‫‪ 1InP CNN‬مورد مزمون ترار گرفته ا سالت‪ .‬منرور از كلمهي ‪ ،temporal D‬دادهي زماني فعاليتهاي‬ ‫افراد اسالت كه به عنوان ورودي در نرر گرفته شالده اسالت‪ .‬هنگامي كه به ورودي اين شالبکه تبديل فوريه‬ ‫سالريع اعما مي شالود و شالبکه ‪ 1 InP CCN-fft D‬بدسالت ميميد در ساله معيار موجود در شالکل ‪17-4‬‬ ‫افزايشي مشاهده ميشود كه علت من ارتطاي مموزش شبکه است‪.‬‬

‫فعاليتكاوي مبتني بر يادگيري عميق با تاكيد بر تشخيص فعاليتهاي داراي تشابه‬

‫‪102‬‬

‫‪۰.۶۸‬‬ ‫‪۰.۶۶‬‬

‫‪۰.۶۶‬‬ ‫‪۰.۶۴‬‬

‫‪۰.۶۴‬‬ ‫‪۰.۶۲‬‬

‫‪۰.۶۶‬‬

‫‪۰.۶۲‬‬

‫‪۰.۶۶‬‬

‫‪۰.۶۳‬‬

‫‪۰.۶۲‬‬ ‫‪۰.۶۲‬‬ ‫‪۰.۶۱‬‬

‫‪۰.۶۳‬‬

‫‪۰.۶۳‬‬ ‫‪۰.۶۲‬‬

‫‪۰.۶۲‬‬

‫‪۰.۶۲‬‬

‫‪۰.۶۱‬‬ ‫‪۰.۵۹‬‬

‫‪۰.۵۹‬‬

‫‪۰.۶۲‬‬

‫‪۰.۶۴‬‬

‫‪۰.۶۲‬‬ ‫‪۰.۶۲‬‬ ‫‪۰.۶۱‬‬

‫‪۰.۶۲‬‬ ‫‪۰.۶۰‬‬

‫‪۰.۵۹‬‬

‫‪۰.۵۸‬‬

‫‪۰.۵۶‬‬ ‫‪۰.۵۴‬‬ ‫فراخواني‬

‫‪F1-measure‬‬

‫دقت‬

‫‪1 InP CNN_TCN-fft D‬‬

‫‪Two Stream‬‬

‫‪ensemble voting‬‬

‫‪3 InP CNN-temporal D‬‬

‫‪3 InP CNN-fft D‬‬

‫‪1 InP CNN_TCN- temporal D‬‬

‫‪1 InP CNN-temporal D‬‬

‫‪1 InP CNN-fft D‬‬

‫نمودار ‪ : 7-4‬نتایج تاثیر هریک از نوقوریها‬

‫باله بيالاني ديگر بالا اعمالا اين تبالديالل در واتع شالالبالاهالت ميالان نمونالههالاي يالك كالس در بردار ويژگي در‬ ‫دامناله فركالانس بالار ميرود‪ .‬در مرحلالهي بعالدي كاله ورودي باله ‪ 3‬افزايش مييالابالد و مجالددا در هر نوبالت‬ ‫دادههاي زماني و دادههاي فركان سالي به عنوان ورودي به مد دادهمي شالوند و به ترتي نتاي‬

‫‪3 InP‬‬

‫‪CNN-temporal D‬و ‪ 3InP CNN-fft D‬به د سالت ميميد‪.‬با افزودن بلوک ‪ TCN‬به شالبکه ‪CNN‬‬

‫يك ورودي پايهاي سالاله معيار مورد برر سالالي به صالالورو تابل مالحرهاي افزايش مييابند كه علت من‬ ‫مرات از فيلترهالاي‬ ‫توانالايي ‪ TCN‬در جمعموري الگوهالاي طورني مالدو بالا ا سالالتفالاده از يالك سالالل سالاللاله ال‬ ‫پيچچشالي زماني ميباشالد‪ .‬در واتع اين بلوک كانولوشالنهاي متسالع شالده و سالاختار بلوک باتيمانده‪ 1‬را به‬ ‫منرور افزايش ميالدان پايرش و عمق‪ 2‬ادذا ميكنالد‪ .‬در پيالاده سالالازي دوجريان موازي ‪Two Stream‬‬

‫نتالاي باله جهالت يالادگيري پيچيالدگيهالاي فعالاليالتهالاي افراد بالدون دانش تبلي و تلفيق توزيعهالاي مکالاني از‬ ‫ابعاد زماني و فركان سالالي افزايش يافته و بهبود پيدا كرده ا سالالت‪ .‬به بياني ديگر دوجريانه بودن سالالاختار‬

‫‪Residual Block1‬‬ ‫‪Depth2‬‬

‫پيادهسازي و ارزيابي ‪.‬‬

‫موج ادذالا كالارامالد اطالعالاو چنالدبعالدي فعالاليالت هالاي پيچيالده‬ ‫مالد پي شالالنهالادي ال‬

‫‪103‬‬

‫شالالده و ويژگي هالاي‬

‫فعاليتها از هردوجريان مموخته ميشود‪ .‬در مخر در حالتي كه رايگيري مورد بررسي ترار ميگيرد نيز‬ ‫افزايش حدودا ‪ 4‬درصدي در نتاي سه معيار تابل مشاهده است‪.‬‬

‫‪ .8-4‬نمعبندی‬ ‫جزيياو پياده سالازي روش پي شالنهادي ارائه شالده سالي سالتم ‪ AMSAD‬در اين ف صالل برر سالي شالد و‬ ‫شالبهكد تمامي زيرساليسالتمها به تفکيك ارائه شالد‪ .‬عالوه بر اين در تسالمت مزمون ساله بخش از جمله ‪-1‬‬ ‫ارزيابي سالي سالتم پي شالنهادي كاوش فعاليت مبتني بر يادگيري عميق با تاكيد بر ت شالخيص فعاليتهاي‬ ‫م شالالابه ‪ -2‬مطاي سالاله و تحليل نتاي مد پي شالالنهادي فعاليتكاوي با سالالاير مد ها و ‪ -3‬تاثير هريك از‬ ‫نوموريها بر دتت سالي سالتم فعاليتكاوي تحليل شالدند‪ .‬بخش او نتاي مد پي شالنهادي با ورودي دو‬ ‫مجموعهدادهي ‪ WISDM-6Act‬و ‪ WISDM-18Act‬را م شالخص كرد‪ .‬در بخش بعدي نتاي حا صالل‬ ‫از مد پيشالنهادي با نتاي مد هاي ديگر ارائه شالده مطايساله شالد و تحليلهايي در اين مورد ارائه گشالت‪.‬‬ ‫بخش مخر نيز تاثير تك تك نوموريهاي ارائه شالالده بيان شالالد و دتت سالالي سالالتم با اعما هر يك از‬ ‫نوموريها در جدولي نشان دادهشد‪.‬‬

‫فصل پنجم‬

‫نتيجهگيري و توسعههاي آتي‬

‫نتي گيري و توسعههاي متي‬

‫‪107‬‬

‫‪ .5‬نتیاهگیری و توسعههای قتی‬ ‫‪ .1-5‬مقدمه‬ ‫در اين ف صالل مطالعاو و مزماي شالاو انجا گرفته جمعبندي شالده و نتاي اين پژوهش مورد بح و‬ ‫برر سالالي ترار ميگيرد‪ .‬همچنين مواردي از جملاله تو سالالعاله هالايي كاله در مينالده در اداماله اين مطالالعالاو و‬ ‫تحطيطاو ميتواند انجا پايرد‪ ،‬پرداخته ميشود‪.‬‬

‫‪ .2-5‬نتیاهگیری‬ ‫در پژوهش انجا شالده چند چالش عمده و مهم در زمينهي فعاليتكاوي مورد برر سالي ترار گرفت و‬ ‫به منرور رفع چالشها راهحلهايي به صالالورو تئوري پي شالالنهاد گرديد كه با پياده سالالازي منها و انجا‬ ‫مزماي شالالاو مورد مزمون و ارزيابي ترار گرفتند‪ .‬در ادامه جمعبندي و نتيجهگيري مباح و مطال ارائه‬ ‫شده پرداخته شده است‪.‬‬ ‫ابتداي اين پژهش برر سالي مطدماو‪ ،‬پي شالينه و تعاريف اوليه صالورو گرفت‪ .‬عالوه بر اين‪ ،‬كاربردها و‬ ‫چالشهاي اين حوزه نيز مورد برر سالالي ترار گرفته و د سالالتهبندي پي شالالنهادي نيز ارائه شالالد‪ .‬معماري‬ ‫ساليسالتم فعاليتكاوي از جملهي ديگر مباح ي بود كه مررح شالد‪ .‬همچنين يك دسالتهبندي پيشالنهادي‬ ‫ديگر در رابطه با رويکردهاي فعاليتكاوي ارائه شالالد و ايده ا صالاللي‪ ،‬مزايا و معاي اين رويکردها نيز در‬ ‫جدولي مورد برر سالي ترار گرفت‪ .‬در ادامه سالي سالتم پي شالنهادي با جزيياو شالرح داده شالد و روشهاي‬ ‫پي شالالنهادي در ت سالالمتهاي مختلف سالالي سالالتم ارائه شالالده همچون پيش پردازش و ا سالالتخراج ويژگي و‬ ‫ت سالمتهاي مختلف شالبکهي مربوو به فعاليتكاوي مورد برر سالي ترار گرفت‪ .‬با ا سالتفاده از روشهاي‬ ‫پيشنهادي ارائه شده در اين پژوهش دو چالش مهم در زمينه فعاليتكاوي تا حدودي حل شده است‪.‬‬ ‫چالشهاي مورد بررسالي در اين زمينه شالباهت ميان كالسالي و تفاوو درون كالسالي اسالت كه موج‬ ‫كالاهش تمالايز و تفکيالك فعالاليالتهالاي م شالالاباله ميگردد‪ .‬در اين زميناله ا سالالتخراج ويژگيهالايي كاله تالدرو‬ ‫تفکيك فعاليتهاي مشالابه افراد را افزايش دهد كارامد و راهگشالا ميباشالد‪ .‬در اين راسالتا در اين پزوهش‬ ‫در ت سالالمت پيشپردازش اوليه ا سالالتفاده از تبديل فوريه سالالريع به ا سالالتخراج بردارهاي ويژگياي كه‬ ‫ويژگيهاي موثر در فعاليتهاي مورد نرر را تشخيص ميداد‪ ،‬انجاميد‪.‬‬

‫‪108‬‬

‫فعاليتكاوي مبتني بر يادگيريعميق با تاكيد بر تشخيص فعاليت هاي داراي تشابه‬

‫اسالتفاده از يادگيري عميق در اين راسالتا كليديترين نوموري به شالمار ميرود‪ .‬در حطيطت اسالتفاده از‬ ‫شالبکه پيچ شالي زماني در كنار شالبکه پيچ شالي بعد زمان در فعاليتها را لحاظ كرده كه واب سالتگيهاي‬ ‫بلندمدو ميان فعاليتها را در نرر ميگيرد و ت شالخيص من د سالته از فعاليتها كه ب ساليار شالباهت دارند‬ ‫را موج ميشود‪ .‬تفکيك دادههاي ورودي به سه بخش در راستاي محورهاي ‪ y ،x‬و ‪ z‬نيز كارامد بوده‬ ‫و براسالاس نتاي بهدسالت ممده در مزمايشالاو شالباهت ميانكالسالي و تفاوو درونكالسالي تا حدودي رفع‬ ‫شالالدها سالالت‪ .‬پياده سالالازي دو جريان موازي و بهرهگيري از پردازش موازي در اين امر نيز موثر بوده و‬ ‫پردازش دادههالاي سالالنگين سالالريعتر انجالا ميگيرد‪ .‬عالوه بر اين پيالاده سالالازي رايگيري گروهي در‬ ‫س ها ميان ‪ 6‬د سالته خروجي مد پي شالنهادي تدرو ان تفکيك و ت شالخيص را افزايش‬ ‫پيشبيني برچ ال‬ ‫داده است‪.‬‬

‫‪ .3-5‬توسعههای قتی‬ ‫در ادامالهي اين پژوهش باله منرور بهرهگيري از توانمنالدي حالداك ري از پتالان سالاليالل هالاي موجود در‬ ‫يادگيري عميق در ت شالخيص فعاليت افراد برخي تو سالعههاي متي شالايان پياده سالازي ميبا شالند‪ .‬در اين‬ ‫راسالتا ميتوان فرايند مموزش را به گونهاي بهبود داد تا مسالئلهي كاهش مشکار تعميمپايري ويژگيهاي‬ ‫م سالالتخرج از روشهاي يادگيري عميق در مطاي سالاله با ويژگيهاي مهند سالالي شالالده در كاوش فعاليت با‬ ‫دادههاي سالالريهاي زماني حل شالالود‪ .‬شالالناخت الگوهايي در داده تو سالالس مد هاي يادگيري عميق كه‬ ‫تمايز كليدي ميان كالسها را باع ميشوند ميتواند در اين فرايند كمك كننده باشد‪.‬‬ ‫پيشبيني فعاليت مينده يکي از تو سالعههاي كاوش فعاليت ا سالت‪ .‬برخال كاوش فعاليت‪ ،‬سالي سالتم‬ ‫پيشبيني فعاليت ميتواند رفتار افراد را پيش از وتوع پيشبيني كند‪ .‬سالي سالتم پيشبيني در ت شالخيص‬ ‫تصالميم افراد ميتواند مفيد واتع شالود و در نتيجه در سالرويسهاي هوشالمند‪ ،‬تشالخيص جر و پيشبيني‬ ‫رفتار رانندگان مورد ا سالتفاده ترار گيرد‪ .‬در برخي امور رفتاري متداو فعاليتها در ترتي تطعي وجود‬ ‫دارنالد‪ .‬در نتيجاله مالد كردن واب سالالتگيهالاي زمالاني در ميالان فعالاليالتهالا براي پيشبيني موارد مينالده مفيالد‬ ‫ا سالالت‪ .‬واب سالالتگيهاي زماني طورني در ميان فعاليتها يکي از چالشهاي مهم در اين زمينه ا سالالت‪ .‬در‬ ‫اين زمينه تشخيص نيت‪ 1‬بر اساس سيگنا هاي مغزي ميتواند به پيشبيني فعاليت كمك كند‪.‬‬ ‫ت شالخيص فعاليتهاي جديدكه تو سالس مد هاي مورد نرر تبال ديده ن شالده يکي از چالشهاي عمده‬ ‫در ت شالخيص فعاليت افراد ا سالت‪ .‬يك مد تابل اعتماد باي سالتي توانايي دانش جديد به صالورو برخس را‬

‫‪Intention Recognition1‬‬

‫‪109‬‬

‫نتي گيري و توسعههاي متي‬

‫داشالته و تشالخيص دتيقتر فعاليتها را بدون داشالتن هيچ نمونه درسالتي زمينهاي‪ 1‬بهدسالت مورد‪ .‬يکي از‬ ‫راههاي اميدواركننده يادگيري ويژگيهايي ا سالالت كه براي فعاليتهاي متنوع مطياسپاير با شالالند‪ .‬در‬ ‫حاليكه ويژگيهاي ميان سالالطحي )‪ (Nair, Tan, Zeng, Mengshoel, & Shen, 2019‬ميتواند‬ ‫براي ت شالالريح فعالاليالتهالا بالا يالك مجموعاله از ويژگيهالا مورد ا سالالتفالاده ترار گيرد‪ ،‬ويژگيهالاي جالدا شالالده‬ ‫)‪ (Tran, Yin, & Liu, 2017‬ميتوانالد يکي ديگر از راه حالل هالاي تالابالل ا سالالت فالاده براي ب يالان كردن‬ ‫فعاليتهاي بسيار جديد باشد‪.‬‬ ‫تشالخيص فعاليت انسالان نيازمند تعداد كافي از نمونههاي حاشاليهنويسالي شالده براي مموزش مد هاي‬ ‫بالدوننرالارو ا سالالت‪ .‬يالادگيري بالدوننرالارو ميتوانالد در كالاهش چنين نيالازمنالدي هالايي كمالك كنالد‪ .‬تالا باله‬ ‫امروز مد هاي بدوننرارو عميق ا سالالتفاده شالالده در ت شالالخيص فعاليتهاي افراد به طور عمده براي‬ ‫ا سالتخراج ويژگيها ا سالتفاده شالدهاند اما تادر به شالنا سالايي فعاليتها به علت نبود هيچ نمونهي در سالتي‬ ‫س هاي‬ ‫زمينهاي ني سالتند‪ .‬بنابراين يك روش نهاني براي يادگيري بدون نرارو به منرور ا سالتنتاج برچ ال‬ ‫صالحيح ج سالتجوي دانش فراتر ا سالت كه منجر به ا سالتفاده از يك روش معرو به نا يادگيري انتطالي‬ ‫مرت‬ ‫بالدون نرالارو عميق‪ 2‬مي شالالود‪ .‬يالك راه ديگر ال‬

‫سالالازي مجالدد‪ 3‬روش هالاي مبتني بر داده‪ 4‬مالاننالد‬

‫هستيشناسي‪ 5‬است )‪.(Riboni, Pareschi, Radaelli, & Bettini, 2011‬‬

‫‪Ground Truth1‬‬ ‫‪Deep Unsupervised Transfer Learning2‬‬ ‫‪Resort3‬‬ ‫‪Data-driven methods4‬‬ ‫‪Ontology5‬‬

‫فهرست منابع و مآخذ‬ Aggarwal, J., & Cai, Q. (1999). Human Motion Analysis: A Review. Computer Vision and Image Understanding, 73(3), 428-440. Alshurafa, N., Xu, W., Liu, J. J., Huang, M.-C., Mortazavi, B., Roberts, C. K., & Sarrafzadeh, M. (2014). Designing a Robust Activity Recognition Framework for Health and Exergaming Using Wearable Sensors. IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS,, 18(5), 1636-1646. Amft, O., Kusserow, M., & Tröster, G. (2007). Probabilistic parsing of dietary activity events. International Workshop on Wearable and Implantable Body Sensor Networks (BSN 2007). Berlin. Anderson, D., Keller, J. M., Skubic, M., Chen, X., & He, Z. (2006). Recognizing Falls from Silhouettes. International Conference of the IEEE Engineering in Medicine and Biology Society. New York. Anguita, D., Ghio, A., Oneto, L., Parra, X., & Reyes-Ortiz, J. L. (2012). Human activity recognition on smartphones using a multiclass hardware-friendly support vector machine. International workshop on ambient assisted living. Berlin, Heidelberg. Anguita, D., Ghio, A., Oneto, L., Parra, X., & Reyes-Ortiz, J. L. (2012). Human Activity Recognition on Smartphones Using a Multiclass Hardware-Friendly Support Vector Machine. International Workshop on Ambient Assisted Living. Ann, O. C., & Theng, L. B. (2014). Human Activity Recognition: A Review. IEEE International Conference on Control System, Computing and Engineering. Penang. Avci, Akin, Bosch, S., Marin-Perianu, M., Marin-Perianu, R., & Havinga, P. (2010). Activity Recognition Using Inertial Sensing for Healthcare, Wellbeing and Sports Applications: A Survey. 23th International Conference on Architecture of Computing Systems. Hannover. Banos, O., Damas, M., Pomares, H., Prieto, A., & Rojas, I. (2012). Daily living activity recognition based on statistical feature quality group selection. Expert Systems with Applications, 39(9), 8013-8021. Banos, O., Galvez, J.-M., Damas, M., Pomares, H., & Rojas, I. (2014). Window Size Impact in Human Activity Recognition. Sensors, 14(4), 6474-6499. Barna, A., Masum, A. K., Hossain, M. E., Bahadur, E. H., & Alam, M. S. (2019). A study on Human Activity Recognition Using Gyroscope, Accelerometer, Temperature and Humidity data. 2019 International Conference on Electrical, Computer and Communication Engineering (ECCE). Beddiar, D. R., Brahim Nini, M. S., & Hadid, A. (2020). Vision-based human activity recognition: a survey. Multimedia Tools and Applications, 79(41), 30509-30555. Beirami, M. J., & Shojaedini, S. V. (2020). Residual Network of Residual Network: A New Deep Learning Modality to Improve Human Activity Recognition by Using Smart Sensors Exposed to Unwanted Shocks. Journal of Health Management and Informatics, 7(4), 228-239. Belhadi, A., Djenouri, Y., Srivastava, G., Djenourie, D., Lin, J. C.-W., & Fortino, G. (2021). Deep learning for pedestrian collective behavior analysis in smart cities: A model of group trajectory outlier detection. Information Fusion, 65, 13-20. Benawidez, S., & McCreight, D. (2019). A Deep Learning Approach for Human Activity Recognition Project Category: Other (Time-Series Classification).

Bianchi, F., Redmond, S. J., Narayanan, M. R., Cerutti, S., & Lovell, N. H. (2010). Barometric Pressure and Triaxial Accelerometry-Based Falls Event Detection. IEEE Transactions on neural systems and rehabilitation engineering, 18(6), 619-627. Boyer, P., Burns, D., & Whyne, C. (2021). Out-of-Distribution Detection of Human Activity Recognition with Smartwatch Inertial Sensors. Sensors, 21(5), 1669. Brezmes, T., Gorricho, J.-L., & Cotrina, J. (2009). Activity Recognition from Accelerometer Data on a Mobile Phone. International Work-Conference on Artificial Neural Networks. Brito, R., Biuk-Aghai, R. P., & Fong, S. (2021). GPU-based parallel Shadow Features generation at neural system for improving gait human activity recognition. Multimedia Tools and Applications , 80, pages 12293–12308. Casanova, J. G., Ávila, C. S., Sierra, A. d., del Pozo, G. B., & Vera, V. J. (2011). A Real-Time In-Air Signature Biometric. International Conference on Networked Digital Technologies, 87, pp. 497-503. Macau. Chang, Y. J., Chen, S. F., & Huang, J. D. (2011). A Kinect-based system for physical rehabilitation: A pilot study for young adults with motor disabilities. Research in Developmental Disabilities, 32(6), 2566–2570. Chaquet, J. M., Carmona, E. J., & Caballero, A. F. (2013). A Survey of Video Datasets for Human Action and Activity Recognition. Computer Vision and Image Understanding, 117(6), 633-659. Chawla, N. V., Japkowicz, N., & Kotcz, A. (2004). Editorial: special issue on learning from imbalanced data sets. ACM SIGKDD Explorations Newsletter - Special issue on learning from imbalanced datasets, 6(1), 1-6. Chen, J., Kwong, K., Chang, D., Luk, J., & Bajcsy, R. (2005). Wearable Sensors for Reliable Fall Detection. IEEE Engineering in Medicine and Biology 27th Annual Conference. Shanghai. Chen, J., Sun, Y., & Sun, S. (2021). Improving Human Activity Recognition Performance by Data Fusion and Feature Engineering . Sensors, 21(3), 692. Chen, L., Nugent, C. D., & Wang, H. (2012). A Knowledge-Driven Approach to Activity Recognition in Smart Homes. IEEE Transactions on Knowledge and Data Engineering, 24(6), 961-974. Chen, L., Nugent, C., & Wang, H. (2011). A Knowledge-Driven Approach to Activity Recognition in Smart Homes. IEEE Transactions on Knowledge and Data Engineering, 24(6), 961 - 974. Cheng WC, J. D. (2013). Triaxial accelerometer-based fall detection method using a self-constructing cascade-AdaBoost-SVM classifier. IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, 17(2), 411-419. Cook, D., Feuz, K. D., & Krishnan, N. C. (2013). Transfer learning for activity recognition: a survey. Knowledge and Information Systems, 36(3), 537-556. Cook, D., Youngblood, M., Heierman, E., Gopalratnam, K., Rao, S., Litvin, A., & Khawjava, F. (2003). MavHome: An Agent-Based Smart Home. Proceedings of the First IEEE International Conference on Pervasive Computing and Communications. FortWorth, TX, USA. Dargie, W. (2009). Analysis of Time and Frequency Domain Features of Accelerometer Measurements. Proceedings of 18th International Conference on Computer Communications and Networks. San Francisco, CA, USA. Davis, J., & Goadrich, M. (2006). The Relationship Between Precision-Recall and ROC Curves . ICML '06 Proceedings of the 23rd international conference on Machine learning . Pittsburgh, Pennsylvania, USA.

Dehghani, A., Sarbishei, O., Glatard, T., & Shihab, E. (2019). A Quantitative Comparison of Overlapping and Non-Overlapping Sliding Windows for Human Activity Recognition Using Inertial Sensors . Sensors, 19(22), 5026. Dhulekar, P. A., Gandhe, S., Shewale, A., Sonawane, S., & Yelmame, V. (2017). Motion Estimation for Human Activity Surveillance. 2017 International Conference on Emerging Trends & Innovation in ICT (ICEI). Pune. Dong, G., & Li, J. (1999). Efficient mining of emerging patterns: discovering trends and differences. KDD '99 Proceedings of the fifth ACM SIGKDD international conference on Knowledge discovery and data mining . San Diego, USA. Duan, L., Xu, D., Tsang, I. W.-H., & Luo, J. (2012). Visual Event Recognition in Videos by Learning from Web Data. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 34(9), 1667-1680. Ezatzadeh, S., & Keyvanpour, M. (2017). Fall detection for elderly in assisted environments: Video surveillance systems and challenges. 9th International Conference on Information and Knowledge Technology (IKT). Tehran. Fan, L., Wang, Z., & Wang, H. (2013). Human activity recognition model based on Decision tree. International Conference on Advanced Cloud and Big Data. Gjoreski, H., Kiprijanovska, S. S., Nikolovska, A., Mladenovska, N., Trajanoska, M., Velichkovska, B., . . . Gams, M. (2020). Wearable Sensors Data-Fusion and Machine-Learning Method for Fall Detection and Activity Recognition. Challenges and Trends in Multimodal Fall Detection for Healthcare, 273. Gu, T., Chen, S., Tao, X., & Lu, J. (2012). An unsupervised approach to activity recognition and segmentation based on object-use fingerprints. Data & Knowledge Engineering, 69, 533-544. Heberlein, M., Hayashi, T., Nashold, S., & Teeravarunyou, S. (2003). CHI-Ball, An Interactive Device Assisting Martial Arts Education for Children. CHI '03 Extended Abstracts on Human Factors in Computing Systems , (pp. 962-963). Lauderdale, Florida. Helaoui, R., Riboni, D., & Stuckenschmidt, H. (2013). A Probabilistic Ontological Framework for the Recognition of Multilevel Human Activities. UbiComp '13 Proceedings of the 2013 ACM international joint conference on Pervasive and ubiquitous computing. Zurich. Henpraserttae, A., Thiemjarus, S., & Marukatat, S. (2011). Accurate Activity Recognition using a Mobile Phone regardless of Device Orientation and Location. 2011 International Conference on Body Sensor Networks. Dallas, TX, USA. Hoang, M. L., Carratù, M., Paciello, V., & Pietrosanto, A. (2021). Body Temperature— Indoor Condition Monitor and Activity Recognition by MEMS Accelerometer Based on IoT-Alert System for People in Quarantine Due to COVID-19. Sensors, 21(7), 2313. Hongeng, S., Nevatia, R., & Bremond, F. (2004). Video-based event recognition: activity representation and probabilistic recognition methods. Computer Vision and Image Understanding, 96(2), 129-162. Höppner, F. (2001). Discovery of Temporal Patterns. European Conference on Principles of Data Mining and Knowledge Discovery. Hussain, T., Muhammad, K., Ullah, A., Ser, J. D., Gandomi, A. H., Sajjad, M., . . . Albuquerque, V. H. (2020). Multi-View Summarization and Activity Recognition Meet Edge Computing in IoT Environments. IEEE Internet of Things Journal .

Huỳnh, T., & Schiele, B. (2006). Unsupervised Discovery of Structure in Activity Data Using Multiple Eigenspaces. International Symposium on Location- and Context-Awareness. Hynes, M., Wang, H., & Kilmartin, L. (2009). Off-the-shelf mobile handset environments for deploying accelerometer based gait and activity analysis algorithms. Annual International Conference of the IEEE Engineering in Medicine and Biology Society. Minneapolis, MN, USA. Ibrahim, M. S., & Mori., G. (2018). Hierarchical relational networks for group activity recognition and retrieval. Proceedings of the European conference on computer vision (ECCV). Incel, O. D., Kose, M., & Ersoy, C. (2013). A Review and Taxonomy of Activity Recognition. BioNanoScience, 3(2), 145-171. Jalal, A., Quaid, M. A., Tahir, S. B., & Kim, K. (2020). A Study of Accelerometer and Gyroscope Measurements in Physical Life-Log Activities Detection Systems. Sensors, 20(22), 6670. Johansson, G. (1973). Visual perception of biological motion and a model for its analysis. Perception and Psychophysics, 14(2), 201-211. Khamis, S., Morariu, V. I., & Davis, L. S. (2012). Combining Per-frame and Per-track Cues for Multi-person Action Recognition. European Conference on Computer Vision. Khurana, R., & Kushwaha, A. (2018). A Deep Survey on Human Activity Recognition in Video Surveillance. 2018 International Conference on Research in Intelligent and Computing in Engineering (RICE). San Salvador. Kowsar, Y., Moshtaghi, M., Velloso, E., Kulik, L., & Leckie, C. (2016). Detecting Unseen Anomalies in Weight Training Exercises. 28th Australian Conference on Computer-Human Interaction. Tasmania. Kunze, K., & Lukowicz, P. (2008). Dealing with sensor displacement in motion-based onbody activity recognition systems. 10th international conference on Ubiquitous computing. Seoul. Kwapisz, J. R., Weiss, G. M., & Moore, S. A. (2010). Activity recognition using cell phone accelerometers. ACM SIGKDD Explorations Newsletter, 12(2), 74-82. Kwapisz, J. R., Weiss, G. M., & Moore, S. A. (2010). Cell phone-based biometric identification. 2010 Fourth IEEE International Conference on Biometrics: Theory, Applications and Systems (BTAS). New York. Laptev, I., Marszalek, M., Schmid, C., & Rozenfeld, B. (2008). Learning realistic human actions from movies. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, AK, USA . Lara, O. D., & Labrador, M. A. (2013). A Survey on Human Activity Recognition using wearable sensors. IEEE Communications Surveys & Tutorials, 15(3), 11921209. Leonardis, G. D., Rosati, S., Balestra, G., Agostini, V., Panero, E., Gastaldi, L., & Knaflitz, M. (2018). Human Activity Recognition by Wearable Sensors. 2018 IEEE International Symposium on Medical Measurements and Applications (MeMeA). Rome. Li, J., Liu, J., Wang, Y., Nishimura, S., & Kankanhalli, M. S. (2020). WeaklySupervised Multi-Person Action Recognition in 360° Videos. 2020 IEEE Winter Conference on Applications of Computer Vision (WACV). Snowmass, CO, USA . Li, X., He, Y., & Jing, X. (2019). A Survey of Deep Learning-Based Human Activity Recognition in Radar. Remote Sensing, 11(9), 1068.

Liu, Y., Nie, L., Liu, L., & Rosenblum, D. S. (2016). From action to activity : Sensorbased activity recognition. Neurocomputing, 181, 108-115. Liu, Y., Wang, X., Zhai, Z., Chen, R., Zhang, B., & Jiang, Y. (2019). Timely daily activity recognition from headmost sensor events. ISA Transactions, 94, 379390. Local Features and Kernels for Classification of Texture and Object Categories: A Comprehensive Study. (2007). International Journal of Computer Vision, 73(2), 213-238. Lord, S. R., Sherrington, C., & Menz, H. B. (2001). Falls in Older People: Risk Factors and Strategies for Prevention. cambridge: Cambridge University Press. Lupión, M., Medina-Quero, J., Sanjuan, J. F., & Ortigosa, P. M. (2021). DOLARS, a Distributed On-Line Activity Recognition System by Means of Heterogeneous Sensors in Real-Life Deployments—A Case Study in the Smart Lab of The University of Almería . Sensors, 21(2), 405. Marquardt, P., Verma, A., Carter, H., & Traynor, P. (2011). (sp)iPhone: Decoding Vibrations From Nearby Keyboards Using Mobile Phone Accelerometers. Proceedings of the 18th ACM conference on Computer and communications security. Chicago. Masum, A. K., Barua, A., Bahadur, E. H., Alam, M. R., Chowdhury, M. A., & Alam, M. S. (2018). Human Activity Recognition Using Multiple Smartphone Sensors. 2018 International Conference on Innovations in Science, Engineering and Technology (ICISET). Chittagong, Bangladesh. Mukherjee, D., Mondal, R., Singh, P. K., Sarkar, R., & Bhattacharjee, D. (2020). EnsemConvNet: a deep learning approach for human activity recognition using smartphone sensors for healthcare applications. Multimedia Tools and Applications , 79, 31663-31690. Naik, K., Pandit, T., Naik, N., & Shah, P. (2021). Activity Recognition in Residential Spaces with Internet of Things Devices and Thermal Imaging . Sensors, 21(3), 988. Nair, H., Tan, C., Zeng, M., Mengshoel, O. J., & Shen, J. P. (2019). AttriNet: learning mid-level features for human activity recognition with deep belief networks. In Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers. Nghiem, A. T., Auvinet, E., & Meunier, J. (2012). Head detection using Kinect camera and its application to fall detection. 11th International Conference on Information Science, Signal Processing and their Applications (ISSPA). Montreal. Ni, Q., Patterson, T., Cleland, I., & Nugent, C. (2016). Dynamic detection of window starting positions and its implementation within an activity recognition framework. Journal of Biomedical Informatics, 62, 171-180. Niu, W., Long, J., Han, D., & Wang, Y.-F. (2004). Human activity detection and recognition for video surveillance. 2004 IEEE International Conference on Multimedia and Expo (ICME) (IEEE Cat. No.04TH8763). Taipei. Nweke, H. F., Teh, Y. W., Al-garadi, M. A., & Alo, U. R. (2018). Deep learning algorithms for human activity recognition using mobile and wearable sensor networks: State of the art and research challenges. Expert Systems With Applications, 105, 233-261.

Ortega, D., Pernas, F., Zarzuela, M., & Rodríguez, M. (2014). A Kinect-based system for cognitive rehabilitation exercises monitoring. Computer Methods and Programs in Biomedicine, 113(2), 620-631. Özdemir, A. T., & Barshan, B. (2014). Detecting Falls with Wearable Sensors Using Machine Learning Techniques. Sensors, 14(6), 10691-10708. Parkka, J., Ermes, M., Korpipaa, P., Mantyjarvi, J., Peltola, J., & Korhonen, I. (2006). Activity classification using realistic data from wearable sensors. IEEE Transactions on Information Technology in Biomedicine , 10(1), 119-128. Partridge, K., & Golle, P. (2008). On Using Existing Time-Use Study Data for Ubiquitous Computing Applications. 10th international conference on Ubiquitous computing. Seoul. Passaro, V. M., Cuccovillo, A., Vaiani, L., & De Carlo, M. (2017). Gyroscope Technology and Applications: A Review in the Industrial Perspective. Sensors, 17(10), 1-22. Patel, H., Bhatt, D., Shakhreliya, S., Lam, N. L., Maurya, R., & Singh, V. (2021). An Introduction and Applications of Bioinformatics (Vol. 36). Advances in Bioinformatics. Pentland, A. (2000). Looking at Peaple: Sensing for Ubiquitous and Wearable Computing. lEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, 22(1), 107-119. Poppe, R. (2010). A survey on vision-based human action recognition. Image and Vision Computing, 28(6), 976-990. Pratt, H., Williams, B., Coenen, F., & Zheng, Y. (2017). FCNN: Fourier Convolutional Neural Networks. Machine Learning and Knowledge Discovery in Databases. ECML PKDD 2017. Quaid, M. A., & Jalal, A. (2020). Wearable sensors based human behavioral pattern recognition using statistical features and reweighted genetic algorithm. Multimedia Tools and Applications, 79, 6061-6083. R.Janarthanan, Doss, S., & S.Baskar. (2020). Optimized unsupervised deep learning assisted reconstructed coder in the on-nodule wearable sensor for human activity recognition. Measurement, 164, 108050. Ramamurthy, R., Sreenivasan, & Roy, N. (2018). Recent trends in machine learning for human activity recognition—A survey. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 8(4), 1254. Ranieri, C. M., MacLeod, S., Dragone, M., Vargas, P. A., & Romero, R. A. (2021). Activity Recognition for Ambient Assisted Living with Videos, Inertial Units and Ambient Sensors . Sensors, 21(3), 768. Rashidi, P., & Cook, D. J. (2010). Mining Sensor Streams for Discovering Human Activity Patterns over Time. 2010 IEEE International Conference on Data Mining. Sydney. Rashidi, P., & Cook, D. J. (2013). COM: A Method for Mining and Monitoring Human Activity Patterns in Home-Based Health Monitoring Systems. ACM Transactions on Intelligent Systems and Technology, 4(4), 1-20. Rashidi, P., & Mihailidis, A. (2013). A Survey on Ambient-Assisted Living Tools for Older Adults. IEEE Journal of Biomedical and Health Informatics, 17(3), 579 590. Reynolds, G., Barry, D., Burke, T., & Coyle, E. (2008). Interacting with large music collections: Towards the use of environmental metadata. 2008 IEEE International Conference on Multimedia and Expo. Hannover.

Riboni, D., Pareschi, L., Radaelli, L., & Bettini, C. (2011). Is ontology-based activity recognition really effective? IEEE International Conference on Pervasive Computing and Communications Workshops (PERCOM Workshops). Ronao, C. A., & Cho, S.-B. (2016). Human activity recognition with smartphone sensors using deep learning neural networks. Expert Systems With Applications, 59, 235-244. Rougier, C., Meunier, J., St-Arnaud, A., & Rousseau, J. (2011). Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuits and Systems for video technology, 12(5), 611-622. Ryoo, M. S. (2011). Human Activity Prediction: Early Recognition of Ongoing Activities from Streaming Videos. 2011 International Conference on Computer Vision. Barcelona. Sazonov, E. S., Fulk, G., Hill, J., Schutz, Y., & Browning, R. (2011). Monitoring of Posture Allocations and Activities by a Shoe-Based Wearable Sensor. IEEE Transactions on Biomedical Engineering, 58(4), 983-990. Shi, S., Sigg, S., & Ji, Y. (2112). Activity recognition from radio frequency data: Multistage recognition and features. 2012 IEEE Vehicular Technology Conference (VTC Fall). Quebec City, QC, Canada . Shickel, B., Tighe, P. J., Bihorac, A., & Rashidi, P. (2018). Deep EHR: A Survey of Recent Advances in Deep Learning Techniques for Electronic Health Record (EHR) Analysis. IEEE Journal of Biomedical and Health Informatics, 22(5), 1589 - 1604. Sokolova, M., Japkowicz, N., & Szpakowicz, S. (2006). Beyond Accuracy, F-Score and ROC: A Family of Discriminant Measures for Performance Evaluation. Australasian Joint Conference on Artificial Intelligence. Soleimani, E., & Nazerfard, E. (2021). Cross-subject transfer learning in human activity recognition systems using generative adversarial networks. Neurocomputing, 426(22), 26-34. Su, X., Tong, H., & Ji, P. (2014). Activity Recognition with Smartphone Sensors. Tsinghua Science and Technology, 19(3), 235-249. Sukor, A. S., Zakaria, A., & Rahim, N. A. (2018). Activity recognition using accelerometer sensor and machine learning classifiers. 2018 IEEE 14th International Colloquium on Signal Processing & Its Applications (CSPA). Penang, Malaysia . Tan, T.-H., Gochoo, M., Huang, S.-C., Liu, Y.-H., Liu, S.-H., & Huang, Y.-F. (2018). Multi-Resident Activity Recognition in a Smart Home Using RGB Activity Image and DCNN. IEEE Sensors Journal, 18(23), 9718 - 9727. Teng, Q., Wang, K., Zhang, L., & He, J. (2020). The Layer-Wise Training Convolutional Neural Networks Using Local Loss for Sensor-Based Human Activity Recognition. IEEE Sensors Journal , 20(13), 7265 - 7274. Torres, R. P., Huitzil, C. T., & Zapién, H. G. (2016). Power management techniques in smartphone-based mobility sensing systems: A survey. Pervasive and Mobile Computing, 31(C), 1-21. Tran, L., Yin, X., & Liu, X. (2017). Disentangled representation learning gan for poseinvariant face recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Ustev, Y. E., Incel, O. D., & Ersoy, C. (2013). User, device and orientation independent human activity recognition on mobile phones: challenges and a proposal. ACM conference on Pervasive and ubiquitous computing adjunct publication. Zurich.

Velloso, E., Bulling, A., & Gellersen, H. (2013). MotionMA: motion modelling and analysis by demonstration. SIGCHI Conference on Human Factors in Computing Systems. Paris. Viet Vo, Q., Lee, G., & Choi, D. (2012). Fall Detection Based on Movement and Smart Phone Technology. IEEE RIVF International Conference on Computing & Communication Technologies, Research, Innovation, and Vision for the Future. Ho Chi Minh City. Vrigkas, M., Nikou, C., & Kakadiaris, I. A. (2015). A Review of Human Activity Recognition Methods. frontiers in Robotics and AI, 2(28), 1-28. Wang, F., Feng, J., Zhao, Y., Zhang, X., Zhang, S., & Han‫ک‬, J. (2019). Joint Activity Recognition and Indoor Localization With WiFi Fingerprints. IEEE Access, 7, 80058 - 80068. Wang, X., Rosenblum, D., & Wang, Y. (2012). Context-aware mobile music recommendation for daily activities. Proceedings of the 20th ACM international conference on Multimedia. Nara, Japan. Wang, Y., Lin, J., Annavaram, M., Jacobson, Q. A., Hong, J., Krishnamachari, B., & Sadeh, N. (2009). A framework of energy efficient mobile sensing for automatic user state recognition. 7th international conference on Mobile systems, applications, and services. Kraków. Webster, N. (1831). Webster's Dictionary. Massachusetts: Merriam-Webster. Retrieved from https://www.merriam-webster.com/dictionary/barometer Weiss, G. M. (2019). WISDM Smartphone and Smartwatch Activity and Biometrics Dataset. IEEE Access, 7, 133190-133202. Weng, E.-J., & Fu, L.-C. (2012). On-Line Human Action Recognition by Combining Joint Tracking and Key Pose Recognition. IEEE/RSJ International Conference on Intelligent Robots and Systems. Vilamoura. Xia, K., Huang, J., & Wang, H. (2020). LSTM-CNN Architecture for Human Activity Recognition. IEEE Access, 8, 56855-56866. Xie, L., Sundaram, H., & Campbell, M. (2008). Event Mining in Multimedia Streams. Proceedings of the IEEE, 96(4), 623-647. Xu, Z., Wei, J., Zhu, J., & Yang, W. (2017). A robust floor localization method using inertial and barometer measurements. 2017 International Conference on Indoor Positioning and Indoor Navigation (IPIN). Sapporo, Japan. Yao, B., & Fei-Fei, L. (2010). Grouplet: A structured image representation for recognizing human and object interactions. IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Francisco, USA. Yurur, O., Liu, C. H., & Moreno, W. (2014). A Survey of Context-Aware Middleware Designs for Human Activity Recognition. IEEE Communications Magazine, 52(6), 24-31. Zhang, M., & Sawchuk, A. A. (2011). A feature selection-based framework for human activity recognition using wearable multimodal sensors. BodyNets '11: Proceedings of the 6th International Conference on Body Area Networks. Zhang, W., Zhao, X., & Li, Z. (2019). A Comprehensive Study of Smartphone-Based Indoor Activity Recognition via Xgboost. IEEE Access, 7, 80027 - 80042. Zhang, Y., Sun, S., Lei, L., Liu, H., & Xie, H. (2021). STAC: Spatial-Temporal Attention on Compensation Information for Activity Recognition in FPV. Sensors, 21(4), 1106. Zhang, Y., Tian, G., Zhang, S., & Li, C. (2020). A Knowledge-Based Approach for Multiagent Collaboration in Smart Home: From Activity Recognition to

Guidance Service. IEEE Transactions on Instrumentation and Measurement, 69(2), 317-329. Zhang, Y., Zhang, Z., Zhang, Y., Bao, J., Zhang, Y., & Deng, H. (2019). Human Activity Recognition Based on Motion Sensor Using U-Net. IEEE Access, 7, 75213 - 75226. Zhong, C.-L. (2020). Internet of things sensors assisted physical activity recognition and health monitoring of college students. Measurement, 159, 107774. Zhou, B., Yang, J., & Li, Q. (2019). Smartphone-Based Activity Recognition for Indoor Localization Using a Convolutional Neural Network. Sensors, 19(3), 621. Zintus-art, K., Saetia, S., Pongparnich, V., & Thiemjarus, S. (2011). Dogsperate Escape: A Demonstration of Real-Time BSN-Based Game Control with e-AR Sensor. Knowledge, Information, and Creativity Support Systems, (pp. 253-262). Berlin.

‫کارنامک‬ -

‫کارنامک به زبان فارسی‬

‫ درگرايش‬.................... ‫ از دانشگاه‬........................... ‫رشته‬....................... ‫ دانش مموخته مططع‬............................ ‫ در رشته‬................... ‫ خود را از دانشگاه‬............. ‫ مدرک مططع‬....... ‫ او در سا‬.‫ است‬................. ‫ در سا‬........... ‫ در رشته‬.................. ‫ از دانشگاه‬......... ‫ خود را در سا‬............. ‫ و مدرک مططع‬.............. ‫ گرايش‬..... ............ ‫ زمينههاي پژوهشي وي عبارتند از‬.‫ دريافت كرد‬................................ .................................................... ..............................................................................................................................................: ..... ‫کارنامک به زبان انگلیسی‬ ……………[NAME]…………………. has obtained her …[DEGREE]….. degree in the field of …………[DISCIPLINE]…………..… and the sub-discipline of …….…[SUB-DISCIPLINE, IF APPLICABLE]…….…….. from Alzahra University in the year ..[YEAR].. Former to that, she obtained her ……[DEGREE]…… degree in the field of …………[DISCIPLINE]………….... and the sub-discipline of …………[SUB-DISCIPLINE, IF APPLICABLE]……..… from ………[UNIVERSITY]……….. in the year …[YEAR]…., and her …[DEGREE]…. degree in the field of …………[DISCIPLINE]……….….. and the sub-discipline of ………[SUB-DISCIPLINE, IF APPLICABLE].…… from ………[UNIVERSITY]………… in the year .…[YEAR]…… Her research interests include: …………………………………………………………………………………………

-

Abstract Activity Mining using sensor data is one of the most important subfields of advanced data mining. It should be noted that the existing methods in this field is used in various domains such as e-health, monitoring and security, entertainment and sports, of which the field of e-health due to the significant presence of human health as a basic parameter is of great importance. Among the cases in which exploring activities have come to the aid of the health sector can be noted as helping the elderly and the disabled in order to benefit from various aspects of life, improving the patient's condition, preventing falls and accidents, and in general improving the quality of lifestyle. In this regard, there are also challenges to mining activities, the most important of which is the misdiagnosis of similar activities such as going up and down stairs or drinking water or eating food, which with progresses in methods and also to inventing new methods such problems can be eliminated. Existing methods for diagnosing daily human activities can be divided into three main approaches namely "semantic", "featural " and "hybrid". Most activity recognition systems fall into the third approach, called "hybrid". In this approach, the view is to use a combination of "featural " and "semantic" methods. In these methods, in order to recognize the daily activities of individuals, the recorded signals of the sensors are processed by integrated multidimensional systems. To conduct experiments and research to achieve this goal, researchers also use tools, methods, and datasets, each of which has been described in detail in leading research. In this study, an activity recognition system called AMSAD based on deep learning was proposed, which succeeded in recognizing similar activities with high accuracy. Since deep learning methods have acceptable performance in meeting challenges such as interclass similarity and interclass diversity, they form the basis of the idea of the proposed AMSAD system. In this system, the activities as input elements are made of time series sensor signals. The proposed system was tested on two benchmark datasets of WISDM-6Act and WISDM-18Act and achieved an average accuracy of 84% and 88%, respectively. In order to achieve the objectives of the research, which is to increase the accuracy and precision of distinguishing similar activities, a deep learning-based activity recognition system has been designed to detect the daily activities of individuals. The implementation of the proposed system on the two datasets led to acceptable results which indicate that the proposed AMSAD system has been able to properly meet the objectives of the research. Keywords: Activity Mining, Daily Activity Recognition, Deep Learning, Electronic Health, Wearable Sensors

Alzahra University Faculty of Engineering Department of Computer Engineering

A Thesis/ Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of M.Sc. in Artificial Intelligence and Robotics

Title Human Activity Mining based on Deep Learning with Emphasis on Recognizing Similar Activities By

Fatemeh Esmaeily Supervisor(s)

Dr. MohammadReza Keyvanpour

Advisor(s)

Dr. Seyyed Vahhab Shojaeddini

September Month 2021 year

Alzahra University Faculty of Engineering Department of Computer Engineering

A Thesis/ Dissertation Submitted in Partial Fulfillment of the Requirements for the Degree of M.Sc. in Artificial Intelligence and Robotics

Title Human Activity Mining based on Deep Learning with Emphasis on Recognizing Similar Activities By

Fatemeh Esmaeily

Supervisor(s)

MohammadReza Keyvanpour

September Month 2021 year