A Framework for Integrating Technical Performance Metrics and SUS Testing to Enhance User Experience in Augmented Reality
Date
2025-01-12
Authors
hadeel adnan atallah farash
هديل عدنان عطالله فراش
Journal Title
Journal ISSN
Volume Title
Publisher
Al-Quds University
Abstract
Evaluating the performance of augmented reality (AR) applications is essential for optimizing user experience, improving interaction quality, and advancing AR technology. Traditional AR performance studies typically focus on factors such as response speed, tracking accuracy, resource usage, and their impact on user experience. These studies aim to reduce energy consumption, enhance application efficiency, and enable the integration of emerging technologies like artificial intelligence (AI). Additionally, understanding the influence of AR applications on user interaction is crucial for developing applications that produce positive results. Identifying effective methods for content delivery through comprehensive performance comparisons is key to ensuring an optimal user experience. Despite significant research in the field, many studies lack an integrative approach that considers the full range of technical performance factors.
This research introduces a framework designed to provide developers with a robust, automated performance evaluation tool that enables them to enhance the AR user experience. The developed tool automatically collects and analyzes user interaction data—such as gameplay data—and integrates this with user feedback obtained from post-session surveys. This dual-method approach helps identify performance weaknesses and their underlying causes, providing developers with targeted insights for improving the application's quality. The tool was tested across three AR applications in distinct categories—educational, tourism and cultural heritage, and gaming—demonstrating its effectiveness in delivering valuable, context-specific performance metrics.
The most significant findings from the analysis underscore the importance of AR tracking accuracy in achieving high user satisfaction. Applications with high tracking accuracy, such as the Dar Al Consul App, demonstrated superior user engagement and satisfaction levels compared to applications with stable technical performance but less accurate tracking, such as the Farah App and EasyAPP. Additionally, the study found that while technical metrics like CPU, GPU, latency, and memory usage were consistent across user groups, user satisfaction was more strongly correlated with usability factors and interface intuitiveness, particularly for younger users who benefit from age-appropriate designs.
In addition to its real-time analysis capabilities, the tool features a data storage function that supports long-term performance tracking, laying the foundation for AI-driven models in the
future that can learn from the strengths and limitations of AR applications. By combining user feedback with AI, the framework offers a holistic approach to performance evaluation, assisting developers throughout both development and pre-release stages. This research bridges gaps in current AR evaluation methods, providing a comprehensive approach that encompasses the critical technical, psychological, and social aspects of AR application performance.
تُعدّ تقييمات أداء تطبيقات الواقع المعزز (AR) ضرورية لتحسين تجربة المستخدم وتعزيز جودة التفاعل ودفع الابتكار التكنولوجي في هذا المجال. غالبًا ما تركز الدراسات التقليدية لأداء الواقع المعزز على جوانب مثل سرعة الاستجابة ودقة التتبع واستخدام الموارد وتأثيراتها على تجربة المستخدم، بهدف تقليل استهلاك الطاقة وزيادة كفاءة التطبيق وتسهيل تطوير تقنيات جديدة مثل الذكاء الاصطناعي (AI). إضافةً إلى ذلك، فإن فهم كيفية تأثير تطبيقات الواقع المعزز على الأداء الإدراكي والتفاعل الاجتماعي مهم لتصميم تطبيقات لها آثار إيجابية في هذه الجوانب. يُعتبر تحديد طرق فعالة لتقديم المحتوى من خلال مقارنات شاملة للأداء أمرًا بالغ الأهمية لضمان تجربة مستخدم مثالية. ومع ذلك، على الرغم من الأبحاث الكبيرة حول أداء الواقع المعزز، فإن العديد من الدراسات الحالية تفتقر إلى نهج تكاملي يأخذ في الاعتبار جميع عوامل الأداء، بما في ذلك التأثيرات النفسية والاجتماعية. تقدم هذه الدراسة إطارًا لتحسين تجربة المستخدم في الواقع المعزز من خلال أداة تقييم أداء شاملة ومؤتمتة. تقوم الأداة المطوّرة بجمع وتحليل بيانات تفاعل المستخدمين - مثل بيانات اللعب - وتدمجها مع ردود فعل المستخدمين التي يتم جمعها عبر استبيانات ما بعد الجلسة. يتيح هذا النهج الثنائي تحديد نقاط الضعف في الأداء وأسبابها الأساسية، مما يوفر للمطورين رؤى محددة لتحسين جودة التطبيق. تم اختبار الأداة عبر ثلاثة تطبيقات واقع معزز في فئات مختلفة - تعليمية وسياحية وتراثية وترفيهية - وأظهرت فعاليتها في تقديم مؤشرات أداء قيمة ومخصصة للسياق. تؤكد النتائج الأهم من التحليل على أهمية دقة التتبع في الواقع المعزز والتصميم المتمحور حول المستخدم في تحقيق مستويات عالية من الرضا لدى المستخدم. أظهرت التطبيقات التي تتمتع بدقة تتبع عالية، مثل تطبيق "دار القنصل"، مستويات تفوق في التفاعل والرضا لدى المستخدم مقارنةً بالتطبيقات التي تتميز بأداء تقني مستقر ولكن بدقة تتبع أقل، مثل تطبيق "فرح" و"إيزي آب". كما وجدت الدراسة أن عوامل مثل وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسوميات (GPU) والكمون واستخدام الذاكرة كانت ثابتة بين مجموعات المستخدمين، إلا أن رضا المستخدم كان مرتبطًا بشكل أكبر بعوامل الاستخدام وسهولة الواجهة، خاصةً لدى المستخدمين الأصغر سنًا الذين يستفيدون من التصاميم المناسبة لأعمارهم. بالإضافة إلى قدرات التحليل في الوقت الفعلي، تتميز الأداة بوظيفة تخزين البيانات التي تدعم تتبع الأداء على المدى الطويل، مما يمهد الطريق لنماذج مستقبلية تعتمد على الذكاء الاصطناعي يمكنها التعلم من نقاط القوة والقيود في تطبيقات الواقع المعزز. من خلال دمج ردود فعل المستخدمين مع الذكاء الاصطناعي، يوفر الإطار نهجًا شاملاً لتقييم الأداء، مما يساعد المطورين خلال مراحل التطوير وما قبل الإطلاق. تسدّ هذه الدراسة الفجوات في أساليب تقييم الواقع المعزز الحالية، حيث تقدم نهجًا متكاملاً يعتمد على الذكاء الاصطناعي ويشمل الجوانب التقنية والنفسية والاجتماعية المهمة لأداء تطبيقات الواقع المعزز.
تُعدّ تقييمات أداء تطبيقات الواقع المعزز (AR) ضرورية لتحسين تجربة المستخدم وتعزيز جودة التفاعل ودفع الابتكار التكنولوجي في هذا المجال. غالبًا ما تركز الدراسات التقليدية لأداء الواقع المعزز على جوانب مثل سرعة الاستجابة ودقة التتبع واستخدام الموارد وتأثيراتها على تجربة المستخدم، بهدف تقليل استهلاك الطاقة وزيادة كفاءة التطبيق وتسهيل تطوير تقنيات جديدة مثل الذكاء الاصطناعي (AI). إضافةً إلى ذلك، فإن فهم كيفية تأثير تطبيقات الواقع المعزز على الأداء الإدراكي والتفاعل الاجتماعي مهم لتصميم تطبيقات لها آثار إيجابية في هذه الجوانب. يُعتبر تحديد طرق فعالة لتقديم المحتوى من خلال مقارنات شاملة للأداء أمرًا بالغ الأهمية لضمان تجربة مستخدم مثالية. ومع ذلك، على الرغم من الأبحاث الكبيرة حول أداء الواقع المعزز، فإن العديد من الدراسات الحالية تفتقر إلى نهج تكاملي يأخذ في الاعتبار جميع عوامل الأداء، بما في ذلك التأثيرات النفسية والاجتماعية. تقدم هذه الدراسة إطارًا لتحسين تجربة المستخدم في الواقع المعزز من خلال أداة تقييم أداء شاملة ومؤتمتة. تقوم الأداة المطوّرة بجمع وتحليل بيانات تفاعل المستخدمين - مثل بيانات اللعب - وتدمجها مع ردود فعل المستخدمين التي يتم جمعها عبر استبيانات ما بعد الجلسة. يتيح هذا النهج الثنائي تحديد نقاط الضعف في الأداء وأسبابها الأساسية، مما يوفر للمطورين رؤى محددة لتحسين جودة التطبيق. تم اختبار الأداة عبر ثلاثة تطبيقات واقع معزز في فئات مختلفة - تعليمية وسياحية وتراثية وترفيهية - وأظهرت فعاليتها في تقديم مؤشرات أداء قيمة ومخصصة للسياق. تؤكد النتائج الأهم من التحليل على أهمية دقة التتبع في الواقع المعزز والتصميم المتمحور حول المستخدم في تحقيق مستويات عالية من الرضا لدى المستخدم. أظهرت التطبيقات التي تتمتع بدقة تتبع عالية، مثل تطبيق "دار القنصل"، مستويات تفوق في التفاعل والرضا لدى المستخدم مقارنةً بالتطبيقات التي تتميز بأداء تقني مستقر ولكن بدقة تتبع أقل، مثل تطبيق "فرح" و"إيزي آب". كما وجدت الدراسة أن عوامل مثل وحدة المعالجة المركزية (CPU) ووحدة معالجة الرسوميات (GPU) والكمون واستخدام الذاكرة كانت ثابتة بين مجموعات المستخدمين، إلا أن رضا المستخدم كان مرتبطًا بشكل أكبر بعوامل الاستخدام وسهولة الواجهة، خاصةً لدى المستخدمين الأصغر سنًا الذين يستفيدون من التصاميم المناسبة لأعمارهم. بالإضافة إلى قدرات التحليل في الوقت الفعلي، تتميز الأداة بوظيفة تخزين البيانات التي تدعم تتبع الأداء على المدى الطويل، مما يمهد الطريق لنماذج مستقبلية تعتمد على الذكاء الاصطناعي يمكنها التعلم من نقاط القوة والقيود في تطبيقات الواقع المعزز. من خلال دمج ردود فعل المستخدمين مع الذكاء الاصطناعي، يوفر الإطار نهجًا شاملاً لتقييم الأداء، مما يساعد المطورين خلال مراحل التطوير وما قبل الإطلاق. تسدّ هذه الدراسة الفجوات في أساليب تقييم الواقع المعزز الحالية، حيث تقدم نهجًا متكاملاً يعتمد على الذكاء الاصطناعي ويشمل الجوانب التقنية والنفسية والاجتماعية المهمة لأداء تطبيقات الواقع المعزز.
Description
Keywords
Citation
farash، hadeel adnan. (2025). A Framework for Integrating Technical Performance Metrics and SUS Testing to Enhance User Experience in Augmented Reality [رسالة ماجستير منشورة، جامعة القدس، فلسطين]. المستودع الرقمي لجامعة القدس.