Anomaly-Based Network Intrusion Detection System Using Deep Neural Networks (ANIDS-DNN)
Date
2023-01-08
Authors
Sharif Mohammed Ahmad Yasin
شريف محمد احمد ياسين
Journal Title
Journal ISSN
Volume Title
Publisher
Al-Quds University
Abstract
تقوم أنظمة الكشف عن اختراق الشبكات (NIDS) بمراقبة وتحليل حركة مرور الشبكة الواردة والصادرة وإصدار الإنذارات عند اكتشاف عمليات اقتحام أو أنشطة ضارة حيث تعتبر هذه الأنظمة خط الدفاع الثاني بعد جدار الحماية.
في السنوات الأخيرة، حفز العدد المتزايد من الهجمات السيبرانية الحاجة إلى تطوير أنظمة آلية وذكية للكشف عن اختراق الشبكة والتي تتعلم السلوك الطبيعي لحركة مرور الشبكة (ANIDS)، وبالتالي فإن حركة المرور التي تنحرف عن المعتاد تعتبر شاذة أو ضارة. على الرغم من أن أنظمة كشف التسلل المستندة إلى حركة المرور غير المعتادة أفضل من أنظمة كشف التسلل القائمة على التوقيع في اكتشاف هجمات اليوم الصفري أو غير المعروفة، إلا أنها تولد معدل إنذار خاطئ مرتفعًا إذا تم تغيير السلوك الطبيعي للشبكة.
لحل المشكلات المذكورة أعلاه، تقترح هذه الأطروحة نموذج ANIDS لاكتشاف الهجمات غير المعروفة او هجمات اليوم الصفري في تدفقات الشبكة باستخدام تغذية الشبكات العصبية العميقة الى الامام كخوارزمية تصنيف. يأخذ النموذج ميزات NetFlow المجمعة كمدخلات وبعد إعداد البيانات، تصنف خوارزمية التعلم العميق كل اتصال بالشبكة على أنه عادي أو شاذ. من أجل تحسين دقة الكشف عن أنماط الهجوم التي لها ترددات تعتمد على الوقت مثل هجوم nerisbotnet، تم تصميم ثلاث ميزات إدخال جديدة وهي sa_nsessions_T و da_nsessions_T و sa_da_nsessions_T عن طريق تجميع التدفقات بناءً على عنوان المصدر وعنوان الوجهة وسمات الطابع الزمني باستخدام نافذة زمنية مدتها دقيقة واحدة. وبعد المعالجة المسبقة لميزات المدخلات، يتم تحديد أهم 45 ميزة إدخال. علاوة على ذلك، يتم تعلم معلمات النموذج باستخدام عدد كبير من التدفقات ذات التصنيف متعدد الفئات من مجموعة بيانات UGR’16 العامة [32]. تم تحسين المعلمات الفائقة للنموذج للحصول على أفضل أداء من حيث الدقة ومعدل الاكتشاف والوقت اللازم لتدريب النموذج المقترح.
أكدت النتائج التجريبية الأداء العالي للنموذج المقترح عند اختباره على تدفقات الشبكة غير المرئية من مجموعة بيانات UGR’16. تتكون بنية الشبكة المثلى من طبقة إدخال واحدة وثلاث طبقات مخفية وطبقة إخراج واحدة. حقق النموذج دقة 99.773٪، ومعدل موجب خاطئ أقل من 1٪، ومساحة تحت منحنى خاصية تشغيل المستقبل (ROC-AUC) تبلغ 0.999915. أيضًا، تبلغ دقة الكشف للمصنف متعدد الفئات 99.58٪ ومعدل الكشف لجميع الفئات الفردية أعلى من 99٪ باستثناء هجوم NerisBotNet حيث يبلغ معدل الكشف 94.70٪. عند مقارنة النموذج المقترح بالنماذج الحديثة الأخرى في الأدبيات [33]، [52]، والتي تم تقييمها على نفس مجموعة بيانات UGR’16، تظهر النتائج التجريبية أن النموذج المقترح يتفوق على النماذج الأخرى من حيث معدل الاكتشاف والدقة.
Network intrusion detection systems (NIDS) monitor and analyze inbound and outbound network traffic and raise alarms when intrusions or malicious activities are detected. They are considered the second line of defense after the firewall. In recent years, the increasing number of cyber-attacks motivated the need to develop automated and intelligent network intrusion detection systems that learn the normal behavior of network traffic, and thus the traffic that deviates from normal is considered anomalous or malicious. Although anomaly-based NIDS are better than signature-based NIDS in detecting zero-day or unknown attacks, they generate a high false alarm rate if the normal behavior of the network is changed. To solve the aforementioned problems, this thesis proposes ANIDS model for detection of unknown or zero-day attacks in network flows using feed forward deep neural networks as a classification algorithm. The model takes the collected NetFlow features as input and after the data is prepared the deep learning algorithm classifies every network flow as either normal or anomaly. In order to improve detection accuracy of attack patterns that have time-dependent frequencies such as nerisbotnet attack, three new input features namely, sa_nsessions_T, da_nsessions_T, and sa_da_nsessions_T are devised by aggregating the flows based on source address, destination address, and timestamp attributes using a time window of one minute. Also, after preprocessing input features the most important 45 input features are selected. Moreover, the model’s parameters are learned using large number of multiclass labeled flows from the public UGR’16 dataset [32]. The hyperparameters of the model are optimized for best performance in terms of accuracy, recall, precision, and training time of the model. The experimental results confirmed the high performance of the proposed model when tested on unseen network flows from the UGR’16 dataset. In addition, the optimal network architecture consists of one input layer, three hidden layers, and one output layer. The model achieved an accuracy of 99.773 %, a false positive rate of less than 1%, and an area under the receiver operating characteristic curve (ROC-AUC) of 0.999915. Also, the detection accuracy of the multiclass classifier is 99.58% and the detection rate for all individual classes is above 99% except for the NerisBotNet attack where the detection rate is 94.70%. When the proposed model is compared with other recent models in literature [33], [52], that were evaluated on the same UGR’16 dataset, the experimental results show that the proposed model outperforms other models in terms of precision and recall. Index Terms: Deep learning, cyberattacks, NetFlow classification, network intrusion detection, UGR’16 dataset.
Network intrusion detection systems (NIDS) monitor and analyze inbound and outbound network traffic and raise alarms when intrusions or malicious activities are detected. They are considered the second line of defense after the firewall. In recent years, the increasing number of cyber-attacks motivated the need to develop automated and intelligent network intrusion detection systems that learn the normal behavior of network traffic, and thus the traffic that deviates from normal is considered anomalous or malicious. Although anomaly-based NIDS are better than signature-based NIDS in detecting zero-day or unknown attacks, they generate a high false alarm rate if the normal behavior of the network is changed. To solve the aforementioned problems, this thesis proposes ANIDS model for detection of unknown or zero-day attacks in network flows using feed forward deep neural networks as a classification algorithm. The model takes the collected NetFlow features as input and after the data is prepared the deep learning algorithm classifies every network flow as either normal or anomaly. In order to improve detection accuracy of attack patterns that have time-dependent frequencies such as nerisbotnet attack, three new input features namely, sa_nsessions_T, da_nsessions_T, and sa_da_nsessions_T are devised by aggregating the flows based on source address, destination address, and timestamp attributes using a time window of one minute. Also, after preprocessing input features the most important 45 input features are selected. Moreover, the model’s parameters are learned using large number of multiclass labeled flows from the public UGR’16 dataset [32]. The hyperparameters of the model are optimized for best performance in terms of accuracy, recall, precision, and training time of the model. The experimental results confirmed the high performance of the proposed model when tested on unseen network flows from the UGR’16 dataset. In addition, the optimal network architecture consists of one input layer, three hidden layers, and one output layer. The model achieved an accuracy of 99.773 %, a false positive rate of less than 1%, and an area under the receiver operating characteristic curve (ROC-AUC) of 0.999915. Also, the detection accuracy of the multiclass classifier is 99.58% and the detection rate for all individual classes is above 99% except for the NerisBotNet attack where the detection rate is 94.70%. When the proposed model is compared with other recent models in literature [33], [52], that were evaluated on the same UGR’16 dataset, the experimental results show that the proposed model outperforms other models in terms of precision and recall. Index Terms: Deep learning, cyberattacks, NetFlow classification, network intrusion detection, UGR’16 dataset.