Refine
Year of publication
- 2022 (2)
Document Type
- Bachelor Thesis (1)
- Master's Thesis (1)
Has Fulltext
- yes (2)
Is part of the Bibliography
- no (2)
Institute
Das Ziel der Arbeit ist die Weiterentwicklung der bestehenden Webapplikation WirHelfen. Basierend auf dem aktuellen Konzept wird eine mobile Applikation in Form einer Nachbarschaftshilfe erstellt. Das Ziel der Bachelorarbeit ist es ein Konzept so wie
ein Grobentwurf einer mobilen Applikation zu schaffen.
Die bestehende Webapplikation WirHelfen wurde erstmals 2021 veröffentlicht. Als ehrenamtlicher Mitarbeiter und Mitglied der gemeinnützigen Organisation WirHelfen, war ich verantwortlich für die erste Konzeptionierung der aktuellen Webapplikation.
Sowohl bei der Konzeption als auch bei der Entwicklung und Umsetzung war ich beteiligt.
Für die Bachelorarbeit wurde eine eigene Architektur entwickelt, um den neuen Anforderungen gerecht zu werden.
Die mobile Applikation wurde anhand der klassischen sechs Schritten der Softwarearchitektur umgesetzt.
Mit der gemeinnützigen Organisationen WirHelfen wurden zu Anfang die
Anforderungen an die mobile Applikation festgelegt.
Während der Konzept- und Designphase wurden zwei Tests Sessions an den Prototypen durchgeführt. Der erste Test ist eine heuristische Evaluation und wurde zusammen mit Expert*innen durchgeführt. Der zweite Test war ein Usability-Test und wurde mit
Nutzer*innen durchgeführt. Anhand des Expertentestes wurde der Prototyp verbessert und die Mobile Applikation umgesetzt. Weitere Verbesserungen an der mobilen Applikation wurden nach dem Usability-Test durchgeführt.
Die bestehende mobile Applikation wird in Zukunft auf dem Android Marktplatz sowie dem Apple Store zur Verfügung stehen.
Developing an intelligent chatbot that can imitate human-to-human interaction has become important in recent years. For this reason, many studies have been conducted to evaluate the quality of chatbots. Furthermore, various approaches and tools, such as sentiment analysis, have been created to improve the performance of chatbots.
This study examines previous research to identify the quality dimensions used to measure chatbots performance in order to develop a general chatbot assessment model that evaluates and compares chatbots quality. The developed evaluation model measures ten chatbot quality dimensions. This model is based on user experience. It requires human testers to interact with the chatbot to test its functioning and then a quantitative approach is used to collect data from user testing by conducting a survey with these testers. In this survey, they are instructed to evaluate the quality of the chatbot using a questionnaire that contains the items needed to evaluate each dimension.
This study also investigates whether sentiment analysis can improve the quality of chatbots and, if so, to identify the dimensions improved with sentiment analysis. For this reason, two chatbot versions are implemented using the Rasa framework (one that cannot detect sentiment and the other that analyzes sentiment and responds accordingly).
Following that, we used our evaluation model to evaluate and compare the two chatbot versions with two groups of participants by conducting a survey. In this survey, each group tested the functioning of one version. Then, both groups were instructed to use the items of the evaluation model to evaluate the version they tested. The goal of this survey was to evaluate the validity and reliability of the items used in the evaluation model to evaluate chatbots, and also to determine if sentiment analysis improved the chatbot quality by comparing survey results between the two groups. The results show that items used in the assessment model to evaluate chatbots are valid and reliable. The findings also indicate that sentiment analysis improves the chatbot’s quality. However, it improves the quality of some dimensions but not the majority of them.