OptimalSort und WebSort im Vergleich – was ist das beste Online Card Sorting Tool?

OptimalSort vs WebSortCard Sortings sind eine fantastische Methode, um die Informationsarchitektur einer Webseite zu optimieren. Steffen Heim schrieb hier im Blog bereits über die unterschiedlichen Card Sorting-Ansätze und die Vor- und Nachteile von Online Card Sortings. Bei Online Card Sortings spielt die Wahl des Tools eine entscheidende Rolle, denn es gibt die Möglichkeiten für die Erhebung und die Auswertung vor. Auch die Usability sollte beachtet werden, sowohl für die Teilnehmer als auch für die Studienleiter.

Die Auswahl an Tools ist in den letzten Jahren immer weiter gewachsen und die Features haben sich ebenfalls stark weiterentwickelt. Tom Tullis gibt auf seiner Webseite einen Überblick über die bekanntesten Card Sorting Tools. Nimmt man diese jedoch genauer unter die Lupe, wird die Liste schnell kürzer: Für große und komplexe Studien reichen die Features häufig nicht aus; zudem wird meist nicht Deutsch als Sprache unterstützt. Am Ende bleiben eigentlich nur die beiden Platzhirsche in der engeren Auswahl: OptimalSort und WebSort. Zu diesen gibt es auch hier im Blog schon eine kurze Einführung. Um für unsere eigenen Projekte eine Entscheidungsgrundlage zu schaffen, habe ich kürzlich beide Tools auf Herz und Nieren geprüft. Dabei kristallisierte sich ein recht klarer Gewinner heraus.

Anpassungsmöglichkeiten von Texten und Design

Ein absolutes Basisfeature ist die Unterstützung von Deutsch als Sprache. Denn ein englisches Interface wäre zwar für den Studienleiter noch verständlich, für die Teilnehmer jedoch nicht immer. Diese Möglichkeit bieten beide Tools.

Wichtig ist auch die Anpassung von weiteren Texten, die den Teilnehmern angezeigt werden, etwa zur Einführung und Erklärung. WebSort bietet ein Textfeld für die Anleitung, die direkt im Tool eingeblendet wird, und eines für die Danke-Seite. OptimalSort geht noch etwas weiter und ermöglicht zudem eine Willkommens-Seite und noch mehr Schritte für die Anleitung.

Design-Anpassungen sind vor allem relevant, wenn die Card Sorting direkt über die Live-Webseite eingebunden wird. Es schafft Vertrauen bei den Teilnehmern, wenn das Tool der Webseite ähnelt. Die Möglichkeit, ein eigenes Logo einzubinden, bieten dabei beide Tools. Mit OptimalSort kann man jedoch zusätzlich noch die Hintergrundfarbe anpassen.

Das Rennen in diesem Bereich ist zwar knapp, da kein Tool sich wirkliche Patzer erlaubt, aber OptimalSort setzt sich doch klar an die Spitze. Es bietet alle Features von WebSort und noch mehr.

Integration mit Fragebogen-Tools

Für den professionellen Einsatz von Card Sorting Tools ist sehr entscheidend, wie sich das eigentliche Card Sorting mit einer Befragung der Teilnehmer kombinieren lässt. Denn ein Card Sorting alleine setzen wir fast nie ein, sondern zusammen mit einer Onsite-Befragung oder Panelbefragung. Zumindest einige demografische Daten sollten immer erhoben werden. Weitere Fragen zu Nutzungsgewohnheiten und Intentionen können zudem bei der Interpretation des Card Sortings helfen.

Beide Tools können an quasi beliebige Online-Fragebögen angebunden zu werden. Dies erfolgt durch die optionale Übergabe einer ID vom Fragebogen an das Card Sorting und zurück. Auch weitere Parameter können übergeben werden, etwa um die Teilnehmer in Nutzergruppen einzuteilen.

OptimalSort erlaubt es jedoch zudem, direkt über das Tool Fragen an die Teilnehmer zu stellen. Sowohl vor als auch nach dem Card Sorting kann ein Fragebogen eingebaut werden, für den die üblichen Standard-Fragetypen zur Verfügung stehen (siehe Abb. 1). Wenn kein komplexer Fragebogen nötig ist braucht so kein anderes Tool zum Einsatz kommen, was den Aufwand stark verringert. Somit setzt sich OptimalSort auch in diesem Bereich durch.

Abb. 1: Bei OptimalSort lassen sich vor und nach dem Card Sorting Fragebögen einbauen

Einstellungen für Karten und Kategorien

Bezüglich der zu sortierenden Begriffe bieten beide Tools alle Möglichkeiten:

  • Zusätzlich zum Begriff selber lässt sich noch eine kurze Erklärung hinterlegen ,die bei Mouseover angezeigt wird.
  • Die Begriffe können zufällig angeordnet werden, um Reihenfolgeeffekte auszugleichen.
  • Es ist wählbar, ob alle Begriffe sortiert werden müssen oder nicht.

Ebenfalls unterstützen beide Tools sowohl offene als auch geschlossene Card Sortings. Für geschlossene Card Sortings, bei denen die Kategorien den Teilnehmern vorgegeben werden, bietet OptimalSort jedoch einige Features mehr als WebSort:

  • Auch für Kategorien lassen sich Erläuterungen bei Mouseover anzeigen.
  • Die Reihenfolge der Kategorien lässt sich ebenfalls zufällig generieren.

Die Unterschiede sind nicht gravierend, doch insgesamt hat OptimalSort also auch bei den Einstellungsmöglichkeiten für Begriffe und Kategorien die Nase vorn.

Auswertungsmöglichkeiten

War es früher noch nötig, die Daten aus den Tools zu exportieren und manuell mit Excel und anderen Werkzeugen zu analysieren, so hat sich bei den Auswertungsmöglichkeiten inzwischen sehr viel getan. OptimalSort und WebSort bieten beide umfangreiche Darstellungen der Ergebnisse, die ein Exportieren meist unnötig machen. Dazu gehören Dendogramme, eine Ähnlichkeitsmatrix der Begriffe und eine Häufigkeitsmatrix der Zuordnungen von Begriffen zu Kategorien.

OptimalSort bietet zudem noch eine PCA-Analyse, die alle vorgeschlagenen Kategorisierungen vergleicht und die 3 passendsten zurückliefert (siehe Abb. 2). Die Anzahl der Kategorien kann dabei vorgegeben werden. Eine schöne, sehr einfache Auswertungsmöglichkeit, die aber natürlich mit Vorsicht genossen werden sollte – denn sie betrachtet nur Kategorisierungen, die auch von mindestens einem Teilnehmer gewählt wurden.

PCA-Analyse bei OptimalSort

Abb. 2: OptimalSort bietet eine PCA-Analyse, die alle Kategorisierungen vergleicht

Die Auswertungen lassen sich bei beiden Tools auch auf ausgewählte Teilnehmer beschränken. Dies kann etwa sinnvoll sein, wenn unterschiedlichen Nutzergruppen identifiziert wurden und diese vergleichen werden sollen. Für diese Filterung lassen sich bei OptimalSort sogar die Ergebnisse der eingebauten Fragebögen verwenden.

Ein absolut kritisches Feature für die Auswertung ist die Standardisierung von Kategorienamen. Nicht nur gibt es Tippfehler, die eigentlich identische Namen unterscheiden, sondern auch andere Abweichungen, die für die optimale Gruppierung nicht entscheidend sind. Hier sehe ich ein klares Manko von WebSOrt, denn die Standardisierungen lassen sich nur temporär festlegen. Sobald die Auswahl der Teilnehmer geändert wird oder man die Seite verlässt, verfällt die Standardisierung der Kategorien. Bei der Komplexität einer umfangreicheren Studie ist dies leider völlig unzureichend. OptimalSort dagegen zeigt, wie es gehen sollte: Die Kategorien lassen sich nach belieben zusammenfassen, die Standardisierung bleibt erhalten und lässt sich auch wieder rückgängigmachen.

Einen Vorteil bietet WebSort dagegen bei den Export-Möglichkeiten. So lassen sich nicht nur die Rohdaten ins Excel-Format exportieren, wie bei OptimalSort, sondern auch die spezifischeren Auswertungen wie etwa die Ähnlichkeitsmatrix. Für alle, die nicht sowieso die komplette Auswertung in Excel durchführen möchten, sehe ich OptimalSort jedoch für die Auswertung klar vorne.

Usability

Die Usability der Tools ist relevant in 3 Bereichen: Für die Teilnehmer im Frontend und für die Studienleiter im Backend, sowohl beim Anlegen der Studie als auch beim Auswerten. Die Frontend-Gestaltung unterscheidet sich nur minimal und ist bei beiden Tools gut durchdacht. Die Begriffe lassen sich per Drag&Drop sortieren und die Kategorien sind einfach zu benennen.

Im Backend zeigen sich jedoch größere Unterschiede. Das Anlegen eines Card Sortings geht leicht von der Hand, auch wenn bei OptimalSort die Optionen aufgrund der größeren Zahl an Features über mehr Reiter verteilt sind. Bei WebSort finden jedoch alle Auswertungen in einem Reiter statt, dessen Bedienung unnötig komplex ist (siehe Abb. 3). OptimalSort trennt Anlegen und Auswerten einer Studie völlig, so dass jede Auswertungsmöglichkeit einen eigenen Bereich bekommen kann. Hier fällt die Analyse merklich einfacher. Es wird schon fast langweilig: OptimalSort setzt sich bei der Usability durch.

Abb. 3: Das WebSort-Backend zur Auswertung ist unübersichtlich in einen Reiter gezwängt

Kosten

Natürlich aber nützt das beste Tool nichts, wenn es wesentlich teurer als die Konkurrenz ist. Interessanterweise verfolgen OptimalSort und WebSort sehr unterschiedliche Ansätze bei den Preismodellen.

Während OptimalSort pro Monat bezahlt wird ($109 oder $990 im Jahr), erfolgt die Berechnung bei WebSort pro Studie ($149 oder $299 für 3). Die Kosten entscheiden sich also nicht drastisch, je nachdem wie lange eine Studie laufen soll. Ein Monat sollte jedoch im Normalfall ausreichen, da die Auswertungsmöglichkeiten auch nach diesem Monat noch zur Verfügung stehen. Lässt man mehrere Studien parallel laufen, verschiebt sich das Verhältnis noch weiter zu Gunsten von OptimalSort.

Zudem soll hier noch eine Einschränkung WebSorts genannt sein, die mich sehr verwundert: Pro Studie können maximal 100 Personen teilnehmen. Für große Studien eine zu kleine Zahl, besonders da die Teilnehmerzahl bei OptimalSort überhaupt nicht eingeschränkt ist. Einzig die Enterprise-Variante von WebSort bietet mehr Teilnehmer (maximal 500), jedoch zu einem horrenden Preis von $2499 jährlich.

Fazit: OptimalSort vor WebSort

Insgesamt zeigt sich ein klarer Sieg für OptimalSort. Es erlaubt sich keine Patzer und bietet aus meiner Sicht folgende Vorteile gegenüber WebSort:

  • Quasi alle Features von WebSort und noch mehr
  • Die bessere Usability im Auswertungs-Backend
  • Eine permanente Standardisierung von Kategorien für die Auswertung
  • Unbegrenzte Teilnehmerzahl pro Studie

Haben Sie schon eines der Tools selber verwendet? Wie war ihr Eindruck? Oder können Sie vielleicht doch noch ein anderes Card Sorting Tool empfehlen? Ich freue mich auf Ihre Kommentare!

Aktuell vergleiche ich verschiedene Tools für eine weitere Unterart von Online Card Sortings, das Reverse Card Sorting, auch Tree Testing genannt. Anders als offene Card Sortings eignet sich diese Methode besonders zur Evaluation einer bereits entwickelten Informationsarchitektur. Die Macher von OptimalSort und WebSort bieten in diesem Bereich ebenfalls Lösungen an, so dass auch dieser Vergleich sicher spannend wird. Ich werde Sie hier im Blog auf dem Laufenden halten, was meine Analyse ergibt.

4 Gedanken zu „OptimalSort und WebSort im Vergleich – was ist das beste Online Card Sorting Tool?

  1. Pingback: 10 Lesetipps der Woche für Shopbetreiber » shopbetreiber-blog.de

  2. Steven

    @Jan:
    Einen Blick solltest du auch mal auf UserZoom werfen.

    Aus meiner Sicht schlägt bei genannten Online-Tools, was Bedienung und Handling angeht.
    Klar. Ist sicher etwas teuerer, aber man spart sich die meist doch etwas mühselige Integration eines CS-Tools in ein anderes Befragungstool.

    Antworten
  3. Jan Pohlmann

    Hallo Steven,

    danke für deinen Input. UserZoom habe ich im Rahmen meiner Recherche ebenfalls gefunden, jedoch auf Grund des Preises schnell wieder verworfen. 9500€ im Jahr ist eben nicht nur „etwas“ teurer sonder mehr als das Zehnfache. Natürlich unterstützt UserZoom auch komplexere Surveys, ist damit aber auch nicht mehr wirklich vergleichbar mit anderen Tools. Wenn man es sehr regelmäßig für Surveys nutzt mag es sich lohnen.

    Leider bietet die Website auch wenig Infos zu den genauen CS-Features und eine Demo zum Ausprobieren gibt es auch nur auf Anfrage. Was ich in Videos sehen konnte hat mich allerdings keine Vorteile gegenüber OptimalSort erkennen lassen. Wie ich in meinem Beitrag geschrieben habe gehen kürzere Surveys auch darüber problemlos und die Auswertungsmöglichkeiten scheinen mir ebenfalls überlegen zu sein.

    Hast du konkrete Punkte, die du bei UserZoom für besser hältst?

    Antworten

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.