„Wenn wir schon bei Blackbox und Magie angekommen sind, weiß ich nicht, wo unsere Branche hinsteuert“

Jan Isenbart beschäftigt sich seit Jahren mit der Frage, wie belastbar die Daten sind, auf deren Grundlage Werbung geplant und bewertet wird. Als Chief Research Officer von ARD MEDIA und Vorstandsmitglied der Arbeitsgemeinschaft Media-Analyse (agma) setzt er sich zugleich für Markttransparenz und die Weiterentwicklung gemeinsamer Messstandards ein. Im Interview mit LYDnews spricht er über die Glaubwürdigkeit digitaler Werbedaten, Defizite in der Forschungskompetenz und den Einsatz synthetischer Daten. Außerdem erklärt er, warum klassische Medien künftig dafür sorgen müssen, dass ihre Angebote auch in KI-gestützten Planungssystemen sichtbar bleiben.

LYDnews: Beim HORIZONT-Werbewirkungsgipfel haben mehrere Werbungtreibende offen eingeräumt: Manche digitalen Daten sind nicht belastbar, aber 80 Prozent müssen eben reichen. Ist das gesunder Pragmatismus oder Kapitulation?

Jan Isenbart: Das ist eine Frage der Perspektive. Aus Sicht der Werbungtreibenden ist es wohl gesunder, ungesunder oder einfach notwendiger Pragmatismus, weil ich verstehe, dass die Kolleginnen und Kollegen für manche Entscheidungen Daten brauchen.

Das Problem dabei ist: Ungeprüfte Daten sind in der Regel nicht zu 80 Prozent richtig oder falsch, sondern entweder belastbar oder eben unbrauchbar. Deshalb tue ich mich als Marktforscher mit diesem Pragmatismus schon schwer, zumal es ja oft besser ginge. Es stünde ja beispielsweise jedem globalen Streamer frei, sich entsprechenden Währungsgremien, sogenannten Joint Industry Committees (JICs), wie der AGF anzuschließen.

Bot-Traffic, Ad Fraud, Ausspielungen im nicht sichtbaren Bereich: Das ist alles bekannt. Warum hält sich trotzdem der Glaube, gemessene digitale Daten seien pauschal besser als Befragungsdaten?

Ich weiß tatsächlich nicht, wo das herkommt, und es wundert mich auch immer. Natürlich klingt „gemessen“ intuitiv nach harten Daten, die unbestechlich sind - kein menschlicher Faktor, keine Verzerrung, keine Erinnerungseffekte. Aber wenn man etwa an einen Zollstock denkt: Natürlich kann man damit eine Fensteröffnung präziser vermessen als mit Handspannen oder Pi mal Daumen - aber eben nur, wenn der Zollstock auch geeicht ist.

Messen setzt also trotzdem voraus, dass es einen Maßstab gibt und einen breiten Konsens darüber, wer da was misst und welche Kennziffern genau ausgewiesen werden. Und daran scheint es eben oft noch zu haken. Deshalb ist Messen leider nicht gleich Messen.

Ein immer größerer Teil der Daten kommt ungeprüft aus den Systemen der Plattformen. Du hast zuletzt von einem Sales Deck mit Wirkungsbelegen berichtet, das es nur gegen ein NDA gab. Was war das abenteuerlichste Ergebnis, das dir in letzter Zeit begegnet ist?

Wirklich abenteuerlich war neulich ein Auftritt beim HORIZONT-Werbewirkungsgipfel: Ein großer Werbungtreibender hat gezeigt, wie er gemeinsam mit einem Tech-Anbieter vorgegangen ist, um Daten verschiedener Streaming-Plattformen zusammenzubringen, um daraus Nettoreichweiten für eine Kampagne zu errechnen und den jeweiligen Beitrag der einzelnen Streamer zu bestimmen. Auf meine Nachfrage, wie man denn aus den unterschiedlichsten, nicht vergleichbaren hauseigenen Daten der verschiedenen Anbieter überhaupt Nettoreichweiten errechnen könne, war die Antwort der Kollegin ganz charmant, das mache die „Magic“ in ihrer Maschine, also in einer Blackbox, irgendwo im Maschinenraum.

Sehr charmant verkauft, aber auch das Abenteuerlichste, was mir in Sachen Währung und Daten zuletzt begegnet ist. Wenn wir schon bei Blackbox und Magie angekommen sind, weiß ich nicht, wo unsere Branche hinsteuert.

Du sitzt im agma-Vorstand und arbeitest für einen Vermarkter, der von Währungsdaten lebt. Warum sollte ein Werbungtreibender dein Plädoyer für die agma und Co. nicht einfach als Interessenvertretung lesen?

Gute Frage. Zum einen, weil die agma kein Zusammenschluss nur von Vermarktern oder Medien ist, sondern sich gerade dadurch auszeichnet, dass dort Werbungtreibende und Agenturen mindestens gleichberechtigt, praktisch sogar mit Vetorechten, mit am Tisch sitzen. Wir verständigen uns dort gemeinsam auf Währungsstandards, Parameter, Methoden und so weiter. Konsensualer geht es eigentlich kaum.

Und aus Vermarktersicht: Ich würde sagen, wir verkaufen nicht aufgrund der Währungsdaten, sondern aufgrund der Leistungswerte, die unsere Medien und unser Portfolio bieten. Dabei hilft es uns, dass es auditierte und unabhängig erhobene Währungsdaten sind. Und diesen könnte sich, wie gesagt, jeder Wettbewerber anschließen.

Bräuchte es bei der agma und Co. mehr Mut, Tempo und Pragmatismus? Was müsste sich konkret ändern, und wo ist die Währung heute zu langsam?

Zur Verteidigung der agma und der JICs muss man zunächst sagen, dass Währungen heute hochkomplexe Systeme sind. Bildlich gesprochen sind es große Tanker mit langen Bremswegen, die man nicht mal eben um 90 Grad in eine andere Richtung steuern kann.

Zudem können die agma und ihre Forschungstochter MMC im Wesentlichen nur das umsetzen, was die Gattungen und die Experten in der Technischen Kommission auch ändern wollen bzw. methodisch freigeben.

Inzwischen ist zwar allen Medienverantwortlichen und Vermarktern klar, in was für aufregenden, sich wandelnden Zeiten wir leben. Trotzdem gibt es nicht immer Konsens darüber, in welcher Geschwindigkeit und mit welcher Priorität man Dinge vorantreiben sollte. Das ist oft weiterhin ein Hemmschuh, der aber nicht per se an der agma liegt, sondern erst mal an den Akteuren.

Auf der positiven Seite: Ich war jetzt zehn Jahre im Vorstand, und in dieser Zeit hat sich viel in Sachen Geschwindigkeit und Forschungspragmatismus getan, auch in der Gattung Radio/Audio ist uns klar, dass wir die Währung kontinuierlich weiterentwickeln und weitere Datenquellen erschließen und anflanschen müssen.

Wir müssen schneller testen, was uns hilft und was belastbar ist und das dann auch schneller als früher in die Währungen einbringen. Vielleicht erst mit 90 Prozent Verständnis und Sicherheit nach ausgiebigen Tests, aber nicht zu lange zu Tode getestet mit 100 Prozent Gewissheit, sondern auch im laufenden Prozess immer wieder schauen, ob wir noch richtig unterwegs sind oder ob es Stellschrauben gibt, die man neu justieren müsste.

KI und synthetische Daten nennst du ein Feld zwischen Vision und Voodoo. Welche ersten Erfahrungen gibt es aus agma-Sicht, und wo verläuft für dich die Grenze?

Grenzen sind schwierig zu ziehen, begrifflich wie inhaltlich, weil alles ineinanderfließt. Vieles, was mit KI bezeichnet wird, sind eigentlich ausgefeilte, teils schon lange bekannte statistische Verfahren. Die agma hat dazu eine Dreiteilung vorgenommen und spricht von Whitebox-, Greybox- und Blackbox-Data im Zusammenhang mit KI und synthetischen Daten.

Von links nach rechts betrachtet, sind wir mit den ersten Tests und Projekten klar im linken Bereich unterwegs, also bei Whitebox-Data: Ausgangspunkt sind immer echte, tatsächlich erhobene menschliche Daten, die dann etwa mit statistischen Verfahren ergänzt werden, noch nicht mit KI-Voodoo. Vor allem ist nachvollziehbar, wie diese Fälle gebildet wurden.

Am rechten Ende des Spektrums, bei reiner Blackbox, würde man zum Beispiel einfach einen Anbieter beauftragen, der behauptet, auf Basis von 10.000 Interviews die deutsche Gesamtbevölkerung synthetisieren und dann alle Kontaktpunkte, Einstellungen und Reichweiten simulieren zu können, ohne dass nachvollziehbar wäre, wie das passiert und wie valide es ist. Das ist sicher ein No-Go.

Aber die ersten Erfahrungen sind da: Wir starten in der Gattung Radio/Audio mit zwei Tests, und die gattungsübergreifende ma Podcast hat jetzt bereits einen synthetisch erweiterten Datensatz. Wobei dort nicht Reichweiten erhoben werden, weil die aus einer technischen Messung stammen. Die synthetischen Fälle helfen uns aber, für den Podcast-Markt mit viel Longtail auch für kleine Podcasts soziodemografische Daten auszuweisen. Dafür wurde der Datensatz mit bislang 18.000 Interviews zur Nutzerstruktur von Podcasts durch synthetische Daten auf 100.000 Fälle erweitert.

Beim Berufsverband Deutscher Markt- und Sozialforscher (BVM) sprichst du darüber, ob die Branche ein Kompetenz- oder ein Komplexitätsproblem mit Forschung hat. Wie lautet deine Antwort, und was kann Understanding Data realistisch daran ändern?

Für mich ist es keine Frage, ob es dieses Problem gibt, sondern wie groß und wie weit verbreitet es ist und was wir dagegen tun können. Diese Kritik richtet sich weniger an Marktforscherinnen und Marktforscher der Branche als an viele Verantwortliche in Marketing, Media und Werbung, die aus unserer Sicht oft erschreckend wenig empirisch fundiertes Wissen haben und ihr Geschäft bisweilen auf Basis dessen betreiben, was wir gerne Marketing-Folklore nennen - also weit verbreitete, aber nicht immer belegte oder empirisch haltbare Aussagen, Meinungen und Vermutungen.

Mit unserer Know-how-Initiative Understanding Data, die von der agma, dem ADM und vielen anderen Initiativen und Gattungsverbänden zumindest ideell mitgetragen wird, versuchen wir deshalb über Vorträge, Webinare und so weiter kontinuierlich Basisarbeit zu leisten. Wir erklären Grundmethoden und Grundbegriffe, wie man als Praktiker an Studien herangeht, die man zum Beispiel von Vermarktern auf den Tisch bekommt, und mit welcher Checkliste und welchen Fragen man schnell erkennt, ob einem das weiterhilft oder ob es eine eher halbgare Nummer ist. Da sehe ich persönlich, und sehen wir bei Understanding Data, einen großen Nachholbedarf in der Marketingbranche.

Du schreibst regelmäßig auf LinkedIn über Denkfallen. Welche davon kostet Werbungtreibende gerade das meiste Geld?

Da sind wir im Wesentlichen wieder bei digitalen Daten oder fehlendem Grundwissen darüber, wie die statistischen Grundgesetze des Kaufverhaltens eigentlich funktionieren, also was neue Käufer für eine Marke tatsächlich gewinnt und was nicht. Das meiste Geld versickert wahrscheinlich ungeahnt in digitalen Kanälen, in nichtmenschlichem Traffic.

Es gibt verschiedene Richtwerte, wonach von einem Euro, den ein Werbungtreibender digital investieren möchte, je nach Betrachtung am Ende nur 30, 40 oder 50 Cent tatsächlich auf der Mediaseite ankommen, also in ein Werbemittel umgesetzt werden. Der Rest, die Hälfte oder mehr, geht an irgendwelche Tech-Partner, Zwischenhändler, Datenveredler oder in dunkle Kanäle, was natürlich nicht sein sollte. Werbe- und Digitalkritiker wie Bob Hoffman rechnen das in Milliardenbeträgen hoch: Die Werbebranche versenkt global betrachtet wahrscheinlich jedes Jahr etliche Milliarden in Werbeformen und Kanäle, die nie ein echter Mensch sehen wird und die daher auch keinerlei Wirkung entfalten können.

Beim jüngsten egta-Treffen in Amsterdam ging es auch um KI, Daten und neue Vermarktungsmodelle. Wo sind andere europäische Märkte bei der Messung und Vermarktung von TV und Audio weiter als Deutschland? Hast du da etwas gesehen?

Das ist schwer pauschal zu sagen, weil die Märkte so unterschiedlich ticken und strukturiert sind, mit unterschiedlichen Währungssystemen und so weiter. Trotzdem eint uns in praktisch allen fortgeschrittenen Märkten die Frage nach konvergenten Währungen: Wie bringt man lineares und digitales Inventar in Video oder Audio zusammen, macht es vergleichbar, überführt es in die programmatische und automatisierte Buchungswelt, und wie lässt sich vor allem die sogenannte Deduplicated Reach, also sauber nachweisbare Nettoreichweite, kanalübergreifend identifizieren?

Da sind sicher einige Märkte wie UK oder die Niederlande etwas weiter als wir. Aber auch dort hört man immer wieder: Nichts läuft automatisch besser, man ist vielleicht ein, zwei Schritte weiter, dann entstehen aber auch neue Probleme, oder nicht alle Player im Markt ziehen mit. Das ist eine große, übergreifende Aufgabe. Deshalb ist es so wichtig, sich über unseren Vermarkterverband egta auch international über den Stand auszutauschen.

Die große Lösung, von der man seit Jahren hört und die auch wirklich an vielen Stellen bereits passiert, ist Zusammenarbeit, also Collaboration unter Wettbewerbern oder mit anderen Partnern, innerhalb der eigenen Gattung, aber auch gattungsübergreifend. Gemeinsam können wir so Lösungen vorantreiben und versuchen, den heimischen Werbemarkt mit Daten- oder Währungsinitiativen ein Stück weit gegen die globalen Player zu verteidigen.

Ein sehr spannendes Projekt, das wir gerade in der egta prüfen und vielleicht gemeinsam vorantreiben, ist die Frage, wie es uns als klassischen Gattungen und Vermarktern gelingt, unsere Leistungswerte und Angebote über KI-Agenten besser abzubilden in den zunehmend KI-basierten Planungs- und Bewertungs-Tools der Agenturen, damit wir neben den digitalen und globalen Playern überhaupt mehr Sichtbarkeit gewinnen.

Zum Abschluss: Wenn du einem Werbungtreibenden heute nur drei Kriterien nennen dürftest, an denen er eine wirklich belastbare Werbewirkungsstudie erkennt, welche wären das?

Erstens: Ist die Methode für die gewählte Fragestellung angemessen und sauber dokumentiert, also nachvollziehbar?

Zweitens hilft es immer in puncto Transparenz und Glaubwürdigkeit, wenn klar ist, mit welchen Partnern oder Dienstleistern etwa auf Institutsseite oder bei einem Online-Panel konkret zusammengearbeitet wurde. Größere Institute haben oft nicht nur mehr Erfahrung und Methodenkenntnis, sondern unterwerfen sich auch freiwillig marktforscherischen Standesregeln. Bei Online-Panels gibt es eine unglaubliche Bandbreite an Preis und Qualität. Deshalb möchte ich als Leser einer 08/15-Online-Befragung auch immer gerne wissen, mit welchem Panel sie durchgeführt wurde.

Drittens sollte man zumindest stichprobenartig prüfen, ob die Aussagen, der Begleittext oder die Jubel-Pressemeldungen tatsächlich durch die veröffentlichten Daten gedeckt sind. Oder ob man in der Marketing-Euphorie ein bisschen übers Ziel hinausgeschossen ist, etwa wenn aus 43 Prozent der Befragten plötzlich „fast jeder Zweite“ wird.

Und vielleicht noch ein letzter, ganz wichtiger Punkt: Gerade in der Werbewirkungsforschung kommen selten völlig neue, bahnbrechende Erkenntnisse ans Licht. Es geht oft eher darum, bestehende Erkenntnisse mit aktuellen Daten, vielleicht mit neuer Methodik, noch einmal zu belegen. Deshalb ist es immer eine gute Frage, ob die präsentierten Ergebnisse sowohl unter Common-Sense-Aspekten als auch mit Blick auf frühere bekannte Studien in ein plausibles Schema passen.

Fiktives Beispiel: Würden die Außenwerber jetzt eine Studie veröffentlichen, dass ein Plakat im Vorbeigehen im Schnitt 77 Prozent mehr Aufmerksamkeit und Wirkung entfacht als ein Bewegtbildspot im Fernsehen, sollte man aufhorchen und zunächst einmal die Plausibilitätsfrage stellen. Das heißt nicht, dass jede zunächst unplausibel klingende Studie falsch sein muss, aber man sollte dann umso genauer hinschauen, wie sie methodisch aufgesetzt und das Ergebnis begründet wurde.