CDP, czyli modele AI obarczone dużym błędem 😨

Szkolenie modeli na 5% ruchu powoduje powstanie wielu nakładających się na siebie warstw systematycznych błędów. Ma to już kluczowe znaczenie dla jakości rekomendacji w samych mailingach (sic!) i na stronie dla rozpoznanych użytkowników.

Jest to kluczowy problem związany z uczeniem maszynowym, na który dostawcy platform CDP spuszczają zasłonę milczenia, a który bezpośrednio podważa ich twierdzenia dotyczące rekomendacji produktów i prognozowania zakupów. Model wyszkolony na „znanych klientach” uczy się (baaardzo poooowoli) optymalizacji pod kątem osób takich jak Twoi najlepsi obecni klienci, a nie pod kątem szerszego rynku, który próbujesz właśnie zdobyć.

My chcemy powiedzieć Ci, dlaczego jakość danych do trenowania modeli AI ma znaczenie.

Albo umów się od razu na demo – opowiemy o tym na spotkaniu.

Umawiam się na demo

Trenowanie na niereprezentatywnej próbie

Systemy CDP/MA twierdzą, że wykorzystują uczenie maszynowe / AI do rekomendacji produktowych dla e-commerce. Te 5% ruchu (zobacz: Rzeczywistość CDP/MA – tyle zachodu dla 5% ruchu), na którym trenowane mogłyby być modele nie jest jednak reprezentatywne dla całej grupy odbiorców. Segment obecnych klientów prawie nigdy nie stanowi próby losowej. Jest on systematycznie zniekształcony:

Po pierwsze te 5% to osoby, które już dokonały konwersji lub wykazały wystarczające zaangażowanie, by się ujawnić, a nie potencjalni klienci na wcześniejszych etapach lejka sprzedażowego. Są oni zazwyczaj bardziej aktywni, chętniej dzielą się danymi mogą też być bardziej przywiązani do Twojej marki.

Ich wzorce zakupowe, nawyki przeglądania stron i preferencje produktowe różnią się od tych charakterystycznych dla zwykłych użytkowników lub osób wrażliwych na cenę (odchylenie behawioralne). Model wyszkolony na „znanych klientach” uczy się optymalizacji pod kątem osób takich jak Twoi najlepsi obecni klienci, a nie pod kątem szerszego rynku, który próbujesz zdobyć. To zupełnie inne wzorce zachowań.

Do tego dochodzi jeszcze problem czasu potrzebnego na wytrenowanie modeli.

Czas potrzebny na wytrenowanie modeli na danych o klientach

Na „chłopski rozum” trenowanie modeli na 5% ruchu powinno trwać 20x dłużej niż na całości populacji. Czyli coś, co osiąga się normalnie w miesiąc – trwa prawie 2 lata. Ale nawet „więcej czasu” nie rozwiązuje problemu, nie jest to tylko kwestia ilości danych, którą można zaaplikować do modeli będąc cierpliwym.

Z upływem czasu wcale nie uzyskujesz bardziej reprezentatywnych danych. Pula znanych klientów, stanowiąca 5%, pozostaje tą samą pulą i model staje się zasadniczo wypaczone. Sześć czy dwadzieścia miesięcy danych obciążonych błędem to wciąż dane obciążone błędem.

Problemy związane z „zimnym startem” się dodatkowo nawarstwiają. Jeśli Twój model rekomendacji produktów uczył się wyłącznie na podstawie zakupów obecnych klientów, będzie działał słabo w przypadku nowych odwiedzających przeglądających nieznane im kategorie, kupujących zwracających uwagę na cenę (którzy mogą nie znajdować się w Twojej znanej bazie), różnych segmentów geograficznych lub demograficznych.

95% anonimowego ruchu nie objętego uczeniem zawiera kluczowe wzorce, które ignorujesz:

• Jakie produkty faktycznie przeglądają (a nie tylko kupują) zwykli użytkownicy?
• Jakie treści przemawiają do osób odwiedzających stronę po raz pierwszy?
• W którym miejscu przeglądający opuszczają stronę, zanim dokonają transakcji i się zidentyfikują?

Szkolisz więc model na próbie obciążonej wynikami, ignorując sygnały behawioralne z całego lejka, w rekomendacjach produktów na podstawie historii zakupów obecnych klientów. Słabe strony takiego modelu: sugerowanie produktów nowym odwiedzającym lub innym segmentom. Rekomendacje wydają się ogólnikowe lub pomijają pojawiające się trendy, które jako pierwsi odkrywają przeglądający stronę.

Prognozowanie zakupów i ocena skłonności do zakupu na podstawie osób, które już dokonały zakupu pomija anonimowych odwiedzających, którzy wykazują duże zainteresowanie, ale jeszcze się nie zalogowali (też mogą być klientami).

Takie modele zawodzą też w prognozowaniu rezygnacji (churnu). Trenowane są na podstawie Twojej obecnej bazy klientów, ale nie może wyciągnąć powodów, dla których ludzie opuścili stronę po przeglądaniu (nigdy nie stali się „znani”). Wiesz, kiedy obecni klienci odchodzą, ale tracisz okazje do przekształcenia osób przeglądających stronę w klientów, zanim opuszczą witrynę

Złe dane = zły model

Twierdzenie dostawcy platformy CDP, że jego modele z czasem osiągną dojrzałość, mimo, że zostały wytrenowane wyłącznie na 5% zidentyfikowanego ruchu, jest w najlepszym razie przejawem optymizmu.

Budujesz na fundamentach, które zasadniczo nie odzwierciedlają Twojej rzeczywistej grupy odbiorców. Modele mogą osiągnąć z czasem jakiś wyższy poziom pewności statystycznej, ale z całą pewnością uczą się niewłaściwych wzorców.

Aby przezwyciężyć to ograniczenie, potrzebne są własne dane behawioralne dotyczące 95%+5%=100% użytkowników (śledzenie zdarzeń bez konieczności identyfikacji), co daje najbardziej reprezentatywny sygnał i zrozumienie, w jaki sposób anonimowi goście stają się znanymi klientami.

Jednak wiele platform CDP nie kładzie na to nacisku, ponieważ nie przyciąga to uwagi tak bardzo, jak hasło „śledź wszystko o swoich klientach”.

Jak właściwie trenować modele AI?

Platformy CDP/MA nie są w stanie trenować właściwie modeli AI ze względu na swój „konstrukcyjny” błąd. Zaprojektowane są do komunikacji do znanych użytkowników, co w przypadku e-commerce oznacza klientów, którzy już kupili. Dodatkowo tylko wtedy, kiedy klient pozostaje rozpoznany na stronie (nie skorzystał z okna incognito lub nie wykasował cookies, o ad-blockach nie wspominając).

Wiele firm, dla których ruch anonimowy to codzienność decyduje się najpierw na silnik decyzyjny oparty na danych anonimowych, a nie na CDP. Dlaczego? Ponieważ silnik decyzyjny / rekomendacyjny trenuje modele na 100% ruchu. To oczywiście Quarticon, ale też systemy takie, jak Prefixbox, Nosto, Algolia czy Bloomreach. Zwrot z inwestycji jest w tym przypadku wyraźny.

Jeśli czujesz, że tracisz budżet na kosztowne CDP/MA – nie zwlekaj. Umów się na demo silnika decyzyjnego dla e-commerce Quarticon i zaoszczędź dziesiątki tysięcy zł! Quarticon

Umów się na demo

Jak zacząć używać Quarticon?

Zobacz, jak rozpocząć używanie narzędzi Quarticon. Integracja zależy od rodzaju platformy sklepowej. Quarticon współpracuje ze wszystkimi platformami sklepowymi. Poniższa instrukcja jest uniwersalna dla wszystkich, choć w wielu przypadkach integracja będzie jeszcze prostsza.