Nie wszystko, co się liczy, da się policzyć — ale „sens ponad metryki” to też groźna wymówka

Liczba postawiona jako cel przestaje mierzyć to, co mierzyła. Tak działa prawo Goodharta i tak, bez jednego alarmu, przegrywają firmy zarządzane z dashboardu. Odruch obronny brzmi „sens ponad metryki” i jest groźny na swój sposób: sięga po niego founder, który nie chce, żeby go z liczby rozliczono. Cała sztuka to rozpoznać w porę moment, w którym wskaźnik przestaje służyć celowi i zaczyna go zastępować.

Prawo Goodharta i błąd McNamary

Charles Goodhart zauważył, a inni po nim uogólnili, że miara postawiona jako cel przestaje być dobrą miarą. Mechanizm jest prosty: ludzie optymalizują wskaźnik zastępczy (proxy), a ten odkleja się od celu, który miał zastępować. Optymalizuj zaangażowanie, a dostaniesz rage-bait zamiast lepszego produktu. Rozliczaj programistów z linijek kodu. Kod spuchnie. Zrób cel z liczby zamkniętych zgłoszeń. Zgłoszenia zaczną się zamykać byle jak. Donald Campbell opisał to samo na wskaźnikach społecznych: im mocniej wskaźnik decyduje, tym mocniej psuje proces, który miał obserwować.

Najostrzejszą wersję nazwano błędem McNamary, od sekretarza obrony, który wojnę w Wietnamie prowadził licznikiem zabitych: mierzysz to, co łatwe, uznajesz niemierzalne za nieważne, a na koniec bierzesz wskaźniki za rzeczywistość. Liczba zabitych rosła. Wojna zmierzała ku klęsce, bo o wyniku decydowało to, czego nie było na dashboardzie.

Nie wszystko, co da się policzyć, się liczy, i nie wszystko, co się liczy, da się policzyć.William Bruce Cameron (często błędnie przypisywane Einsteinowi)

Historia tego zdania potwierdza tezę: krąży ono pod nazwiskiem Einsteina, bo mądrze brzmiąca myśl z wielkim nazwiskiem rozchodzi się szybciej niż ta sama myśl z poprawnym przypisem. Nawet o losach cytatu decyduje to, co łatwiej policzyć.

Wskaźnik z terminem przydatności

Kto prowadzi firmę na liczbach, poznaje to rozejście od środka. Metryka North Star, która uczciwie zastępowała realny pożytek z produktu, staje się czymś, co zespół ogrywa, gdy tylko zacznie ją optymalizować. Za velocity postawione jako cel płaci się jakością. Metryki nie są przez to złe; każdy wskaźnik ma po prostu termin przydatności, a ty masz wyłapać, kiedy zaczyna się odklejać od celu, i wycofać go, zanim cały zespół sprawnie pójdzie w złą stronę. Zostaw jedną rzecz, na której ci zależy, świadomie niepoliczoną, i konfrontuj z nią liczby: czy produkt naprawdę służy użytkownikowi, czy tylko wykresowi?

Kwartał optymalizowania czasu w aplikacji

Prawo Goodharta widać w jednym kwartale. Zespół wybiera czas w aplikacji jako North Star, przy rozsądnym założeniu: ludzie poświęcają czas temu, co cenią, więc więcej czasu znaczy większy pożytek. Przez jakiś czas wskaźnik jest uczciwy i mierzy coś realnego. Potem zespół robi to, co zespoły robią z celami: optymalizuje. Wchodzą powiadomienia, automatyczne odtwarzanie kolejnych treści, serie dni i drobne nagrody rozdawane nieregularnie, a czas w aplikacji rośnie, dashboard świeci na zielono i zespół zbiera pochwały za ten wynik.

Na wykresie tego rozejścia nie widać, a dla użytkownika jest oczywiste. Dodatkowe minuty nie dowodzą już, że produkt komuś się przydał; dowodzą, że zaprojektowano go tak, by trudno było go odłożyć, a w metryce oba stany wyglądają tak samo, choć w rzeczywistości są swoim przeciwieństwem. Wskaźnik odkleił się od celu, tak jak przewiduje prawo Goodharta, a skoro zespół rozlicza się właśnie z niego, opłaca się tę różnicę powiększać. Pół roku później zaangażowanie bije rekordy, a to, co liczba miała reprezentować — realny pożytek ludzi z produktu — po cichu zgniło.

Wyłap rozejście i wycofaj wskaźnik, zanim narobi szkód; porzucenie liczb dla mglistego sensu niczego tu nie naprawia. Wskaźnik ma wtedy status czujnika dymu: ostrzega, a decyzję podejmujesz ty. Cel dalej robi swoje: zespół ciągnie w jedną stronę, a nikt nie jest już zakładnikiem liczby.

Hasło, które chroni foundera przed rozliczeniem

Eseje przeciw metrykom urywają się zwykle tam, gdzie robi się ciekawie. Pominięta połowa waży więcej niż ta o Goodharcie. „Nie da się liczbą ująć tego, co budujemy” bywa prawdą, a częściej jest unikiem przed rozliczeniem, które narzucają liczby. Firmy padają od decyzji na wyczucie, wbrew danym, co najmniej tak często jak od kultu wskaźnika. Metryki wymyślono właśnie dlatego, że sama intuicja bywa pewna siebie i tendencyjna, a „sens” bez żadnej miary jest wygodny: founder nigdy się nie dowie, że się mylił.

W niemierzalnym chętnie chowa się też to, czego nie da się obalić. „Zaufaj mi, to ważne” osłania realne dobro długoterminowe — albo prywatny projekt, który po cichu oblewa każdy test. Wiele rzeczy tylko wydaje się niemierzalnych, a deklaracja o niemierzalności jest tezą do sprawdzenia.

Prawdziwy podział nie biegnie między metrykami a sensem, tylko między dobrymi metrykami trzymanymi w ryzach osądu a złymi, którym się po prostu wierzy. Cele są potrzebne, żeby zgrać zespół, a firmy nie poprowadzisz na przeczuciu. Najtrudniej jest jednocześnie rozliczać zespół z liczby i mieć dość pokory, żeby tę liczbę unieważnić, kiedy cel i wskaźnik się rozjadą.

Cytat Camerona chodzi po świecie pod nazwiskiem Einsteina, bo sławę widać od razu, a autorstwo trzeba sprawdzić. Na dashboardzie działa ten sam odruch: zostaje na nim to, co łatwo narysować. Zapytaj na najbliższym przeglądzie wyników, kto powiedział ostatnio, że najważniejsza liczba w firmie przestała cokolwiek znaczyć, i jak go potraktowano. Odpowiedź pokaże, czy bardziej grozi wam kult liczby, czy ucieczka od niej.

Bibliografia

1. primaryCharles Goodhart (1975); kanoniczne sformułowanie prawa Goodharta wg Marilyn Strathern (1997).
2. primaryDonald T. Campbell, „Assessing the Impact of Planned Social Change” (1979) — prawo Campbella.
3. primaryWilliam Bruce Cameron, Informal Sociology (1963) — zdanie „liczy się / da się policzyć” (nie Einstein).
4. secondaryJerry Z. Muller, The Tyranny of Metrics (2018).
5. secondaryDavid Halberstam, The Best and the Brightest (1972) — błąd McNamary.