Not everything that counts can be counted — but "meaning over metrics" is a dangerous excuse too

The moment a number becomes a target, it stops measuring what it measured. That is Goodhart's law, and it is the quiet killer inside every dashboard-driven company. But the reaction against it — a vague preference for "meaning over metrics" — is its own way to fail, because it is exactly the phrase a founder reaches for when they do not want to be held to a number. The real skill is telling the metric that serves the goal from the one that has eaten it.

The measure that stops measuring

Charles Goodhart's observation, generalised, is that when a measure becomes a target, it ceases to be a good measure. The mechanism is simple: people optimise the proxy, and the proxy drifts away from the goal it was standing in for. Optimise engagement and you get rage-bait, not a better product. Optimise lines of code and you get bloat. Optimise the number of tickets closed and you get tickets closed badly. Donald Campbell said the same about social indicators; the more a quantitative metric is used for decision-making, the more it distorts the process it was meant to monitor.

The deepest version is the McNamara fallacy, named for the Vietnam-era defence secretary who ran a war by body count: measure what is easy, disregard what cannot be measured as if it were unimportant, and eventually mistake the metrics for the reality. The body count rose while the war was being lost, because the thing that mattered was never on the dashboard.

Not everything that can be counted counts, and not everything that counts can be counted.William Bruce Cameron (often misattributed to Einstein)

That line is worth quoting precisely because its own history proves the point: it is routinely misattributed to Einstein, because a true-sounding quote with a prestigious name attached spreads better than an accurate citation. The measurable — a famous name — crowded out the true.

The founder's version

Run a company by metrics and you will feel the divergence directly. The North Star metric that was a faithful proxy for user value becomes, once the team optimises it, a thing the team games. Velocity, once a target, buys itself with quality. This does not mean metrics are bad — it means every metric is a proxy with a lifespan, and part of the job is noticing when a proxy has started to diverge from the goal and retiring it before the whole team is rowing hard in the wrong direction. Keep at least one thing you care about deliberately unquantified, and check the numbers against it: does this actually serve the user, or just the chart?

A worked divergence: the engagement metric

Watch Goodhart's law run in a single quarter. A team picks time-in-app as its North Star, on the reasonable theory that people spend time on things they value, so more time means more value delivered. For a while the proxy is honest and the metric tracks something real. Then the team does what teams do with a target: it optimises. It adds notifications, autoplaying feeds, streaks, small variable rewards — and time-in-app rises, the dashboard is green, and everyone is rewarded for the number going up.

The divergence is invisible on the chart and obvious to the user. The extra minutes are no longer a sign of value received; they are a sign of a product engineered to be hard to put down, and the two look identical in the metric while being opposite in reality. The proxy has separated from the goal it was standing in for, exactly as Goodhart predicts, and because the team is measured on the proxy, the incentive is to keep widening the gap. Six months later engagement is at an all-time high and the thing the number was supposed to represent — people getting genuine use out of the product — has quietly rotted.

The correction is not to abandon metrics for a vague preference for meaning; it is to notice the divergence and retire the proxy before it does more damage. That requires holding one thing the dashboard cannot show — a real judgment about whether the product actually serves the user — and checking the number against it. The discipline is to treat every metric as a proxy with a lifespan and a smoke detector, useful until it starts to burn, and to keep the authority to override it when the served number and the real goal come apart. A team that can do that gets the coordination benefit of a target without being captured by it.

Which is the whole balance: measure ruthlessly, keep one unquantified check on what the measure is for, and retire any metric the moment optimising it stops meaning what it meant. Not meaning instead of metrics — good metrics, held by judgment that knows when to let go of them.

Why "meaning over metrics" is also a trap

Here is the part the anti-metrics essays leave out, and it matters more than the Goodhart half. Three cautions.

One: it is the favourite phrase of the founder who does not want to be measured. "You can't put a number on what we're building" is sometimes true and very often a dodge — a way to avoid the accountability that numbers impose. Companies die of vibes-over-data at least as often as they die of metric-worship. Metrics exist precisely because unaided intuition is confident and biased, and "meaning" with no measure attached is how a founder avoids finding out they are wrong.

Two: the unmeasurable is a hiding place for the unfalsifiable. "Trust me, this matters" can protect a genuine long-term good — or a pet project that is quietly failing every test it could be given. Plenty of things that feel unmeasurable can in fact be measured, and the claim that something transcends measurement deserves scrutiny, not deference.

Three: the real dichotomy is not metrics versus meaning. It is good metrics plus judgment versus bad metrics plus worship. You still need targets to coordinate a team; you cannot run a company on a feeling. The skill is holding a number and the humility to override it — using the metric as a servant and a smoke detector, never as the goal itself.

So measure ruthlessly, and keep one eye on the thing you refused to measure. Just do not let "meaning over metrics" become the sentence you say when the number is telling you something you would rather not hear.

Sources

1. primaryCharles Goodhart (1975); Marilyn Strathern's canonical phrasing of Goodhart's law (1997).
2. primaryDonald T. Campbell, "Assessing the Impact of Planned Social Change" (1979) — Campbell's law.
3. primaryWilliam Bruce Cameron, Informal Sociology (1963) — the "counts/counted" line (not Einstein).
4. secondaryJerry Z. Muller, The Tyranny of Metrics (2018).
5. secondaryDavid Halberstam, The Best and the Brightest (1972) — the McNamara fallacy.

Nie wszystko, co się liczy, da się policzyć — ale „sens ponad metryki” to też groźna wymówka

Liczba postawiona jako cel przestaje mierzyć to, co mierzyła. Tak działa prawo Goodharta i tak, bez jednego alarmu, przegrywają firmy zarządzane z dashboardu. Odruch obronny brzmi „sens ponad metryki” i jest groźny na swój sposób: sięga po niego founder, który nie chce, żeby go z liczby rozliczono. Cała sztuka to rozpoznać w porę moment, w którym wskaźnik przestaje służyć celowi i zaczyna go zastępować.

Prawo Goodharta i błąd McNamary

Charles Goodhart zauważył, a inni po nim uogólnili, że miara postawiona jako cel przestaje być dobrą miarą. Mechanizm jest prosty: ludzie optymalizują wskaźnik zastępczy (proxy), a ten odkleja się od celu, który miał zastępować. Optymalizuj zaangażowanie, a dostaniesz rage-bait zamiast lepszego produktu. Rozliczaj programistów z linijek kodu. Kod spuchnie. Zrób cel z liczby zamkniętych zgłoszeń. Zgłoszenia zaczną się zamykać byle jak. Donald Campbell opisał to samo na wskaźnikach społecznych: im mocniej wskaźnik decyduje, tym mocniej psuje proces, który miał obserwować.

Najostrzejszą wersję nazwano błędem McNamary, od sekretarza obrony, który wojnę w Wietnamie prowadził licznikiem zabitych: mierzysz to, co łatwe, uznajesz niemierzalne za nieważne, a na koniec bierzesz wskaźniki za rzeczywistość. Liczba zabitych rosła. Wojna zmierzała ku klęsce, bo o wyniku decydowało to, czego nie było na dashboardzie.

Nie wszystko, co da się policzyć, się liczy, i nie wszystko, co się liczy, da się policzyć.William Bruce Cameron (często błędnie przypisywane Einsteinowi)

Historia tego zdania potwierdza tezę: krąży ono pod nazwiskiem Einsteina, bo mądrze brzmiąca myśl z wielkim nazwiskiem rozchodzi się szybciej niż ta sama myśl z poprawnym przypisem. Nawet o losach cytatu decyduje to, co łatwiej policzyć.

Wskaźnik z terminem przydatności

Kto prowadzi firmę na liczbach, poznaje to rozejście od środka. Metryka North Star, która uczciwie zastępowała realny pożytek z produktu, staje się czymś, co zespół ogrywa, gdy tylko zacznie ją optymalizować. Za velocity postawione jako cel płaci się jakością. Metryki nie są przez to złe; każdy wskaźnik ma po prostu termin przydatności, a ty masz wyłapać, kiedy zaczyna się odklejać od celu, i wycofać go, zanim cały zespół sprawnie pójdzie w złą stronę. Zostaw jedną rzecz, na której ci zależy, świadomie niepoliczoną, i konfrontuj z nią liczby: czy produkt naprawdę służy użytkownikowi, czy tylko wykresowi?

Kwartał optymalizowania czasu w aplikacji

Prawo Goodharta widać w jednym kwartale. Zespół wybiera czas w aplikacji jako North Star, przy rozsądnym założeniu: ludzie poświęcają czas temu, co cenią, więc więcej czasu znaczy większy pożytek. Przez jakiś czas wskaźnik jest uczciwy i mierzy coś realnego. Potem zespół robi to, co zespoły robią z celami: optymalizuje. Wchodzą powiadomienia, automatyczne odtwarzanie kolejnych treści, serie dni i drobne nagrody rozdawane nieregularnie, a czas w aplikacji rośnie, dashboard świeci na zielono i zespół zbiera pochwały za ten wynik.

Na wykresie tego rozejścia nie widać, a dla użytkownika jest oczywiste. Dodatkowe minuty nie dowodzą już, że produkt komuś się przydał; dowodzą, że zaprojektowano go tak, by trudno było go odłożyć, a w metryce oba stany wyglądają tak samo, choć w rzeczywistości są swoim przeciwieństwem. Wskaźnik odkleił się od celu, tak jak przewiduje prawo Goodharta, a skoro zespół rozlicza się właśnie z niego, opłaca się tę różnicę powiększać. Pół roku później zaangażowanie bije rekordy, a to, co liczba miała reprezentować — realny pożytek ludzi z produktu — po cichu zgniło.

Wyłap rozejście i wycofaj wskaźnik, zanim narobi szkód; porzucenie liczb dla mglistego sensu niczego tu nie naprawia. Wskaźnik ma wtedy status czujnika dymu: ostrzega, a decyzję podejmujesz ty. Cel dalej robi swoje: zespół ciągnie w jedną stronę, a nikt nie jest już zakładnikiem liczby.

Hasło, które chroni foundera przed rozliczeniem

Eseje przeciw metrykom urywają się zwykle tam, gdzie robi się ciekawie. Pominięta połowa waży więcej niż ta o Goodharcie. „Nie da się liczbą ująć tego, co budujemy” bywa prawdą, a częściej jest unikiem przed rozliczeniem, które narzucają liczby. Firmy padają od decyzji na wyczucie, wbrew danym, co najmniej tak często jak od kultu wskaźnika. Metryki wymyślono właśnie dlatego, że sama intuicja bywa pewna siebie i tendencyjna, a „sens” bez żadnej miary jest wygodny: founder nigdy się nie dowie, że się mylił.

W niemierzalnym chętnie chowa się też to, czego nie da się obalić. „Zaufaj mi, to ważne” osłania realne dobro długoterminowe — albo prywatny projekt, który po cichu oblewa każdy test. Wiele rzeczy tylko wydaje się niemierzalnych, a deklaracja o niemierzalności jest tezą do sprawdzenia.

Prawdziwy podział nie biegnie między metrykami a sensem, tylko między dobrymi metrykami trzymanymi w ryzach osądu a złymi, którym się po prostu wierzy. Cele są potrzebne, żeby zgrać zespół, a firmy nie poprowadzisz na przeczuciu. Najtrudniej jest jednocześnie rozliczać zespół z liczby i mieć dość pokory, żeby tę liczbę unieważnić, kiedy cel i wskaźnik się rozjadą.

Cytat Camerona chodzi po świecie pod nazwiskiem Einsteina, bo sławę widać od razu, a autorstwo trzeba sprawdzić. Na dashboardzie działa ten sam odruch: zostaje na nim to, co łatwo narysować. Zapytaj na najbliższym przeglądzie wyników, kto powiedział ostatnio, że najważniejsza liczba w firmie przestała cokolwiek znaczyć, i jak go potraktowano. Odpowiedź pokaże, czy bardziej grozi wam kult liczby, czy ucieczka od niej.

Bibliografia

1. primaryCharles Goodhart (1975); kanoniczne sformułowanie prawa Goodharta wg Marilyn Strathern (1997).
2. primaryDonald T. Campbell, „Assessing the Impact of Planned Social Change” (1979) — prawo Campbella.
3. primaryWilliam Bruce Cameron, Informal Sociology (1963) — zdanie „liczy się / da się policzyć” (nie Einstein).
4. secondaryJerry Z. Muller, The Tyranny of Metrics (2018).
5. secondaryDavid Halberstam, The Best and the Brightest (1972) — błąd McNamary.