FIGHTING FAKE NEWS
How Your Brain Tricks You Into Believing Fake News
THE REAL FAKE NEWS CRISIS
Bots and propagandists are just part of the problem. The bigger issue is your brain
By Katy Steinmetz
August 9, 2018

Sitting in front of a computer not long ago, a tenured history professor faced a challenge that billions of us do every day: deciding whether to believe something on the Internet.

On his screen was an article published by a group called the American College of Pediatricians that discussed how to handle bullying in schools. Among the advice it offered: schools shouldn’t highlight particular groups targeted by bullying because doing so might call attention to “temporarily confused adolescents.”

Scanning the site, the professor took note of the “.org” web address and a list of academic-looking citations. The site’s sober design, devoid of flashy, autoplaying videos, lent it credibility, he thought. After five minutes, he had found little reason to doubt the article. “I’m clearly looking at an official site,” he said.

What the professor never realized as he focused on the page’s superficial features is that the group in question is a socially conservative splinter faction that broke in 2002 from the mainstream American Academy of Pediatrics over the issue of adoption by same-sex couples. It has been accused of promoting antigay policies, and the Southern Poverty Law Center designates it as a hate group.

Trust was the issue at hand. The bookish professor had been asked to assess the article as part of an experiment run by Stanford University psychologist Sam Wineburg. His team, known as the Stanford History Education Group, has given scores of subjects such tasks in hopes of answering two of the most vexing questions of the Internet age: Why are even the smartest among us so bad at making judgments about what to trust on the web? And how can we get better?

Wineburg’s team has found that Americans of all ages, from digitally savvy tweens to high-IQ academics, fail to ask important questions about content they encounter on a browser, adding to research on our online gullibility. Other studies have shown that people retweet links without clicking on them and rely too much on search engines. A 2016 Pew poll found that nearly a quarter of Americans said they had shared a made-up news story. In his experiments, MIT cognitive scientist David Rand has found that, on average, people are inclined to believe false news at least 20% of the time. “We are all driving cars, but none of us have licenses,” Wineburg says of consuming information online.

Our inability to parse truth from fiction on the Internet is, of course, more than an academic matter. The scourge of “fake news” and its many cousins?from clickbait to “deep fakes” (realistic-looking videos showing events that never happened)?have experts fearful for the future of democracy. Politicians and technologists have warned that meddlers are trying to manipulate elections around the globe by spreading disinformation. That’s what Russian agents did in 2016, according to U.S. intelligence agencies. And on July 31, Facebook revealed that it had found evidence of a political-influence campaign on the platform ahead of the 2018 midterm elections. The authors of one now defunct page got thousands of people to express interest in attending a made-up protest that apparently aimed to put white nationalists and left-wingers on the same streets.

But the stakes are even bigger than elections. Our ability to vet information matters every time a mother asks Google whether her child should be vaccinated and every time a kid encounters a Holocaust denial on Twitter. In India, false rumors about child kidnappings that spread on WhatsApp have prompted mobs to beat innocent people to death. “It’s the equivalent of a public-health crisis,” says Alan Miller, founder of the nonpartisan News Literacy Project.

There is no quick fix, though tech companies are under increasing pressure to come up with solutions. Facebook lost more than $120 billion in stock value in a single day in July as the company dealt with a range of issues limiting its growth, including criticism about how conspiracy theories spread on the platform. But engineers can’t teach machines to decide what is true or false in a world where humans often don’t agree.

In a country founded on free speech, debates over who adjudicates truth and lies online are contentious. Many welcomed the decision by major tech companies in early August to remove content from florid conspiracy theorist Alex Jones, who has alleged that passenger-jet contrails are damaging people’s brains and spread claims that families of Sandy Hook massacre victims are actors in an elaborate hoax. But others cried censorship. And even if law enforcement and intelligence agencies could ferret out every bad actor with a keyboard, it seems unwise to put the government in charge of scrubbing the Internet of misleading statements.

What is clear, however, is that there is another responsible party. The problem is not just malicious bots or chaos-loving trolls or Macedonian teenagers pushing phony stories for profit. The problem is also us, the susceptible readers. And experts like Wineburg believe that the better we understand the way we think in the digital world, the better chance we have to be part of the solution.

WE DON’T FALL for false news just because we’re dumb. Often it’s a matter of letting the wrong impulses take over. In an era when the average American spends 24 hours each week online?when we’re always juggling inboxes and feeds and alerts?it’s easy to feel like we don’t have time to read anything but headlines. We are social animals, and the desire for likes can supersede a latent feeling that a story seems dicey. Political convictions lead us to lazy thinking. But there’s an even more fundamental impulse at play: our innate desire for an easy answer.

Humans like to think of themselves as rational creatures, but much of the time we are guided by emotional and irrational thinking. Psychologists have shown this through the study of cognitive shortcuts known as heuristics. It’s hard to imagine getting through so much as a trip to the grocery store without these helpful time-savers. “You don’t and can’t take the time and energy to examine and compare every brand of yogurt,” says Wray Herbert, author of On Second Thought: Outsmarting Your Mind’s Hard-Wired Habits. So we might instead rely on what is known as the familiarity heuristic, our tendency to assume that if something is familiar, it must be good and safe.

These habits of mind surely helped our ancestors survive. The problem is that relying on them too much can also lead people astray, particularly in an online environment. In one of his experiments, MIT’s Rand illustrated the dark side of the fluency heuristic, our tendency to believe things we’ve been exposed to in the past. The study presented subjects with headlines?some false, some true?in a format identical to what users see on Facebook. Rand found that simply being exposed to fake news (like an article that claimed President Trump was going to bring back the draft) made people more likely to rate those stories as accurate later on in the experiment. If you’ve seen something before, “your brain subconsciously uses that as an indication that it’s true,” Rand says.

This is a tendency that propagandists have been aware of forever. The difference is that it has never been easier to get eyeballs on the message, nor to get enemies of the message to help spread it. The researchers who conducted the Pew poll noted that one reason people knowingly share made-up news is to “call out” the stories as fake. That might make a post popular among like-minded peers on social media, but it can also help false claims sink into the collective consciousness.

Academics are only beginning to grasp all the ways our brains are shaped by the Internet, a key reason that stopping the spread of misinformation is so tricky. One attempt by Facebook shows how introducing new signals into this busy domain can backfire. With hopes of curtailing junk news, the company started attaching warnings to posts that contained claims that fact-checkers had rated as false. But a study found that this can make users more likely to believe any unflagged post. Tessa Lyons-Laing, a product manager who works on Facebook’s News Feed, says the company toyed with the idea of alerting users to hoaxes that were traveling around the web each day before realizing that an “immunization approach” might be counterproductive. “We’re really trying to understand the problem and to be thoughtful about the research and therefore, in some cases, to move slower,” she says.

Part of the issue is that people are still relying on outdated shortcuts, the kind we were taught to use in a library. Take the professor in Wineburg’s study. A list of citations means one thing when it appears in a book that has been vetted by a publisher, a fact-checker and a librarian. It means quite another on the Internet, where everyone has access to a personal printing press. Newspapers used to physically separate hard news and commentary, so our minds could easily grasp what was what. But today two-thirds of Americans get news from social media, where posts from publishers get the same packaging as birthday greetings and rants. Content that warrants an emotional response is mixed with things that require deeper consideration. “It all looks identical,” says Harvard researcher Claire Wardle, “so our brain has to work harder to make sense of those different types of information.”

Instead of working harder, we often try to outsource the job. Studies have shown that people assume that the higher something appears in Google search results, the more reliable it is. But Google’s algorithms are surfacing content based on keywords, not truth. If you ask about using apricot seeds to cure cancer, the tool will dutifully find pages asserting that they work. “A search engine is a search engine,” says Richard Gingras, vice president of news at Google. “I don’t think anyone really wants Google to be the arbiter of what is or is not acceptable expression.”

That’s just one example of how we need to retrain our brains. We’re also inclined to trust visuals, says Wardle. But some photos are doctored, and other legitimate ones are put in false contexts. On Twitter, people use the size of others’ followings as a proxy for reliability, yet millions of followers have been paid for (and an estimated 10% of “users” may be bots). In his studies, Wineburg found that people of all ages were inclined to evaluate sources based on features like the site’s URL and graphic design, things that are easy to manipulate.

It makes sense that humans would glom on to just about anything when they’re so worn out by the news. But when we resist snap judgments, we are harder to fool. “You just have to stop and think,” Rand says of the experiments he has run on the subject. “All of the data we have collected suggests that’s the real problem. It’s not that people are being super-biased and using their reasoning ability to trick themselves into believing crazy stuff. It’s just that people aren’t stopping. They’re rolling on.

THAT IS, OF COURSE, the way social-media platforms have been designed. The endless feeds and intermittent rewards are engineered to keep you reading. And there are other environmental factors at play, like people’s ability to easily seek out information that confirms their beliefs. But Rand is not the only academic who believes that we can take a big bite out of errors if we slow down.

Wineburg, an 18-year veteran of Stanford, works out of a small office in the center of the palm-lined campus. His group’s specialty is developing curricula that teachers across the nation use to train kids in critical thinking. Now they’re trying to update those lessons for life in a digital age. With the help of funding from Google, which has devoted $3 million to the digital-literacy project they are part of, the researchers hope to deploy new rules of the road by next year, outlining techniques that anyone can use to draw better conclusions on the web.

His group doesn’t just come up with smart ideas; it tests them. But as they set out to develop these lessons, they struggled to find research about best practices. “Where are the studies about what superstars do, so that we might learn from them?” Wineburg recalls thinking, sitting in the team’s office beneath a print of the Tabula Rogeriana, a medieval map that pictures the world in a way we now see as upside-down. Eventually, a cold email to an office in New York revealed a promising model: professional fact-checkers.

Fact-checkers, they found, didn’t fall prey to the same missteps as other groups. When presented with the American College of Pediatricians task, for example, they almost immediately left the site and started opening new tabs to see what the wider web had to say about the organization. Wineburg has dubbed this lateral reading: if a person never leaves a site?as the professor failed to do?they are essentially wearing blinders. Fact-checkers not only zipped to additional sources, but also laid their references side by side, to better keep their bearings.

In another test, the researchers asked subjects to assess the website MinimumWage.com. In a few minutes’ time, 100% of fact-checkers figured out that the site is backed by a PR firm that also represents the restaurant industry, a sector that generally opposes raising hourly pay. Only 60% of historians and 40% of Stanford students made the same discovery, often requiring a second prompt to find out who was behind the site.

Another tactic fact-checkers used that others didn’t is what Wineburg calls “click restraint.” They would scan a whole page of search results?maybe even two?before choosing a path forward. “It’s the ability to stand back and get a sense of the overall territory in which you’ve landed,” he says, “rather than promiscuously clicking on the first thing.” This is important, because people or organizations with an agenda can game search results by packing their sites with keywords, so that those sites rise to the top and more objective assessments get buried.

The lessons they’ve developed include such techniques and teach kids to always start with the same question: Who is behind the information? Although it is still experimenting, a pilot that Wineburg’s team conducted at a college in California this past spring showed that such tiny behavioral changes can yield significant results. Another technique he champions is simpler still: just read it.

One study found that 6 in 10 links get retweeted without users’ reading anything besides someone else’s summation of it. Another found that false stories travel six times as fast as true ones on Twitter, apparently because lies do a better job of stimulating feelings of surprise and disgust. But taking a beat can help us avoid knee-jerk reactions, so that we don’t blindly add garbage to the vast flotillas already clogging up the web. “What makes the false or hyperpartisan claims do really well is they’re a bit outlandish,” Rand says. “That same thing that makes them successful in spreading online is the same thing that, on reflection, would make you realize it wasn’t true.”

Tech companies have a big role to play in stemming the tide of misinformation, and they’re working on it. But they have also realized that what Harvard’s Wardle calls our “information disorder” cannot be solved by engineers alone. Algorithms are good at things like identifying fake accounts, and platforms are flagging millions of them every week. Yet machines could only take Facebook so far in identifying the most recent influence campaign.

One inauthentic page, titled “Resisters,” ginned up a counterprotest to a “white civil rights” rally planned for August in Washington, D.C., and got legitimate organizations to help promote it. More than 2,600 people expressed interest in going before Facebook revealed that the page was part of a coordinated operation, disabled the event and alerted users. The company has hired thousands of content reviewers that have the sophistication to weed through tricky mixes of truth and lies. But Facebook can’t employ enough humans to manually review the billions of posts that are put up each day, across myriad countries and languages.

Many misleading posts don’t violate tech companies’ terms of service. Facebook, one of the firms that removed content from Jones, said the decision did not relate to “false news” but prohibitions against rhetoric such as “dehumanizing language.” Apple and Spotify cited rules against hate speech, which is generally protected by the First Amendment. “With free expression, you get the good and the bad, and you have to accept both,” says Google’s Gingras. “And hopefully you have a society that can distinguish between the two.”

You also need a society that cares about that distinction. Schools make sense as an answer, but it will take money and political will to get new curricula into classrooms. Teachers must master new material and train students to be skeptical without making them cynical. “Once you start getting kids to question information,” says Stanford’s Sarah McGrew, “they can fall into this attitude where nothing is reliable anymore.” Advocates want to teach kids other defensive skills, like how to reverse-search an image (to make sure a photo is really portraying what someone says it is) and how to type a neutral query into the search bar. But even if the perfect lessons are dispersed for free online, anyone who has already graduated will need to opt in. They will have to take initiative and also be willing to question their prejudices, to second-guess information they might like to believe. And relying on open-mindedness to defeat tribal tendencies has not proved a winning formula in past searches for truth.

That is why many advocates are suggesting that we reach for another powerful tool: shame. Wardle says we need to make sharing misinformation as shameful as drunk driving. Wineburg invokes the environmental movement, saying we need to cultivate an awareness of “digital pollution” on the Internet. “We have to get people to think that they are littering,” Wineburg says, “by forwarding stuff that isn’t true.” The idea is to make people see the aggregate effect of little actions, that one by one, ill-advised clicks contribute to the web’s being a toxic place. Having a well-informed citizenry may be, in the big picture, as important to survival as having clean air and water. “If we can’t come together as a society around this issue,” Wineburg says, “it is our doom.”

This appears in the August 20, 2018 issue of TIME.

Fighting Fake News
By Katy Steinmetz
August 9, 2018
《フェイクニュースとの戦い》
＜ボット（ソフトウェア・エージェント）や扇動者だけが問題ではない。もっと大きな問題はあなた自身の頭の中だ＞
つい最近、歴史学の終身教授がパソコンの前にしかめ面をして座って、何十億のごく普通の人たちが毎日やっていることだが、インターネットが言うことを信用していいかどうかを判断していた。

教授のスクリーンには米国大学小児医学会が発行する記事が表示され、学校での虐めにどう対処するかを論じていた。そのサイトが提案している中に、学校は虐待を受けている特定のグループを強調すべきではない、なぜなら、そうすることによって「一時的に不安定になっている思春期の若者」に注目が集まってしまうからだ、という意見があった。

教授は記事にザッと目を通してから、そのドメイン名と学術的評価リストをメモした。そのサイトは落ち着いたデザインで、派手な自動再生ビデオもついていなかったので信用できそうだと思った。５分後にはこの記事を疑う理由はまずないだろうと判断した。「確かにそれは公式サイトだ」と言った。

教授がページが示している特徴に注目していた時、気付いていないことがあった。それはこの団体が、同性愛カップルの養子縁組問題をめぐって2002年に米国小児学会主流派から分裂した社会的保守派だったことだ。この分派は反同性愛政策を推進していることで非難を浴び、南部貧民救済法施行機関からヘイトグループの指定を受けていた。

とりあえずは信用できるかどうかが問題だった。文書好きの彼は、スタンフォード大学心理学者サム・ワインバーグが率いる実験の一つとして、この記事の信憑性を査定してほしいと依頼されていたのだ。スタンフォード歴史教育会というサムのチームは、インターネット時代における最も厄介な問題の二つに対する答えを出したいという思いで、何十人もの被験者に次のような課題を与えてきた。（１）最も賢明なユーザーでもウェブサイトの信憑性を見抜くのがなぜそんなに下手なのか。（２）どうすれば上手くなれるのか。

オンライン上での騙されやすさについての調査に加えてわかったことは、デジタル慣れした１０代後半からティーンまでを含む年齢層や高いIQを誇る学者連中まで、年齢に関わらず全ての米国人がブラウザで目にする内容について重要な質問をしていないことだった。他の研究が証明しているのは、ユーザーが、元になるツィートをクリックしないでそのリンクをリツィートし、サーチエンジンをあまりに信用し過ぎることだ。2016年ピュー調査によれば、およそ4分の１の米国人がデッチアゲのニュースをシェアしている、と回答している。この実験でMITの認識学研究者デビッド・ランドは、平均して少なくとも５回に１回の割合でエセ・ニュースを信じてしまうことを証明した。「私たちはみんなサーチエンジンを運転していますが、誰も免許証を持っていないのです」と莫大な情報量を提供するオンラインについてワインバーグは言う。

私たちがネット上の虚実を見抜くことができない問題は、もちろん学術的問題を超えている。例えばクリック・ベイト（訳注：クリックを誘う餌）や「ディープ・フェイク（現実にはなかった出来事をまるで本物らしく作ったビデオ）」などのフェイク・ニュースやその亜流の存在は、研究者に民主主義の先行きに恐怖を抱かせている。騒ぎを起こす愉快犯(meddlers)は偽情報を拡散させることによって世界中の選挙を操ろうとしている、と政治家や科学技術者たちは警告している。2016年にロシア諜報部がやったのがまさにこれだった、と米諜報局は言う。７月３１日、フェイスブックは2018年中間選挙に先立って、政策綱領に対して政治的影響を与えようとする工作の証拠を発見したと発表した。現在はすでに削除されているサイトだが、明らかに白人愛国主義者と左派系が同じ通りで鉢合わせすることを狙ったデッチアゲの抗議行動の書き込みに、何千もの人が参加の興味を示していた。

しかしここで言われる危険性は選挙どころではない。母親が子供にワクチンを受けさせた方がいいのかをグーグルたびに、また小さな子どもがホロコーストなど無かったと主張する書き込みを目にするたびに、情報の真偽を精査することが重要になる。インドでは、児童誘拐についての流言がWhatsAppに出回った結果、群衆が無実の人を殴り殺すという事件が起きた。「公衆衛生危機に匹敵する事態です」と無党派のニュース・リテラシー・プロジェクトの設立者アラン・ミラーは言う。

ますます大きくなる社会的圧力の下で、ハイテク企業は打開策を見出そうとしているが、手っ取り早い解決策はない。フェイスブックはその成長を阻害する一連の問題に対処するために、７月のたった１日だけで株価にして1,200億ドル以上の損失を出した。そこには選挙綱領問題についての謀略論がいかに拡がっているかへの批判も含まれている。しかし人間でさえ意見の不一致が常である世界で、何が真実で何が虚偽かを技術者が機械に教え込むことはできない。

言論の自由の上に建国された国家で、誰が真偽の決定をするのかは論争があるところだ。８月初めに、バリバリの謀略論者アレックス・ジョーンズの書き込みを削除する決定を大手ハイテク諸企業がしたことを多くの人が歓迎した。この人物は、ジェット旅客機の飛行機雲が人々の脳を破壊していると主張したり、サンディ・フック大虐殺の犠牲者の家族たちは綿密に演出された芝居を演じる俳優だ、という主張を拡散させたりしていた。検閲を求める人たちもいる。たとえ警察や情報局がオンライン上で悪さをする輩の一つ一つを検索できたとしても、人を誘導しようとするネット上の言辞を消して回る仕事を政府に課するのは馬鹿げているだろう。

しかしはっきりしているのは、他にも責任を負うべきところがあることだ。問題は、悪質なボットや混乱を喜ぶトロールだけでなく、利益のために作り話を広げるマケドニアのティーンエイジャーだけではない。問題は私たちの側、つまり影響されやすいユーザーの側にもあるのだ。デジタル世界で考える方法を理解すればするほど、それだけ私たち自身が解決の一助になることができる、とワインバーグなどの専門家は確信している。

単に私たちが間抜けだから偽情報に引っかかるのはではない。ほとんどの場合、いとも簡単に間違った衝動に突き動かされることが問題なのだ。平均的アメリカ人が１週間に２４時間オンラインを使っている時代に、つまり常に未読メールやフィードやアラートをチェックしている時代に、時間がなくてともすればヘッドラインだけを読んで事足れりと思ってしまう。私たちは現実社会に生きる存在であり、この話には危険が潜んでいるかも知れないと薄々感じていたとしても、魅力的な話には騙されてしまう。政治的信念に頼ってついキチンと考えることを怠けてしまう。しかしもっと根本的な衝動が働いている。私たちが元々持っている簡単な答えを求める気持ちだ。

人間は自分たちが理性的生き物だと考えたがるが、多くの場合に人は情緒的で非論理的な考え方に基づいて行動する。これを心理学者たちは、ヒューリスティック分析と呼ばれる経験則に基づく主観的分析方法の研究を通して証明した。このような経験則的分析に基づいた時間的節約なしには、多くの判断を通過して店にうまくたどり着くことは考えられない。「ヨーグルトのブランドすべてを比較してみる時間やエネルギーはないのです」と「心の中に深く染み込んだ習慣に逆らえ：もう一度考えろ（Second Thought: Outsmating Your Mind’s Hard-Wired Habits）」の著者レイ・ハーバートは言う。だから人間は親密性ヒューリスティック（familiarity heuristic）、つまり自分がよく知っているものならきっといいもので安全に違いない、という分析に頼ってしまうことになるのだろう。

このような心理的傾向があったからこそ、我々の祖先が生存してきたのだ。問題は、経験的分析にあまりに頼っていると、とりわけネットが支配する環境においては、判断に間違いが生じる。レイの研究の中では、能率性ヒューリスティック（fluency heuristic）、つまり過去に自分が経験してきたことを信じてしまう傾向という心の暗部を説明している(訳注：この文章の後半にあるfluency heuristicの説明は英文原稿の間違いだと思いますが、そのまま訳しています。正確には、fluency heuristicは自分が知りたいと思う問題に素早く効率的に処理してくれる方を価値があると判断してしまう傾向)。この研究では、フェイスブックでユーザーが目にしているものと同じフォーマットで、被験者に「嘘か本当か」というヘッドラインをつけて提示する。ランドが証明したのは、単にフェイクニュース（例えば、トランプ大統領は徴兵制を復活させようとしていると主張する記事だが）を見せられただけで、その後に行われた実験では、被験者はそれらの記事が実際に起きた出来事としてマークするようになる。もしユーザーが過去に一度目にしたものなら、「あなたの脳は意識下で、それが事実を示唆するものとして過去の経験を判断材料にしてしまうのです」とレイは言う。

これは扇動者なら絶えず頭に置いている人間の傾向だ。違いと言えば、ウェブ上のメッセージを読ませたたり、メッセージに対する敵対者にメッセージの拡散を助けさせたりすることが、それほど容易ではないことだ。ピュー調査を行った研究者たちが言っているのは、人々がしたり顔でガセネタをネット上でシェアする一つの理由は、「嘘だ」と非難するためだ。そのようにして、ソーシャルメディアの中で、よく似た考えを持つ仲間の間で投稿を有名にしていくのだが、また同時に、虚偽の主張を集団意識として定着させてしまうことにもなりうるのだ。

研究者たちはインターネットによって我々の頭脳が影響をうける全容を解明しようと始めているが、その主たる理由は情報の拡大を止めることがそれ程に厄介であるからだ。フェイスブックがある試みをやってみたのだが、多くの投稿を集めるフェイスブックのドメインに新しいシグナルを導入したことが、思わぬ事態を引き起こした。フェイスブックはジャンクニュースを除去しようと考えて、検証行為者が偽情報と評価した書き込みがある投稿に警告フラッグを付け始めた。しかしそうすることによって、警告フラッグがついていなければどんな投稿でもユーザーは信じるようになってしまう、という結果がでたのだ。テサ・レオンズ・リェンはフェイスブックのニュース・フィードで働いている製品マネージャーだが、日々ウェブサイトを飛び交う偽情報についてユーザーに警告すればいい、という考えであまりに軽率にやってしまって、その後で『偽情報に対して免疫力をつける』ことが逆効果を生みかねないとわかったのです」と言う。「我々は問題を理解しようとし、調査には慎重を期し、だからこそ場合によっては時間をかけるように心がけています」とリェンは言う。

手間を省くために、未だに時代遅れのやり方に依拠していることも一つの問題だ。つまり図書館で馴染んできたきたやり方だ。ワインバーグ研究室の教授を例にとってみよう。図書館の本で見る索引は、出版社、事実検証・校正係、書士などが十分に吟味したものと言える。ところがインターネットで見る索引は全く別物で、そこはだれもが私的な出版物にアクセスできるところだ。新聞は従来、報道記事と論評・解説記事の紙面を明確に分けていたので、読む側もそれぞれを容易に区別できていた。しかし米国市民の３分の２がソーシャルメディアでニュースを読んでいる今、出版社が出す情報も、誕生祝いや狂信的な書き込みと区別なく配信される。感情的な反応を狙った内容が、より深く考えるべき内容と一緒に現れる。「全てがまるで同じに見えますから、性格を異にするこれらの情報を理解するためには、かなり頭を働かさなければなりません」

自分の頭を賢明に働かせる代わりに、その仕事を誰かに代行させようとしがちだ。グーグル検索の結果に現れる頻度が高いほど、それだけ信用できると人は考える。ところがグーグルのアルゴリズムは、キーワードに引っかかったサイトのランクが浮上してくるのであり、その信憑性ではない。ユーザーがアプリコットの種がガンに効くかと尋ねると、検索エンジンは極めて忠実に、その種は効くというページを見つけるだろう。「検索エンジンは所詮検索エンジンに過ぎません」とグーグル・ニュース副社長のリチャード・ジングラスは言う。「容認できる表現かどうかをグーグルに判断してほしいなんて、だれも本当に望んでいないと思います」

私たちが自分の頭をいかに訓練しなおす必要があるのかの、これはほんの一例に過ぎない。我々はまた目に見えるものを信じる傾向がある、とワードルは言う。しかし改ざんされた写真もあるし、正統な写真でも関係のない記事に差し込まれているのもある。ツイッターでは、フォロワーの多さで信憑性があると考えてしまうが、何百万というフォロワーは見返りをもらっているし（また「ユーザー」の１０％がボットだと言われている）。ワインバーグの研究では、全ての年齢群で、サイトのURLやグラフィック・デザインのような、容易に操作を加えることができる特徴によって情報発信源を評価しがちだと出ている。

情報量にウンザリしていると、どんなものにでも飛びつきたくなるのは理解できる。しかし安易な判断に待ったをかければ、それだけ騙されにくくなる。「ちょっと立ち止まって、考えるのです」この課題に関する実験を行っているランドは言う。「我々が集めたすべてのデータが、それが肝心だと示しています。ユーザーが偏見で固まっているとか、馬鹿げた情報を無理やり信じようと理屈をこねているわけではありません。みんな立ち止まらないのです。ただガムシャラに前へ前へと進んでいるのです」

勿論そのようにしてソーシャルメディアのプラットフォームは作られてきた。際限のないフィードと時たま差し出されるご褒美がユーザーを次々と読ませていくように設計されている。また他の環境的要因も働いている。たとえば自分の考えが正しいと確信させてくれる情報を安易に見つけ出す能力だ。しかし、じっくりと時間をかければ、間違いを大幅に削減できると考える研究者は、ランドだけではない。

ワインバーグはスタンフォードで１８年働くベテランで、椰子の木が並ぶキャンパスの真ん中にある小さな事務所で研究に励む。彼のチームの専門は、全国の教師が生徒に創造的思考を訓練するカリキュラムを考案することだ。これらの教材をデジタル時代に合ったものにしようと必死で頑張っている。彼らも参加しているデジタル・リテラシー・プロジェクトにグーグルは300万ドルを提供しているのだが、その資金提供に支えられて、誰もがウェブ上でより良い結果を得られるような技術を概説した新しいルールを来年には発表したいと考えている。

ワインバーグのチームは賢明な方法を思いついただけではない。実際に試してみたのだ。しかしこのような訓練方法の開発に着手した時、最も成功した研究事例を見つけることに苦労した。「ウェブの超人がどうやるのかについての研究はどこにあるのか。それが分かれば学ぶことができるだろうに」タブラ・ロジェリアナ（今私たちが見ている地図とは逆さまに描かれた中世の世界地図）が壁にかかったチームの部屋にじっと座って、思いをめぐらせていたことをワインバーグは思い出す。結局はニューヨークの事務所に突然舞い込んだメールが、期待が持てる打開策を提供した。メールはプロのファクト・チェッカーからだった。

他の被験者群がやったような間違いにファクト・チェッカーたちは引っかかっていなかったことがわかった。たとえば米国大学小児科学会の課題を与えられた時、ファクト・チェッカーたちは即座にそのサイトを離れて、他のウェブがこの組織の評価をしているはずだと考えて新しいタブを開き始めた。ワインバーグはこの横断的なネット・サーフを真似てみた。もしユーザーがサイトを離れなければ――教授も離れなかったのだが――彼らは本質的に遮眼帯をつけているのだ。ファクト・チェッカーたちは速やかに他の関連サイトに移動しただけではなく、関連サイトを横に並べて置いて、調査の軸足をしっかり固定していた。

別のテストでは、被験者にMinimumWage.com（最低賃金ドットコム）というサイトを査定させた。数分もしないうちにファクト・チェッカー全員が同じ結論をだした。それは時給引き上げに常に反対する飲食産業を代行するPR会社によって支援されているサイトだった。同じ結果を出したのは、歴史学者では６０％、スタンフォード大学の学生は４０％であり、その多くが、背後に誰がいるかと尋ねる次のプロンプトが必要だった。

ファクト・チェッカー群が使って他の群が使わなかったもう一つの攻め方は、ワインバーグが「クリック抑制」と呼ぶものだ。ファクト・チェッカーは、検索結果の全ページに素早く目を通してから――２ページにわたる場合もある――次の段階に進む。「まずは距離を置いて、自分が見つけたサイトの全貌を嗅ぎ取る能力です」とワインバーグは言う。「見境もなく手当たり次第にクリックしません」これは重要なことだ。なぜなら、検索する課題の人物や組織は、サイトをキーワードで一杯にして検索結果の勝ち負けを争っているので、キーワードで勝ったサイトがトップに浮上し、より客観的な評価は表に出てこないのだ。

研究者たちが開発した教材にはそんなテクニックが含まれていて、いつも同じ質問で始めるようにと子どもたちに教える。「この情報の背後に誰がいるのだろう」それはまだ実験段階であるが、昨春にカリフォルニア州の大学でワインバーグのチームが行った試行的実習でわかったのは、そのようにちょっと態度を変えるだけでも大きな結果を生み出したことだ。別のテクニックはさらに単純だ。ただちゃんと読むことだ。

ある研究では、１０に６のリンクで、ユーザーが誰かの要約しか読まずにリツィートしていた。別の研究では、本当の話よりも嘘の方が６倍速くツイッターで広がったのだが、それは驚きや嫌悪感が人を刺激するのにより有効だからだ、ということが分かった。しかし少し間を置けば反射的に応答することを押さえてくれるので、すでに満杯になっているウェブに盲目的にゴミを増やさなくてすむ。「嘘や極端に偏った主張が上手くいくのは、ちょっと奇をてらって訴えるからです」とランドは言う。「ウェブ上で上手く拡散させる同じことが、逆にこれは嘘だとユーザーに気づかせるものにもなるのです」

ハイテク企業は大量の誤情報を削除する仕事で大きな役割を果たし、今それに取り組んでいる。しかし我々が罹っている「情報病」とハーバード大学チームのワードルが呼ぶ病気は、エンジニアだけでは解決できない。アルゴリズムは偽アカウントを見抜くようなことには長けているが、毎週何百万というアカウントにプラットフォームは危険フラッグをつける。それでも今のところフェイスブックがハイエクによって最近の誘導工作を見つけた唯一のサイトなのだ。

「抵抗するもの」という名前の不審なページでは、８月にワシントンDCで計画された「白人の市民的権利」集会に対抗する集会を作り出し、合法的諸団体からその集会への支持表明を取り付けた。フェイスブックがこのサイトは仕組まれた工作の一環であると暴露し、この集会の影響を削ぎ、ユーザーに警告を発したが、すでに2,600人以上が参加することに興味を示していた。虚実が巧妙に入り混じった情報からジャンクを排除する技術に長けた検査者を、フェイスブックは何千人も雇用した。しかしフェイスブックに数え切れないほどの国々や言語で毎日寄せられる何十億もの投稿を手作業で点検するには、その人数では足りなかった。

多くの誤情報の投稿はハイテク企業のサービス規定に違反していない。フェイスブックもジョーンズからの内容を削除した会社の一つであるが、削除決定は「嘘情報」だったからではなく、「非人間的な言葉」という表現上の問題があったからだ、と言っている。アップルとスポティファイは、ヘイト・スピーチを禁じる規定が理由であり、それは一般的には憲法修正第一条で保障されている、と言う。「『表現の自由』は良いようにも悪いようにも利用できるし、両方を受け入れなければなりません」とグーグルのジングラスは言う。「そして両者を識別できる社会を作るのが望ましいのです」

またそのような区別を意識する社会が必要だ。その答えとしては学校がいいのだが、新しいカリキュラムをクラスに取り入れるには、資金や政治的意向が必要だ。教師は新しい教材を理解しなければならないし、生徒に物事を疑うように訓練しなければならないが、かといって社会に対してシニカルにさせてはならない。「児童に情報を疑うように教え始めると、もう何も信用できない、というような態度をとるようになります」とスタンフォード大学のサラ・マグリューは言う。このプログラムを支持する人たちは、他の防衛手段を教えたいと思っている。たとえば画像を逆方向探索する方法（その写真が、誰かが言っていることを本当にそのまま表しているかどうかを確かめる）や、検索バーに偏りのない質問を打ち込む方法などだ。しかし完璧な授業が無料サイトで普及したとしても、すでに卒業している人たちはその授業に自ら参加する必要がある。彼らは率先して、信じたがっている情報を見直すために、進んで自分の偏見に疑問を持たなければならない。また偏狭な心を克服するために柔軟な気持ちになることが、真実を求めるためには有効な方策であることをこれまでの研究では証明されていない。

だからこそ多くの唱道者が、別の有力な手段に訴えなければならないと主張しているのだ。それは恥じるということだ。ワードルが言うには、誤情報を拡散することが飲酒運転と同じくらい恥だと思わなければならない。インターネット上の「デジタル公害」の覚醒を促す必要があると言って、ワインバーグは環境運動を喚起する。「真実ではない情報を転送することによって、自分たちが公害をまき散らしているのだということを、みんなに考えさせなければなりません」小さな行為が集まった時に与える影響、つまり次々に邪悪なそそのかしに乗せられたクリックが、ウェブを害毒に満ちた場所にしている、ということを皆にわからせるという考えだ。正しい情報を持った市民社会を創るということは、大局的にいえば、きれいな空気や水と同じほど生きていくために大事なのかもしれない。「この問題に社会が一つになって取り組むことができなければ、破滅を意味するのです」とワインバーグは言う。