Itse asiassa on kyseessä Kiinalainen huone- nimellä tunnettu argumentti, joka on usein esillä tekoälystä keskusteltaessa. Itse törmäsin siihen kognitiotieteen opinnoissani takavuosina.

Helpoiten jyvälle ehkä pääsee Wikipedian artikkelin kautta. Ks linkin takaa ja alla lainausta ko teksistä.

Oletetaan, että monen vuoden kuluttua olemme saaneet rakennetuksi tietokoneen, joka käyttäytyy niin kuin se ymmärtäisi kiinaa. Kone ottaa syötteenä kiinalaisia kirjoitusmerkkejä, asettaa niitä vastaavuussuhteeseen toisten merkkien kanssa seuraten joukkoa tiettyjä sääntöjä, niin kuin kaikkien tietokoneiden voi sanoa tekevän, ja esittää ne tulosteena. Oletetaan, että kone tekee tämän niin uskottavasti, että se läpäisee Turingin testin helposti, eli saa kiinaa osaavan ihmisen vakuutetuksi siitä, että on itse kiinaa puhuva ihminen. Kone antaa tarkoituksenmukaisen vastauksen kaikkiin ihmisen sille esittämiin kysymyksiin, niin että kiinaa puhuva ihminen uskoo kommunikoivansa toisen kiinaa puhuvan ihmisen kanssa. Vahvan tekoälyn kannattajat tekisivät tästä johtopäätöksen, että kone ymmärtää kiinaa kuten ihminen.

Searle kuitenkin pyytää meitä olettamaan, että hän istuu tietokoneen sisällä. Toisin sanoen hän on pienessä huoneessa, jonka yhdestä ovesta hän saa kiinalaisia kirjoitusmerkkejä, jonka jälkeen hän seuraa sääntökirjaa ja palauttaa toisesta ovesta kiinalaisia kirjoitusmerkkejä sääntöjen mukaan. Searle huomauttaa, että hän ei kuitenkaan osaa sanaakaan kiinaa. Hän väittää, että tämä ymmärryksen puute osoittaa, etteivät tietokoneetkaan ymmärrä kiinaa, koska ne ovat samassa tilanteessa kuin hän. Ne ovat vain mieltä vailla olevia symbolien käsittelijöitä, aivan kuten hänkin — eivätkä ne ymmärrä mitä ne "sanovat", niin kuin ei hänkään.