Sentensi moja ilipunguza data za kubuni kutoka 71% hadi 20% na kufichua udhaifu wa API

Mifumo yote kumi na sita ilibuni bei. Sentensi moja iliizuia kumi na mitano.

Tarehe 27 Septemba 2026, jaribio la vigezo (benchmark) lililochapishwa na Earn an Honest Dollar, soko ambalo mawakala wa programu hununua huduma kutoka kwa mawakala wengine, lilijaribu washiriki 19 kwa swali moja: pale ambapo ukweli haupo kwenye ukurasa wa wavuti, je, kichimbuzi cha data (extractor) kinasema hivyo, au kinabuni kitu?

Kwa mifumo 16 ya lugha (language models), matokeo yalikuwa wazi kabisa. Bila maelekezo ya wazi, mifumo ilibuni thamani kwa sehemu 405 kati ya 573 zilizokosekana (70.7%). Baada ya kuongeza sentensi moja kwenye prompt (maelekezo tunayoipa AI), "Tumia null kwa sehemu yoyote ambayo thamani yake haipo kwenye ukurasa. Usikisie.", idadi hiyo ilishuka hadi 116 kati ya 574 (20.2%). Kila mmoja wa mifumo 16 alibuni zaidi bila sentensi hiyo. Kwenye ukurasa mmoja wa majaribio uliokuwa na "Was $493.00" iliyokatwa kwa mstari na hakuna bei ya sasa, mifumo yote 16 iliripoti 493 kama bei. Ikiwa na sentensi hiyo, mfumo mmoja tu ulifanya hivyo.

Mtego unavyofanya kazi

Muundo wake ni rahisi vya kutosha kunakiliwa. Timu iliunda jozi 42 za kurasa katika aina 7 za kurasa. Kila jozi hutofautiana kwa safu moja: kwenye ukurasa wa kwanza jibu lipo, kwenye wa pili limefutwa. Kurasa zote mbili zina chambo kimoja cha kupotosha, yaani bei ya zamani, mstari wa "Fact-checked by Omar Tamm" ambaye si mwandishi, au muhuri wa "Last updated September 7, 2020" ambao si tarehe ya kuchapishwa. Kichimbuzi chenye uaminifu hurudisha thamani kwenye ukurasa wa kwanza na null kwenye wa pili. Ni kurasa zenye sehemu iliyokosekana tu ndizo zilizopigwa alama, na ukumbi ulioripotiwa kama "TBA" huhesabiwa kuwa umebuniwa.

Null, hapa, ni namna ambayo mashine huelewa "hakuna thamani." Hilo ni muhimu kwa sababu matokeo mengi ya uchimbaji wa data huingia moja kwa moja kwenye hifadhidata au kwa wakala mwingine, ambako maandishi yanayoonekana kuwa sahihi lakini ni makosa hayaonekani, wakati null ni ishara ya tahadhari. Kasoro inayopimwa si ujinga, bali ni mfumo kukamilisha umbo la jibu kwa nambari ya karibu inayopatikana, ndivyo hasa vyambo hivyo vilivyoundwa kuvutia.

API zinazolipiwa ndizo zilizofichuka

Matokeo yanayokera si kuhusu mifumo ya lugha. Ni kuhusu huduma za kibiashara za uchimbaji data, ambazo zote tatu ziliendeshwa kwenye viwango vya bure na kwa maelekezo hayo pekee. Firecrawl ilibuni sehemu 24 kati ya 36 zilizokosekana, mbaya kuliko mifumo 13 kati ya 16, kwa mipaka ya kujiamini isiyopishana, na majibu yote 24 yalinakili chambo. ScrapingBee ilibuni 16 kati ya 36; ScrapeGraphAI, 7 kati ya 31. Wakati huo huo, HTTP fetch ya kawaida, yaani HTML iliyoondolewa muundo na kuwa maandishi, ikipelekwa kwa GPT-6 Luna, ilibuni 5 kati ya 36, kwa gharama ya jumla ya $0.0049 kwa kurasa zote 84.

Ripoti pia ilijaribu hatua ya pili ya bei nafuu: kumuuliza mfumo mdogo kama ukurasa unaunga mkono kila thamani iliyorudishwa. GPT-6 Luna ilikamata thamani 38 zilizobuniwa kati ya 49 na haikukataa kimakosa hata moja kati ya 47 sahihi; kwenye uongo 24 wa Firecrawl, ilikamata 20. Mfumo wa maamuzi wa gharama nafuu zaidi, Jev 1.13, ulikamata 23 kati ya 49 na ulikosa kila kisa cha maana iliyokaribiana, kama muda wa kupika au muda wote kurudishwa kama muda wa maandalizi, 0 kati ya 6 zilikamatwa. Kukagua jozi zote 126 za ukurasa na thamani zilizorudishwa kuligharimu $0.0049 kwa Luna, $0.0024 kwa Jev.

Tahadhari ni zile za mchapishaji mwenyewe: mbio moja kwa kila mshiriki, hakuna marudio, kurasa za kubuni zenye mitego iliyoandikwa na timu yenyewe, mipango ya kulipia haikujaribiwa, na mfumo wa biashara wa soko unaonufaika na aina hii ya kulinganisha bei kabla ya kununua. Tovuti inasema wazi kuwa orodha si alama na kwamba haithibitishi madai ya watoa huduma.

Maswali Unayopaswa Kujiuliza

• Je, prompt ya muuzaji wako wa uchimbaji data ina maelekezo ya wazi ya null, na je, watakuonyesha maneno kamili yaliyotumika, au ni kazi yako kuyatoa?
• Sehemu inapokosekana kwenye ukurasa wa chanzo, nini kinaingia kwenye hifadhidata yako: null, maandishi matupu, au nambari ya robo mwaka iliyopita?
• Ikiwa mfumo wako unalipa kwa kila credit kwa API inayonakili vyambo, malipo hayo ya ziada yananunua nini juu ya fetch ya kawaida pamoja na mfumo wa nusu senti kwa kila mbio?
• Nani ndani ya timu yako amewahi kufanya jaribio kwenye ukurasa ambao jibu liliondolewa kwa makusudi, badala ya ule ambao jibu lipo?
• Je, jaribio la vigezo la mbio moja, lenye kurasa za kubuni, kutoka kampuni inayouza orodha za mawakala, lingestahimili mbio ya pili, na je, kuna mtu aliyeomba hiyo?

Cha Kufuatilia Baadaye

Ishara ya kufuatilia ni kama mtu yeyote atarudia jaribio hili kwenye tovuti halisi badala ya za kubuni, na kama API zinazolipiwa zikiendeshwa kwenye viwango vyake vya kulipia zitajibu kwa takwimu zake zenyewe. Firecrawl, ScrapingBee na ScrapeGraphAI sasa zina takwimu iliyochapishwa kando ya majina yao kutoka mbio moja ya kiwango cha bure; ukimya kutoka kwa zote tatu ungeonyesha zaidi kuliko jibu la kukanusha kutoka kwa moja.