Mac Sasa Inaweza Kutafuta Kila Fremu ya Video Yako Bila Cloud

Msanidi programu ametoa SCM (Screen Memories), programu huria (open-source) ya macOS inayokuwezesha kuelezea kumbukumbu kwa lugha ya kawaida na kukufikisha kwenye kipande kamili cha video, si faili tu. Kulingana na ukurasa wa mradi, uchakataji (inference) hufanyika kwenye Mac yako, bila akaunti, bila kupakia chochote na bila telemetry (ukusanyaji wa data ya matumizi). Uzito wa modeli (model weights) hupakuliwa mara moja; baada ya hapo, programu hufanya kazi bila intaneti.

Ishara: Utafutaji Unahamia Pembezoni mwa Mtandao (Edge)

Jambo la kuvutia si programu yenyewe bali mfumo ulio chini yake. Modeli za embedding (zinazobadilisha picha na maandishi kuwa orodha ya namba), utambuzi wa hotuba na modeli ndogo ya mazungumzo sasa zinaweza kufanya kazi kwa kiwango cha kuridhisha kwenye kompyuta mpakato ya kawaida, kwa kutumia vipengele vya bure vilivyo tayari: modeli za maono CLIP na SigLIP kupitia ONNX Runtime, Whisper kwa hotuba, Tesseract kwa maandishi, ffmpeg kwa video, na llama.cpp kwa mazungumzo. Msanidi mmoja anaweza kuunganisha kile ambacho hapo awali kilihitaji muuzaji wa huduma za cloud. Chanzo pia kinataja modeli ya mazungumzo ya kawaida yenye ukubwa wa takriban 1.1GB, ambayo kinasema inatosha kwenye Mac za 8GB. Kama hilo litathibitika kwa vitendo, hoja ya faragha kwa utafutaji wa ndani ya kifaa haiwagharimu tena watumiaji uwezo mwingi.

Inavyofanya Kazi

Wazo kuu ni embedding: modeli ya maono hubadilisha picha kuwa orodha ndefu ya namba, na kubadilisha swali lako la maandishi kuwa aina hiyo hiyo ya orodha. Picha ambazo namba zake ziko karibu zaidi na namba za swali lako (kwa kipimo cha cosine similarity) hupangwa juu kabisa. Ndiyo maana unaweza kutafuta "mwavuli mwekundu kwenye barabara yenye mvua" bila mtu yeyote kuwa ameiwekea picha hiyo lebo.

Video ni ngumu zaidi kwa sababu faili moja ina maelfu ya fremu. SCM hutumia ffmpeg kugundua mipaka ya matukio (shot boundaries), hugawa kila video kuwa vipande, hutengeneza embedding ya fremu moja ya katikati kwa kila kipande, na huhifadhi picha ya poster. Watumiaji huchagua kiwango cha msongamano (density preset), kuanzia sampuli moja kila sekunde 60 (Eco) hadi moja kila sekunde 2.5 (Ultra Pro, ambacho kinahitaji uthibitisho). Mradi unasema kila kiwango huonyesha muda na nafasi ya diski iliyopimwa kabla hujajitolea, na hicho ndicho kikwazo halisi: utafutaji wa kina zaidi unamaanisha uchakataji na uhifadhi zaidi.

Maandishi hushughulikiwa kivyake. OCR (optical character recognition, yaani utambuzi wa herufi kwa macho ya kompyuta) husoma maneno yanayoonekana kwenye picha na fremu, na hulinganishwa neno kwa neno. Utafutaji wa mazungumzo hutumia nakala za Whisper na pia hulinganisha neno kwa neno, katika ngazi tatu kuanzia mstari kamili hadi maneno yote kuonekana mahali fulani ndani ya video ile ile. Hakuna kati ya hivi kinachotegemea modeli ya maono, kwa hiyo vinafanya kazi hata modeli hiyo ikiwa bado inajiandaa.

Pia kuna hali ya mazungumzo (chat) ya hiari inayojibu maswali kwa kutumia ushahidi ambao programu tayari imeutoa pekee, ikiwa na manukuu yenye namba, na inakatisha kabla modeli haijaendeshwa kama hakuna ushahidi. Uamuzi huu wa muundo unapunguza, ingawa haufuti kabisa, hatari ya majibu ya kubuni.

Mapungufu Yaliyojengwa Ndani Yake

Maelezo kadhaa yanaonyesha mahali ambapo utafutaji wa ndani ya kifaa bado una changamoto. Modeli nne za maono hubadilishana kati ya kasi na undani: chanzo kinataja takriban milisekunde 50 hadi 100 kwa picha kwa ile ya haraka zaidi, na takriban milisekunde 480 hadi 570 kwa CLIP ya kawaida. Kubadilisha modeli kunalazimu maktaba nzima kutengenezewa embedding upya nyuma ya pazia, na wakati huo utafutaji hurudi kwenye maneno ya majina ya faili. Kubadilisha modeli ya Whisper kunalazimu video zote kunakiliwa upya kwa maandishi. Vyombo vyako vya habari pia hunakiliwa kwenye maktaba inayosimamiwa na programu, kwa hiyo unarudufu faili zako ili ziweze kutafutwa. Madai ya faragha ya mradi, ikiwemo renderer yake iliyotengwa (sandboxed) na msimamo wa kutokuwa na telemetry, ni ya msanidi mwenyewe na hayajakaguliwa kwa kujitegemea hapa.

Maswali Unayopaswa Kujiuliza

• Kama faharasa ya picha zako, picha za skrini na mazungumzo yaliyosemwa iko kwenye folda moja ya diski, inalindwaje, na nani anaweza kuisoma Mac ikipotea au ikitumiwa na mtu mwingine?
• Programu hufanya OCR kwa kila kitu, ikiwemo anwani za email, na ina kichupo kilichojengwa kuzibaini. Nini kinatokea maktaba ikiwa na nyaraka, vitambulisho au taarifa za watu wengine ambazo hukukusudia ziwe zinatafutika?
• Mradi unasema alama za utafutaji ni "za kweli" kupitia usawazishaji (calibration) wa kila modeli. Ushahidi uko wapi kwamba matokeo ya "hakuna kilichopatikana" yanaaminika, na ungeyajaribuje kwenye video zako mwenyewe?
• Kunakili media yote kwenye maktaba inayosimamiwa kunaongeza matumizi ya nafasi mara mbili. Je, gharama hiyo inakubalika kwa kumbukumbu zako, na njia ya kutoka ni ipi mradi ukiachwa?
• Uzito wa modeli hupakuliwa kutoka kwa wenyeji wa wahusika wengine wakati wa usakinishaji. Nani anayethibitisha usalama wake, na sera yako ni ipi kuhusu zana huria zinazopakua modeli zinapoendeshwa mara ya kwanza?

Cha Kufuatilia Baadaye

Ishara muhimu ni kama mifumo ya uendeshaji na programu kuu za picha zitaleta uwezo huu wenyewe, zikiwa na utafutaji wa video kwa kiwango cha tukio na utafutaji wa hotuba unaoendeshwa ndani ya kifaa kwa chaguo-msingi. Wakifanya hivyo, zana za pekee kama hii zitakuwa mifano ya marejeo ya muundo; wakibaki kutegemea cloud, miradi kama SCM itaashiria mbadala wa wanaojali faragha. Fuatilia vipimo huru (benchmarks) vya usahihi na kasi kwenye maktaba kubwa, na kama mfumo wa usakinishaji unaotanguliza Homebrew, ambao huondoa kiotomatiki alama za karantini (quarantine flags) za macOS, utavutia ukaguzi mkali.