MediaTek bruker Metas Llama 2-plattform for å forbedre generativ AI

SGGPO 25.08.2023 10:37

MediaTek, et globalt halvlederselskap, har annonsert at de samarbeider tett med Metas Llama 2, selskapets neste generasjons åpen kildekode-språkmodell (LLM).

MediaTek har som mål å bygge et komplett økosystem for Edge Computing

Ved å bruke Metas LLM samt MediaTeks nyeste APU-er og NeuroPilot AI-plattform, har MediaTek som mål å bygge et komplett økosystem for edge computing, designet for å akselerere utvikling av AI-applikasjoner på tvers av smarttelefoner, IoT, kjøretøy, smarthus og andre edge computing-enheter.

For øyeblikket gjøres mesteparten av generativ AI-prosessering via skyen. Bruk av MediaTeks Llama 2-modeller vil imidlertid tillate generative AI-applikasjoner å kjøre direkte på enheten.

Dette gir en rekke fordeler for utviklere og brukere, inkludert jevn ytelse, forbedret personvern, mer sikkerhet og pålitelighet, lavere ventetid, økt evne til å jobbe i områder med liten eller ingen tilkobling, og lavere driftskostnader.

For å virkelig utnytte generativ AI på edge computing-enheter, må produsenter av edge-enheter ta i bruk avanserte, lavstrøms AI-prosessorer og raskere og mer pålitelig tilkobling for å forbedre databehandlingskapasiteten. Hver av MediaTeks 5G-mobilbrikker er i dag utstyrt med APU-er designet for å utføre en rekke generative AI-funksjoner, som AI-støyreduksjon, AI-oppløsningsforbedring og mer.

I tillegg vil MediaTeks neste generasjons flaggskipprosessor, som forventes introdusert senere i år, ha en optimalisert programvarestabel for å kjøre Llama 2, sammen med en oppgradert APU med Transformer-kjerneakselerasjon, redusert DRAM-område- og båndbreddebruk, og ytterligere forbedret LLM- og AIGC-ytelse. Disse fremskrittene legger til rette for rask utvikling av generative AI-brukstilfeller på enheten.

MediaTek forventer at Llama 2-baserte AI-applikasjoner vil være tilgjengelige på smarttelefoner utstyrt med neste generasjons flaggskip-SoC, som forventes å treffe markedet senere i år.

Kilde: https://www.sggp.org.vn/mediatek-su-dung-nen-tang-llama-2-cua-meta-de-nang-cao-ai-tao-sinh-post703005.html