돈이 아니라 엔비디아에 가장 중요한 지수다

엔비디아의 매출은 지난 분기에 441억 달러 로 늘어났지만, 이 칩 대기업의 가장 중요한 지표 중 하나는 돈이 아닙니다.

대신 5월 내내 업계를 선도하는 기술 CEO이자 Nvidia의 가장 큰 고객은 토큰의 성장에 대한 기대감을 표명했습니다.

엔비디아의 최고재무책임자(CFO)인 콜레트 크레스는 "OpenAI, 마이크로소프트, 구글은 토큰 생성 능력에서 비약적인 발전을 이루고 있습니다. 마이크로소프트는 1분기에 100조 개가 넘는 토큰을 처리했는데, 이는 전년 대비 5배 증가한 수치입니다."라고 말했습니다.

AI의 가장 기본적인 단위

인공지능(AI) 세계 에서 토큰은 컴퓨터의 언어 처리 능력을 뒷받침하는 가장 기본적인 구성 요소 중 하나입니다. 토큰은 AI 모델이 의미 있는 문장, 아이디어, 그리고 상호작용을 구성하는 데 도움이 되는 레고 조각과 같습니다.

단어, 구두점, 심지어 음성 인식에서 오디오 조각까지, 토큰은 AI가 콘텐츠를 이해하고 생성할 수 있도록 하는 작은 구성 요소입니다. 다시 말해, 토큰은 텍스트 생성부터 감정 분석까지 모든 것을 작동시키는 배후의 팀입니다.

토큰화의 마법은 그 유연성에서 비롯됩니다. 간단한 작업의 경우, 대규모 언어 모델(LLM)은 각 단어를 별도의 토큰으로 처리할 수 있습니다. 하지만 생소하거나 새로운 단어처럼 상황이 더 복잡해지면, LLM은 이를 더 작은 부분(하위 단어)으로 나눌 수 있습니다. 이렇게 하면 AI는 익숙하지 않은 용어에도 원활하게 작동합니다.

토큰은 컴퓨터가 언어를 처리하는 능력을 뒷받침하는 가장 기본적인 구성 요소 중 하나입니다. 사진: CCN.

GPT-4와 같은 최신 모델은 약 5만 개의 토큰으로 구성된 방대한 어휘를 사용합니다. 각 입력 텍스트는 처리되기 전에 어휘 분할 과정을 거쳐야 합니다.

이 단계는 AI 모델이 텍스트를 해석하고 생성하는 방식을 표준화하여 모든 과정이 최대한 원활하게 진행되도록 돕기 때문에 중요합니다. 토큰화는 언어를 더 작은 단위로 나눔으로써 AI가 언어 작업을 높은 정확도와 속도로 처리하는 데 필요한 모든 것을 제공합니다.

이 과정이 없다면 현대 AI는 그 잠재력을 최대한 발휘할 수 없을 것입니다. AI 도구가 계속 발전함에 따라 출력 또는 추론을 위해 생성되는 토큰의 수는 많은 사람들이 예상했던 것보다 빠르게 증가하고 있습니다.

모건 스탠리 분석가들은 "장기적으로는 폭발적인 토큰 성장이 정말 중요하다"고 말했습니다.

토큰은 왜 중요한가요?

NVIDIA CEO 젠슨 황은 업계 고위 인사들과의 대화에서 토큰의 상승을 AI 도구가 가치를 제공하고 있다는 신호로 보았습니다.

"기업들은 지난 분기와 지난달에 얼마나 많은 토큰을 생성했는지에 대해 이야기하기 시작했습니다. 곧 모든 공장이 그렇듯이 시간당 얼마나 많은 토큰이 생성되는지에 대해서도 이야기하게 될 것입니다." 황 CEO는 세계 최대 규모의 기술 행사 중 하나이며, 특히 컴퓨터 및 주변 기기 분야에서 큰 주목을 받는 컴퓨텍스 2025에서 이렇게 말했습니다.

토큰은 AI 시스템이 언어를 분석하고 이해하는 데 도움을 주어 텍스트 생성부터 감정 분석까지 모든 것을 가능하게 합니다. Google Translate는 이 단원의 중요성을 잘 보여주는 사례입니다.

구체적으로, AI가 텍스트를 한 언어에서 다른 언어로 번역할 때, 시스템은 먼저 텍스트를 토큰으로 분해합니다. 이 토큰은 AI가 각 단어나 구문의 의미를 이해하는 데 도움을 주어, 번역이 문자 그대로일 뿐만 아니라 문맥적으로도 정확하도록 보장합니다.

단어, 구두점, 심지어 음성 인식에서 오디오 조각까지, 토큰은 AI가 콘텐츠를 이해하고 생성할 수 있게 해주는 작은 구성 요소입니다. 사진: 토니 그레이슨

또한, 토큰은 AI가 텍스트의 감정을 읽는 데 매우 효과적입니다. 감정 분석을 통해 AI는 텍스트가 사용자의 감정에 어떤 영향을 미치는지 분석합니다. 긍정적인 제품 리뷰, 부정적인 피드백, 중립적인 댓글 등 어떤 텍스트든 분석할 수 있습니다.

AI는 텍스트를 토큰으로 분류함으로써 텍스트의 어조가 긍정적인지, 부정적인지, 아니면 중립적인지 판단할 수 있습니다. 이는 특히 마케팅이나 고객 서비스 분야에서 유용합니다. 사용자가 제품이나 서비스에 대해 어떻게 생각하는지 파악하여 향후 전략을 수립할 수 있기 때문입니다.

또한, 토큰을 사용하면 AI가 언어에서 미묘한 감정적 단서를 포착하여 기업이 피드백이나 새로운 트렌드에 따라 신속하게 조치를 취하는 데 도움이 됩니다.

AI 시스템이 더욱 강력해짐에 따라 토큰화 기술도 효율성, 정확성, 유연성에 대한 증가하는 요구를 충족하도록 발전해야 합니다.

핵심은 속도입니다. 따라서 향후 토큰화 방식은 토큰을 더 빠르게 처리하여 AI 모델이 더 큰 데이터 세트를 관리하면서 실시간으로 대응할 수 있도록 하는 것을 목표로 해야 합니다.

더 중요한 것은, 이 시스템의 미래가 텍스트에만 국한되지 않는다는 것입니다. 멀티모달 토큰화의 적용은 이미지, 비디오 , 오디오 등 다양한 데이터 유형을 통합함으로써 AI의 확장성을 향상시킬 것입니다.

사진을 완벽하게 분석하고, 핵심 정보를 추출하고, 이야기를 만들어낼 수 있는 AI를 상상해 보세요. 이를 위해서는 시스템에 향상된 토큰화 프로세스가 필요합니다. 이러한 혁신은 교육 , 의료, 엔터테인먼트와 같은 분야에 더욱 포괄적인 통찰력을 제공하여 혁신을 가져올 수 있습니다.

출처: https://znews.vn/khong-phai-tien-day-moi-la-chi-so-quan-trong-nhat-voi-nvidia-post1557810.html