トークンとは、かんたんに言うと、コンピューターが相手や利用できる機能を確認するための情報、または文章を処理するための単位です。
ログインに使うトークンと、生成AI（質問に答えたり、文章や画像を作ったりするAI）で使うトークンでは、意味が異なります。
この記事では、ITにおけるトークンの意味や仕組み、パスワードとの違い、生成AIでの数え方を初心者向けに解説します。
関連するIT用語・ビジネス用語をまとめて確認したい方は、IT用語・ビジネス用語一覧もあわせてご覧ください。
トークンとは？使われる場面によって意味が変わる言葉
トークンとは、英語で「しるし」や「証拠となるもの」を表す言葉です。
ITでは、本人であることや利用できる機能を確認する情報として使われます。また、生成AIやプログラミングでは、文章や命令を分けた単位を表します。
| 使われる場面 | トークンの意味 |
|---|---|
| ログインや認証 | 本人確認が済んでいることなどを示す情報 |
| Webサービスやアプリ | 決められた情報や機能の利用を許可する情報 |
| 生成AI | AIが文章を読み書きするときの単位 |
| プログラミング | プログラムを意味のある部分に分けた単位 |
同じ「トークン」という言葉でも、使われる場面によって役割が変わります。まずは「確認に使う情報」と「文章などを分けた単位」の2つに分けると理解しやすくなります。
トークンを身近な例で考える
ログインや利用の許可に使うトークンは、イベント会場で渡される入場証に似ています。
受付で本人確認を済ませると、入場証を受け取ります。会場の入口では、毎回本人確認をやり直さなくても、入場証を見せれば中に入れます。
ITでも、ログイン後にトークンが発行されることがあります。Webサービスやアプリは、そのトークンを確認して、利用できる情報や機能を判断します。
ただし、実際のトークンは紙の入場証ではありません。コンピューターで扱う文字や数字などの情報です。
認証とアクセス許可の違い
ログインに関係するトークンを理解するには、「認証」と「アクセス許可」の違いを知っておく必要があります。
認証とは、サービスを使おうとしている人が本人かどうかを確かめることです。IDやパスワードなどを使って確認します。
アクセス許可とは、本人確認のあとで、どの情報や機能を使ってよいかを決めることです。ここでいうアクセスとは、情報や機能を利用することです。
会社を例にすると、社員証で本人を確かめるのが認証です。その社員が入れる部屋を決めるのがアクセス許可です。
ITでは、ログインによって利用者を確かめ、トークンによって利用できる情報や機能を判断することがあります。
認証やアクセス許可で使うトークン
Webサービスやアプリでは、利用者が正しくログインしたか、どの機能を使えるかを確認するためにトークンが使われます。
トークンには、利用できる期間や機能が決められることがあります。期限を過ぎると、同じトークンを使えなくなる仕組みが一般的です。
| 種類 | かんたんな意味 |
|---|---|
| アクセストークン | 決められた情報や機能を利用するための情報 |
| セッショントークン | ログイン中であることを見分けるための情報 |
| リフレッシュトークン | 新しいアクセストークンを受け取るための情報 |
サービスによって使われるトークンの種類や名称は異なります。
アクセストークンとは
アクセストークンとは、アプリやサービスが、決められた情報や機能を利用するための許可証のような情報です。
例えば、あるアプリから別のサービスに保存された情報を利用するときに使われます。サービス側はアクセストークンを確認し、許可された範囲だけ利用できるようにします。
セッショントークンとは
セッショントークンとは、利用者がログインしている状態を見分けるための情報です。
セッションとは、Webサイトにログインしてから操作を終えるまでの一連のつながりです。セッショントークンを使うことで、ページを移動するたびにログインし直さずに済みます。
リフレッシュトークンとは
リフレッシュトークンとは、新しいアクセストークンを受け取るための情報です。
アクセストークンの期限が切れたときでも、条件を満たしていれば、ログイン操作を何度も行わずに新しいトークンを受け取れます。
トークンを使う仕組み
トークンが発行されてから確認されるまでの流れは、サービスによって異なります。一般的な流れは次のとおりです。
- 利用者がIDやパスワードなどでログインする
- サービスが入力された情報を確認する
- 確認ができるとトークンを発行する
- アプリやブラウザーがトークンをサービスへ送る
- サービスがトークンの内容や期限を確認する
- 問題がなければ、決められた機能を利用できる
ブラウザーとは、Webサイトを見るためのソフトです。Microsoft EdgeやGoogle Chromeなどがあります。
トークンを使うと、操作のたびにパスワードを入力する必要がなくなります。また、利用できる機能や期間を分けて管理しやすくなります。
トークンとパスワードの違い
トークンとパスワードは、どちらもログインに関係します。しかし、役割は同じではありません。
| 比較する点 | パスワード | トークン |
|---|---|---|
| 主な役割 | 本人であることを確かめる | 確認済みの状態や利用できる範囲を示す |
| 作る人 | 利用者が決めることが多い | サービスが発行することが多い |
| 有効期限 | 長期間使う場合がある | 期限が決められる場合が多い |
| 使われる場面 | 主にログインするとき | ログイン後の確認や機能の利用時 |
パスワードは、受付で本人確認をするための情報に近いものです。トークンは、本人確認後に渡される入場証に近いものです。
ただし、実際の仕組みはサービスによって異なります。すべてのサービスが同じ方法でトークンを使っているわけではありません。
生成AIにおけるトークンとは
生成AIにおけるトークンとは、AIが文章を読み書きするときに使う単位です。
生成AIは、入力された文章をそのまま一度に読んでいるわけではありません。文章を文字、単語、単語の一部、記号などに分けて処理します。
このように、文章をAIが処理できる小さな単位に分けることを「トークン化」といいます。分けられた一つ一つの単位がトークンです。
生成AIが文章を処理する流れ
- 入力された文章を小さな単位に分ける
- 分けたトークンをAIが読み取る
- 文章の前後のつながりを確認する
- 回答をトークン単位で組み立てる
- 人が読める文章として表示する
例えば、「今日は晴れです」という文章も、AIの中ではいくつかのトークンに分けられます。
ただし、どこで区切られるかはAIの種類や仕組みによって異なります。必ず単語ごとに分かれるわけではありません。
1トークンは何文字なのか
1トークンが何文字になるかは、固定されていません。
1文字だけで1トークンになることもあれば、複数の文字が一つのトークンになることもあります。記号や空白がトークンとして数えられる場合もあります。
そのため、次のような単純な数え方はできません。
- 1トークンは必ず1文字
- 1トークンは必ず1単語
- 100文字なら必ず100トークン
同じ文章でも、使うAIや言語によってトークン数が変わることがあります。日本語と英語でも数え方は同じではありません。
正確なトークン数を知りたい場合は、利用しているAIサービスが用意している確認方法を使います。
入力トークンと出力トークンの違い
生成AIで使われるトークンは、主に入力トークンと出力トークンに分けられます。
| 種類 | 意味 | 具体例 |
|---|---|---|
| 入力トークン | 利用者がAIへ送った文章のトークン | 質問、指示、読み込ませた文章 |
| 出力トークン | AIが作った回答のトークン | 説明文、要約、質問への回答 |
長い文章をAIへ送ると、入力トークンが増えます。AIに長い回答を作らせると、出力トークンが増えます。
利用できるトークン数には、AIやサービスごとに上限が設けられている場合があります。
プログラミングにおけるトークンとは
プログラミングにおけるトークンとは、プログラムを意味のある部分に分けた単位です。
例えば、命令を表す言葉、数字や文字を入れておく場所の名前、計算記号などが、それぞれトークンとして扱われます。
コンピューターは、書かれたプログラムをトークンに分けて命令の形を確認します。この意味でのトークンは、認証用のトークンや生成AIのトークンとは役割が異なります。
初心者が間違えやすい点
トークンはすべて同じものではない
トークンは、使われる場面によって意味が変わります。
Webサービスでは、利用できる情報や機能を確認するために使われます。生成AIでは、文章を処理する単位として使われます。
トークンとパスワードは同じではない
パスワードは、本人であることを確かめるために使われます。
トークンは、本人確認後の状態や、利用できる情報や機能を示すために使われることがあります。
1トークンは1文字とは限らない
生成AIのトークン数は、文章の文字数と同じではありません。
文章の内容や言語、AIの種類によって、同じ文字数でもトークン数が変わることがあります。
ゲームなどで使うトークンとは意味が異なる
「トークン」という言葉は、ゲームなどでも使われます。
ゲーム内のトークンは、認証や生成AIで使われるトークンとは別の意味です。調べるときは「トークンとは AI」「トークンとは 認証」のように、分野を加えると見つけやすくなります。
認証用のトークンを扱うときの注意点
認証やアクセス許可に使うトークンは、第三者に見せないようにします。
トークンの種類によっては、持っている人がサービスを利用できる場合があるためです。メール、SNS、公開されたWebページなどに貼り付けないようにしましょう。
不要になったトークンを無効にできるサービスもあります。無効にするとは、そのトークンを使えない状態にすることです。
トークンの管理方法は、利用しているサービスの案内に従ってください。
トークンについてよくある質問
トークンとは何ですか？
トークンとは、ITで情報の確認や処理に使われる情報または単位です。
ログイン済みの状態を示す情報や、生成AIが文章を処理する単位などを指します。
トークンはどこに保存されますか？
認証用のトークンは、ブラウザーやアプリの中に保存されることがあります。
保存される場所や期間は、サービスの仕組みによって異なります。
トークンには有効期限がありますか？
認証やアクセス許可に使うトークンには、有効期限が設定されることがあります。
期限が切れた場合は、新しいトークンが発行されたり、再びログインが必要になったりします。
トークンとCookieの違いは何ですか？
Cookieとは、Webサイトがブラウザーに保存する小さな情報です。ログイン状態や画面の設定などを保存するために使われます。
トークンは、本人確認後の状態や利用できる機能などを示す情報です。トークンをCookieの中に保存する仕組みもあるため、両者は同じものではありません。
生成AIのトークン数は文字数と同じですか？
トークン数と文字数は同じではありません。
1文字が一つのトークンになる場合もあれば、複数の文字が一つになる場合もあります。数え方は、AIや言語によって変わります。
トークンが切れるとはどういう意味ですか？
認証用のトークンが切れるとは、有効期限を過ぎて使えなくなることです。
新しいトークンが自動で発行される場合もあれば、再びログインが必要になる場合もあります。
まとめ｜トークンとは確認に使う情報や文章を処理する単位
トークンとは、コンピューターが本人や利用できる機能を確認するための情報、または文章などを処理するための単位です。
認証やWebサービスでは、ログイン済みの状態や利用できる範囲を示す情報として使われます。生成AIでは、文章を小さく分けて処理する単位として使われます。
トークンは、使われる場面によって意味が変わります。「確認に使う情報なのか」「生成AIなどが文章を処理する単位なのか」を分けて考えると理解しやすくなります。