パスフィルタリング

パスフィルタリングでは、包含パターンと除外パターンを定義し、インデックスするファイルや URL を制御できます。特定のコンテンツだけをインデックスしたり、検索対象にしたくないファイルをスキップしたりするときに使います。

パスフィルタリングは、Web サイト と R2 のどちらのデータソースでも使えます。

AI Search インスタンスの作成時または編集時に、パスフィルターを設定できます。ダッシュボードでは Path Filters を開き、包含ルールまたは除外ルールを追加します。インスタンスの Settings ページから、いつでもパスフィルターを更新できます。

REST API を使う場合は、設定の source_params に include_items と exclude_items を指定します。

どちらのパラメーターも任意です。どちらも指定しない場合、データソースの全アイテムがインデックスされます。

除外ルールは包含ルールより優先されます。フィルタリングは次の順で適用されます。

1. 除外チェック: アイテムがいずれかの除外パターンに一致する場合、スキップされます。
2. 包含チェック: 包含パターンが定義されていて、アイテムがどれにも一致しない場合、スキップされます。
3. インデックス: アイテムはインデックスへ進みます。

パターンは、micromatch ↗ に基づく、大文字と小文字を区別するワイルドカード構文を使います。

パターンに含められる文字は次のとおりです。

• 英字、数字、アンダースコア（a-z、A-Z、0-9、_）
• ハイフン（-）とドット（.）
• パス区切り（/）
• URL 文字（?、:、=、&、%）
• ワイルドカード（*、**）

フィルタリングルールでスキップされたアイテムは、ジョブログに次の理由で記録されます。

• 除外一致: Skipped by rule: {pattern}
• 包含不一致: Skipped by Include Rules

フィルターが期待どおり動いているかは、AI Search インスタンスの Jobs タブで確認できます。

• 大文字と小文字の区別: パターン照合は大文字と小文字を区別します。/Blog/* は /blog/post.html に一致しません。
• 完全パス照合: パターンはパスまたは URL 全体に一致します。部分一致には先頭に ** を付けます。たとえば docs/* は docs/file.pdf に一致しますが、site/docs/file.pdf には一致しません。**/docs/* は両方に一致します。
• 単一の * はディレクトリをまたぎません: パス区切りをまたいで一致させるには ** を使います。たとえば docs/* は docs/file.pdf に一致しますが、docs/sub/file.pdf には一致しません。docs/** は両方に一致します。
• 末尾のスラッシュは意味を持ちます: URL は正規化せず、そのまま照合します。/blog/ は /blog に一致しません。

共有バケットを使い、テナントごとに分離したインスタンスを用意する方法は、マルチテナンシー を参照してください。

API を使う場合は、source_params にパターンを指定します。

{
	"source_params": {
		"include_items": ["<PATTERN_1>", "<PATTERN_2>"],
		"exclude_items": ["<PATTERN_1>", "<PATTERN_2>"]
	}
}