教育訓練機械学習モデル

複数の教育訓練モデルを一度に展開できますか？

異なる教育モデルタイプを持つ場合には複数の教育訓練モデルを展開することができます。現在のところ、教育訓練モデルは 1 つしかないため、教育訓練モデルは 1 つしか展開することができません。新しい教育訓練モデルを展開すると既存の展開モデルが置き換えられます。

TMF ボットは再教育訓練できますか？

まざまなドキュメントセット、さまざまな予想確実基準値、またはさまざまなドキュメントタイプごとの最小ドキュメント数の値を使用して、必要なだけ教育訓練モデルを作成することができます。これらは、システム内に展開する前にすべてレビュー・展開することができるため、最良のものを選択して展開することができます。

モデルを教育訓練して展開し、その後回収した場合、夜間ジョブはモデルが展開されていないことを検出して、モデルの教育訓練および展開を自動的に行おうとしますか？

自動オン TMF ボット機能は、1 回のメジャーリリースにつき 1 つの教育訓練モデルのみを作成、展開、および教育訓練します。そのモデルを回収した場合でも、再展開されることはありません。次のメジャーリリースでは、他のモデルが展開されていない場合、および前のリリースの自動教育訓練モデルが展開されている場合は、新規のモデルが作成、教育訓練、および展開されます。

TMF ボットは、異なるシナリオの異なるドキュメントタイプにファイリングする同様のドキュメントで教育訓練することができますか？

これまで類似したドキュメントを異なる分類にファイリングすることに一部成功を確認していますが、これらのドキュメントはTMF ボットが自動分類するのに十分な確実性がない場合が多いです。データを基づく理由 (移動先を指定するファイルコンテンツまたはファイル名の情報)がない類似ドキュメントに異なる分類を設定しても、TMF ボットでは上手く機能しません。

機械学習モデルを教育訓練するために使用するパラメータの変更、またはパラメータへの追加を行うことができますか？

予想確実基準値 (ドキュメントを自動分類する前に持つ必要がある予想の確実性) およびドキュメントタイプごとの最小ドキュメント数 (そのドキュメントタイプにモデルが予想する前にドキュメントタイプに必要なドキュメント数) を制御することができます。ただし、追加または変更できるその他のパラメータはありません。

TMF ボットを教育訓練するために必要なドキュメント数を教えてください。

少なくとも 1,000 の固有状態 (承認済みまたは最終) ドキュメントを使用することが推奨されます。一般に、ドキュメント数が多いほどモデルが正確になります。

教育訓練モデルの教育訓練に使用できるドキュメント数に制限または最適数はありますか？

教育訓練モデルの教育訓練に使用できる上限は 200,000 です。ドキュメントの最適数は 200,000 です。ドキュメント数が 200,000 未満の場合にはできるだけ多くのドキュメントを使用するようにしてください。教育訓練モデルに送信されるすべてのドキュメントが 100% 正確に分類されることが最も好ましいです。

より多くのドキュメントを使用した方が教育訓練モデルが正確になりますか？

はい。一般に、教育訓練モデルに提供するドキュメント数が多いほどモデルが正確になります。ただしこれは、予想確実性基準値とシステムの分類の正確性によって異なります。

教育訓練モデルを教育訓練すると Vault のパフォーマンスが遅くなりますか？

いいえ、遅くなりません。教育訓練モデルは、Vault が日常的に使用するものとは別のキューとスレッドを使用します。

Vault は、教育訓練モデルの教育訓練中にドキュメントセットを教育訓練セットとテストセットに自動的に分割しますか？

Vault は、教育訓練モデルの教育訓練用に取り組んだ情報の 80% を教育訓練セットに、20% をテストセットに自動分割します。各ドキュメントタイプが 80/20 の比率になるようにドキュメントタイプが階層化されます。

評価およびユーザ受入テスト

TMF ボットの評価方法を教えてください。

TMF ボットの主な評価方法には次の 2 つがあります:

教育訓練モデルを本番環境で作成・教育訓練し、教育訓練が完了したら結果を評価します。結果が期待に沿うものである場合、教育訓練モデルを展開します。
本番データからモデルを教育訓練するアクションを使用して、お使いの QA または Sandbox 環境で教育訓練モデルを作成、教育訓練、および展開します。自動分類が適切に動作することを確認します。次に、教育訓練モデルを本番環境で作成・教育訓練し、教育訓練が完了したら結果を評価します。結果が期待に沿うものである場合、教育訓練モデルを展開します。

Sandbox 環境で TMF ボットを試験的に使用することができますか？

はい、教育訓練モデルを訓練するための本番データからモデルを教育訓練するアクションを使用することでそうできます。ただし、Sandbox またはプレリリースから本番環境に教育訓練モデルを移行させることはできないため、お使いの本番 Vault で教育訓練モデルを訓練する必要があります。

TMF ボットを使用したくない場合、どのようにして無効化できますか？

TMF ボットは、1,500 個以上の固定状態ドキュメントを持つすべての eTMF のお客様に自動的に提供されます。自動展開されたモデルを無効化するには、モデルの回収ユーザアクションでモデルを回収する必要があります。

アップロード済みドキュメント

引き続き、直ぐにドキュメントを分類することを選択できますか？

はい、できます。TMF ボットは、ドキュメントインボックス内でのドキュメントの自動分類で動作します。ただし、アップロード画面で「今すぐ分類する」オプションの使用を選択した場合でも、ドキュメントを自分で分類することができます。

特定のドキュメントタイプ、または特定の治験のドキュメントだけを自動分類するように TMF ボットを設定できますか？

TMF ボットは、教育訓練したドキュメントタイプにのみドキュメントを自動分類します。ただし、ドキュメントの誤分類が多く発生するため、少数のドキュメントタイプでのみ教育訓練することは推奨されません。教育訓練モデルを展開するドキュメントインボックスに入るすべてのドキュメントは自動分類されます。パイロット試験の概念はありませんが、ドキュメントインボックスを過剰使用するためにまずいくつかの試験で作業することができます。

ドキュメントを正しく自動分類するために、TMF ボットに特殊な方法で名前を付ける必要がありますか？

いいえ、必要ありません。命名規則が定義されていない場合でも TMF ボットは成功しています。ただ必須ではありませんが、優れた命名規則は、TMF ボットの正確性を高めるための要素の 1 つです。

TMF ボットには、スキャン済みドキュメントや、光学文字認識 (OCR) を必要とするドキュメントが含まれますか？

はい、含まれます。TMF ボットには、必要に応じてアップロード済みドキュメントで光学文字認識 (OCR) を行う特定のパイプラインがあります。

TMF ボットは、自動分類する際にドキュメント内でテキストを使用しますか？

はい、使用します。TMF ボットは以下の情報を使用してドキュメントを自動分類します:

ページ数
文字数
ファイルタイプ、ファイルサイズ
ファイル名、
ドキュメントから抽出されたテキスト

ドキュメントが手書きでも問題ないですか？

はい、問題ありません。通常 OCR は手書きのテキストを無視し、TMF ボットは自動分類に他のすべてのテキストを使用します。

TMF ボットはメールを自動分類できますか？

はい、できます。これまで TMF ボットはメールを適切な関連通信文書ドキュメントタイプに正常に自動分類しています。自動分類シナリオについて、TMF ボットがメールを自動分類するには確実性が低い場合があります。

自動分類後に何が起きますか？

TMF ボットがドキュメントを自動分類すると、誰が名前を更新しますか？

ドキュメントタイプの自動命名を使用している場合、名前は自動的に更新されます。ドキュメントの名前が手動で制限されている場合、ドキュメントの完了時にドキュメントボックスから名前を変更する必要があります。

TMF はセキュリティプロファイルどのように考慮しますか？

ユーザは、TMF ボットが自動分類に使おうとしているドキュメントタイプにドキュメントの作成権限が必要です。また、ユーザの権限セット内に分類権限全般も必要です。

TMF ボットがドキュメントを自動分類できない場合、所有者にどのように通知されますか？

5 秒以内にドキュメントを自動分類する目標が設定されているため、所有者は通知されません。その代わり、ドキュメントが TMF ボットでの処理が完了したかどうかを確認するための TMF ボットフィールドを使用することができます。終了しても自動分類がない場合、ユーザは適切なドキュメントタイプを選択してドキュメントを完了することができます。

自動分類は監査証跡で取得されますか？

はい、取得されます。監査証跡には、ドキュメントのタイプ、サブタイプ、分類をシステムが更新していることが示されます。

TMF ボットが分類したドキュメントの所有者は誰ですか？

ドキュメントを更新したユーザが引き続きドキュメント所有者になります。TMF ボットはアップロード後にドキュメントを更新するだけです。

はい、適用されます。共有設定は TMF ボットの影響を受けません。

TMF ボットはドキュメントを「最終」や「承認済み」の状態にも変更しますか？

いいえ、変更しません。TMF ボットはドキュメントを自動分類しますが、これらのドキュメントはユーザが完了するまでドキュメントインボックスに留まります。その状態は変更されません。

ドキュメントはドキュメントインボックスからどのように移動しますか？

ユーザがドキュメントを完了して、ドキュメントインボックスから移動させる必要があります。

TMF ボットが提供したドキュメントタイプを確認することはできますか？

完了する前にドキュメントインボックス内でドキュメントの分類を確認することができます。

誤分類

TMF ボットが誤った分類を選択した場合、ドキュメントを再分類できますか？

はい、できます。再分類オプションはドキュメントインボックス内で使用できます。

TMF が誤分類したドキュメント (TMF ボットが自動分類した後にユーザが再分類したドキュメント) についてレポート作成できますか？

予想指標オブジェクトはモデルのパフォーマンスに関する情報を追跡し、訓練済みモデルページレイアウトのセクションとして使用できます。このオブジェクトを使用して、分類固有レベルとグローバル加重平均レベルで予想指標レポートを作成できます。

この情報は、企業管理者の予想オブジェクトに取得されます。Vault はこのデータを JSON 文字列で保存するため、このオブジェクトはシステム内でレポートすることはできません。このデータを Excel にエクスポートして操作することは可能です。

TMF ボットが再分類したドキュメントを再分類する際に、機械学習モデルはこれを学びますか？

教育訓練するために膨大な時間を必要とするため、機械学習モデルは、再分類からは学びません。ただし、今後のリリースで機械学習モデルの保持を推奨できるようにこのフィードバックを記録しておきます。

今後の機能

Veeva は、TMF ボットを品質管理の一部として使用する計画はありますか？

はい、TMF ボットが QC レビューアに進む前にドキュメントを確認できるように、引き続き TMF ボットをQC プロセスの一部として使用できるようにする予定です。また、問題が見つかった場合には、QC レビューアに進む前に解決できるように、その問題を所有者に送信します。この機能は 2022 年を目標にしています。

古いドキュメントの分類を確認するために TMF ボットを使用することはできますか？

このエンハンスメントは計画に含まれています。TMF ボットが治験全体に対して実行でき、誤分類されたと考えられるドキュメントに関する詳細を提供できるようにする予定です。

TMF ボットは複数の言語をサポートしますか？

初回リリースでは、テキストが英語のドキュメントのみを教育訓練と自動分類に使用できます。今後のリリースで、TMF ボットは英語以外のドキュメントをサポートできるようになります。

TMF ボットが英語以外のドキュメントを自動分類できるようになるのはいつですか？

この機能は予定に含まれていますが、具体的なスケジュールは決まっていません。英語と別の言語の多言語ドキュメントが引き続き TMF ボットで自動分類できる場合もあります。

ドキュメントの自動分類は、Vault プラットフォームで他の Vault アプリケーションによって使用可能ですか？

現時点で、ドキュメントの自動分類機能は Clinical Operations 専用です。今後他の Vault アプリケーションに機能が増える予定です。

TMF ボットは、ドキュメントが新規バージョンの既存のドキュメントかを判断できますか？

いいえ、できません。これは今後の検討事項ですが、かなり先のことになります。

TMF ボットは治験、治験実施国、施設を入力しますか？

このエンハンスメントは計画に含まれていますが、TMF ボット (21R2) の初回バージョンには自動分類しか含まれません。