Synesis
マルチモーダル
図面も、映像も、言葉も、まとめて理解する。
テキスト・画像・映像・音声・数値など異なる形式の情報を統合し、現場の複雑な状況を理解・判断する
Synesis｜マルチモーダルとは
図面と仕様書、作業映像と手順書、センサー値とトラブル報告。製造現場の状況は、ひとつの形式の情報だけでは捉えきれません。Synesisは、テキスト・画像・映像・音声・数値といった異なる形式の情報を統合して理解し、現場の複雑な状況を横断的に判断します。
HIIIのSynesisは、視覚言語モデル（VLM）を中核に、図面と注記、映像と音声、数値と文書を結びつけて扱う技術です。ArgusやLogosといった単一モダリティの技術を橋渡しし、「図面を見ながら仕様書と照合する」「作業映像から手順書を起こす」といった、人が複数の情報源を同時に見て行う判断を再現します。
Synesisでできること
- 図面解析
- 設計支援
- 作業解析
- マニュアル生成
- 技術承継
- 図面と仕様書の照合
代表的な手法・アプローチ
Synesisを製造現場で機能させるために、HIIIが使い分けている代表的な手法です。課題の構造とデータの状態に合わせて組み合わせます。
01
視覚言語モデル（VLM）
画像・図面と文章を同じ空間で扱い、「この図面のどこに何が書いてあるか」を言葉で問い合わせ、答えられるようにします。
02
映像・音声の統合理解
作業映像と作業者の発話を同期して理解し、動作とその意図・注意点を結びつけて記録します。
03
数値データと文書の結合
センサー値や検査結果とトラブル報告・対処記録を結びつけ、数値の変化を言葉で説明できる状態にします。
04
モダリティ横断の検索
図面から類似の設計文書を、文章から該当する映像シーンを探すなど、形式の異なる情報を横断して検索します。
Synesisを使うモジュール
技術は「できること」、モジュールは「使える形にしたもの」。1つの技術が1つのモジュールになるのではなく、複数の基盤技術を組み合わせて1つのモジュールを実装しています。各モジュールの中でSynesisが担う役割を示します。
お問い合わせ
Synesis（マルチモーダル）の適用可否や、貴社データでの検証の進め方について、課題の整理段階からご相談いただけます。