学生が手話をリアルタイムで翻訳する人工知能を開発

現在のテクノロジーのシナリオでは、人工知能ほど新たなイノベーションについて憶測が飛び交っているテーマはありません。リオデジャネイロの UFF で統計学を学ぶガブリエル・セールス氏は、この競争シナリオの真っ只中に、手話を翻訳する人工知能プロジェクトを主導することで先見の明のある人物として頭角を現しました。彼のプロジェクトは、聴覚障害者と聴者の間のコミュニケーションの壁を克服することを目指しており、手話をリアルタイムでポルトガル語に書き写す効果的な方法を提供しています。

ガブリエル氏によると、この AI の主な目的は、聴覚障害者のコミュニケーション方法に革命を起こし、コミュニティにアクセシビリティ、独立性、機会を提供することです。このプロジェクトはまだ開発中ですが、ビデオ内の聴覚障害者のサインを解釈し、瞬時にポルトガル語に翻訳できることを実証しています。

聴覚障害者向けの AI はどのように機能するのでしょうか?

このプロジェクトは、目的を達成するために 3 つの異なる人工知能を使用します。 1 つ目の AI は、体の主要なポイントをキャプチャし、ビデオのフレーム全体にマッピングする役割を果たします。このデータは、生成された特定の信号を識別する分類器である 2 番目の AI に送信されます。最新の AI が作動して、識別された信号を文脈化して、予測された信号のリストを読みやすく理解できるポルトガル語のメッセージに変換します。

このプロジェクトの可能性は膨大です。一般に、聴覚障害者と天秤座の通訳が困難な人々との間のすべてのコミュニケーションは、会話のノイズを解決する同時通訳に簡略化されます。 IBGEによると、この技術が効果的であれば、ブラジル人口の約10％にあたる約5万人の聴覚障害者に影響を与えるいくつかのコミュニケーション問題を解決できる可能性があるという。

しかし、Gabriel Sales は、重要なデータを収集するためのハードウェアやリソースの制限など、プロジェクトにおいて課題に直面しています。彼は、プロジェクトの研究開発を進めるための、より強力なコンピュータ、高品質のカメラ、リソースを入手するための貢献を求めています。 ヴァキーニャオンライン.

ガブリエル・セールスが単独で主導するこのプロジェクトは、テクノロジーに対する彼の情熱を反映しているだけでなく、社会に大きな影響を与える革新的なソリューションを生み出す人工知能の力にも焦点を当てています。 AI の最新情報に関するビデオを Instagram に投稿し、 @projeto_ia_libras, ガブリエルさんは、投稿の数千回の閲覧に加えて、すでに 86,1 千 を超えるフォロワーを獲得しています。

AI生みの親インタビュー

手話を含む対話のリアルタイム文字起こしにおけるこの AI の機能をより深く理解するために、私たちはプログラマーでありプロジェクトの作成者である統計学生のガブリエル・セールスにインタビューしました。

プロジェクトの背後にいるプログラマーで UFF 統計学の学生は誰ですか?そして、どのようにしてこのアイデアにたどり着いたのでしょうか？

ガブリエルの営業: 私の名前はガブリエル、リオデジャネイロ出身です。私はテクノロジーに情熱を持っている学生です。私は 10 歳のときに初めてコンピューターを手に入れ、それ以来、このコンピューティング分野に興味を持ちました。私は 12 歳からプログラミングの勉強を始め、データ サイエンスにたどり着くまで勉強を続けました。この分野を発見したとき、特に人工知能の部分、つまりロボットが人間に近い方法で思考する部分が本当にクールだと思い、とても魅了されました。それで私はこれらのことを勉強し始めました。統計はデータサイエンスの重要な基礎であるため、UFF の統計学部に入学しました。そして私は人工知能のこの分野への旅を始めました。

私は AI をさらに深く掘り下げ始め、いくつかの小さなプロジェクトに取り組み始めました。そして、昨年の前期に私の大学で天秤座のクラスがありました。そして、私はその先生の話にとても魅了されました。なぜなら、彼女は聴覚に障害があり、彼女の話の中で言及されていたあらゆる困難にもかかわらず、なんとか医師になったからです。

そこで私は、このコミュニティを助けるために、このコミュニティにとって興味深く、包括的なものとして何ができるかを考え始めました。そして、私は天秤座のアルファベットを分類できる人工知能のアイデアから始めました。タイプ: 文字 a、文字 b、文字 c など。これらすべてをビデオで行います。それが私の最初のアイデアであり、これがどれほど難しく、どれほど複雑であるかを確認するための最初のテストでした。そして私は進化し、堅牢な信号を追加し、AI の知識を向上させ始めました。

プロジェクトをどのように定義しますか?それによって、特に聴覚障害者の現在の現実をどう変えるつもりですか？

ガブリエルの営業: 主な目的は、ろう者と聴者の間には大きな障壁があるため、ろう者と聴者の間のコミュニケーションに革命を起こすことです。聴覚障害者とコミュニケーションをとるためには、必然的に天秤座を知る必要があるため、この人工知能システムを使用することで、この障壁を少し打ち破ることができます。これは企業、顧客サービス、デジタル アクセシビリティなどに応用できます。聴覚障害者のクライアントはそこに行き、自分の言いたいことをはっきりと言うことができます。何かを買いたい場合、特別なサポートが必要な場合、Libra の通訳に頼ることなく、すべて AI を使用してデジタルで行うことができます。

また、病院や緊急事態など、迅速な治療が必要な場合でも、天秤座を話せる人がいない場合もありますよね。場合によっては、彼女の血液型や病気があるかどうかなどを知る必要がありますが、このシステムを使えばそれも可能になります。

教育においても、天秤座を教えるために、この教育システムは、生徒の正確さ、サインが正しくできているか、よく学習しているかどうかをテストするのに非常に効率的です。また、聴覚障害者の教師にとっても、全員が話す能力を持っているわけではありません。聴覚障害者の中には話す能力を身につけることができる人もいますが、全員が話す能力を身につけることができるわけではないため、このシステムはこの場合にも役立ちます。したがって、作成できるアプリケーションはいくつかあります。

この AI の仕組みをどのように説明しますか?

ガブリエルの営業: AIは3つあります。 1 つは体の主要なポイントをキャプチャするためで、フレーム全体にわたって人の体全体、顔、肩、肘、手、指などをマッピングします。これは、これを行う必要があるためです。ビデオ 。したがって、このマッピングはフレーム全体にわたって行われます。その後、分類器に渡されます。このデータを体の主要なポイントから分類し、どのオプションであるかを示します。

そして最後の AI は、信号のコンテキストを作成することです。そこで、彼女は身体をマッピングし、それがどの兆候であるかを分類した後、予測される兆候のリストをまとめ、これをメッセージ、つまり読みやすく理解できる自然なメッセージに変換します。次に、この AI は、2 番目の AI によってすでに予測された信号のコンテキストを組み立てます。

全体として、あなたのプロジェクトはユニークですか、それともこのように聴覚障害者を支援するために AI が関与する同様のプロジェクトはありますか?

ガブリエルの営業: きっと似たようなプロジェクトがあるはずだ。しかし、おそらくブラジルへの投資が不足していたため、どれも実現には至らなかった。特にテクノロジーに簡単にアクセスできるため、人々は結局国外に出てしまいます。ただし、開発されているかどうかはわかりません（他のプロジェクト）、プロトタイプが存在する可能性があります。

2023年2024月、Showmetechは、レノボが手話の通訳と翻訳が可能なAIをXNUMX年に発売する予定であると報じた。

この場合、あなたにとって、プロジェクトの最大の違いは何ですか?

ガブリエルの営業: 拡張する能力。投資によって非常に簡単に拡張でき、より迅速に開発できます。主な違いは、聴覚障害者のコミュニケーションの壁を克服できることです。これは教育、経済、文化、政治に役立ちます。

プロジェクトを大規模化するには何が必要ですか?

ガブリエルの営業: AIのトレーニングにはビデオが必要なので、データが必要です...子供に教えるようなもので、信号が何であるかを示し、理解するまで何度も繰り返す必要があります。また、それらすべてを処理するための設備も作成します。 ビッグデータ そうやって。

ガブリエルは、他の人々がプロジェクトの開発をサポートできるように、2023 年末に Vakinha を立ち上げました。

このプロジェクトの次のステップは何ですか?

ガブリエルの営業: しばらくパートナー企業を探していましたが、私のウェブサイトを手伝ってくれている企業がありました。そして今、私はこの市場で影響力のある人々とのパートナーシップを探しています。おそらくスタートアップを立ち上げ、投資家を獲得し、より簡単に規模を拡大できるようにするためです。このアイデアは、デジタル アクセシビリティを顧客に提供したいと考えている企業に販売することです。

AI を「盗用」から守るにはどうすればよいでしょうか?

ガブリエルの営業: 人工知能に関しては、盗作は困難です。似たようなことはできますが、同じですが、非常に困難です。それはイーロン・マスクがChatGPTに似たAIを作るようなもので、彼にはそれができるが、両方とも異なる答えがあるだろう。なぜなら、これを妨げているのは利用可能なデータであり、ポンド単位では不足しているからです。データ収集への投資が必要です。

AI がポンド単位の信号を正しく解釈していることを理解するために、どのようなテストを受けますか?

ガブリエルの営業: リアルタイムでテストを行っており、さまざまな信号を出して精度をチェックしています。大学の科目で学んだポンド単位のわずかな知識を応用し、インターネット上のビデオを視聴して AI トレーニングを開発しています。

以下も参照してください。

Google Health Connect を使用して健康データを同期する方法

Fontesは： ミルネ, フォーブス e スマートクリック.

によってレビュー グラウコンバイタル 18/1/24。