ローラ【LoRa】
ロラ
Lora
LoRA
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2025/01/03 06:24 UTC 版)
LoRA(ローラ、Low-Rank Adaptation)は、大規模言語モデル (LLM) や画像生成モデルを効率的にファインチューニングするための手法である[1]。
従来のファインチューニングでは、モデルの全パラメータを対象に学習を行うため、計算コストやメモリ使用量が膨大になるという課題があった。LoRAは、モデルの各層に低ランクの行列を挿入し、その行列のみをトレーニングすることで、これらの課題を解決する[2][3]。
手法
LoRAでは、元の重み行列 W に対して、低ランクの行列 A と B を用いて、以下のように重みを更新する。
W' = W + A × B
行列 A と B は、元の行列 W よりもはるかに低いランクを持ち、その積 A * B によって、元の重み行列 W に対する小さな修正が表現される。学習時には、元の重み行列 W は固定され、行列 A と B のみが更新される。これにより、元のモデルの知識を保持したまま、特定のタスクに適応するための調整が可能になる[3]。
利点
![]() | この節には複数の問題があります。改善やノートページでの議論にご協力ください。
|
LoRAは、従来のファインチューニング手法と比較して、以下の利点を持つ。
- 計算コストとメモリ使用量の削減: 低ランク行列を用いることで、計算コストとメモリ使用量を大幅に削減できる。
- 元のモデルの知識の保持: 元の重み行列を固定することで、元のモデルの知識を保持したままファインチューニングを行うことができる。
- タスクごとの行列の保存: タスクごとに学習した行列を別々に保存することで、複数のタスクに対応する際に、モデル全体を保存する必要がなくなり、ストレージ容量を節約できる。
- 高い汎用性: テキスト生成、質問応答、機械翻訳など、様々な自然言語処理タスクに適用可能である。また特定の人物や特定の絵柄の生成などの画像生成タスクにも適用ができる。
脚注
- ^ “LoRA(ローラ)とは|今年注目の画像生成AI (Stable Diffusion) のファインチューニングを試してみた”. Ledge.ai. 2024年8月16日閲覧。
- ^ “NVIDIA TensorRT-LLM による、LoRA LLM のチューニングとデプロイ”. NVIDIA 技術ブログ (2024年4月2日). 2024年8月11日閲覧。
- ^ a b “LoRA(ローラ)とは|今年注目の画像生成AI (Stable Diffusion) のファインチューニングを試してみた”. Ledge.ai. 2024年8月11日閲覧。
関連項目
外部リンク
LoRa
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2023/03/25 14:16 UTC 版)
開発者 | Semtech |
---|---|
接続種類 | SPI/I2C |
対応機器 | SX1261、SX1262、SX1268、SX1272、SX1276、SX1278 |
物理的範囲 | >10 km(理想的な条件下) |
![]() | この記事は英語版の対応するページを翻訳することにより充実させることができます。(2022年3月) 翻訳前に重要な指示を読むには右にある[表示]をクリックしてください。
|
LoRaとLoRaWANは、ともに低電力ワイドエリア(LPWA)ネットワークプロトコルを定義している。バッテリー駆動の「もの」を、地域、国内、またはグローバルネットワーク内のインターネットにワイヤレス接続するように設計されている。モノのインターネット(IoT)の双方向通信、エンドツーエンドのセキュリティ、モビリティ、ローカリゼーションサービスなどの要件となることを目標としている。一般ユーザーや企業を対象にしたより多くの電力を使用してより多くのデータを伝送するように設計されたワイヤレスWANとは対照的に、低電力、低ビットレート、IoTでの利用などの特徴がある。LoRaWANのデータレートは、1チャンネルで0.3 kbit/sから50kbit/sの範囲である[1]。
LoRa (「long range」に由来)は、プロプライエタリの物理的な無線変調技術である[2]。チャープスペクトラム拡散(chirp spread spectrum、CSS)技術から派生したスペクトラム拡散変調技術に基づいている[3]。フランスのグルノーブルの会社であるCycleoによって開発され(特許9647718-B2)、その後、Semtechによって買収された[4][5]。
LoRaWANは、ソフトウェア通信プロトコルとシステムアーキテクチャを定義している。LoRaWANプロトコルの継続的な開発は、SemTechが創設メンバーとである、オープンな非営利組織のLoRaアライアンスによって管理されている。
特徴
LoRaは、ライセンス不要のサブギガヘルツ無線周波数帯域を使用する。ヨーロッパではEU868(863–870 / 873 MHz)、南アメリカではAU915 / AS923-1(915–928 MHz)、北アメリカではUS915(902–928 MHz)、インドではIN865(865–867 MHz)、アジアではAS923(915–928 MHz)[6]、世界中では2.4GHzをそれぞれ使用している[7]。LoRaを利用すると、低消費電力で長距離伝送が可能になる[8]。LoRaがカバーするのは物理層であり、上位層は、LoRaWAN(Long Range Wide Area Network)などの他の技術やプロトコルでカバーされている。拡散率により、0.3 kbit/s〜27 kbit/sのデータレートを実現できる[9]。
LoRa ゲートウェイからのタイムスタンプを用いた 三辺測量 を行うことで、LoRa 機器の位置を特定することができる[10]。
関連項目
- DASH7 – 人気のあるオープンなLoRaの代替プロトコル
- IEEE 802.11ah – 非プロプライエタリの低電力長距離通信の標準
- CC430 – MCU & sub-1 GHz RF transceiver SoC
- NB-IoT
- LTE Cat M1
- MIoTy – センサーネットワーク向けのsub-GHz LPWAN技術
- SCHC – static context header compression
参考文献
- ^ Ferran Adelantado, Xavier Vilajosana, Pere Tuset-Peiro, Borja Martinez, Joan Melià-Seguí and Thomas Watteyne. Understanding the Limits of LoRaWAN (January 2017).
- ^ “What is LoRa?” (英語). Semtech. 2021年1月21日閲覧。
- ^ “LoRa Modulation Basics”. Semtech. 2019年7月18日時点のオリジナルよりアーカイブ。2020年2月5日閲覧。
- ^ “Semtech Acquires Wireless Long Range IP Provider Cycleo” (英語). Design And Reuse. 2019年10月17日閲覧。
- ^ [1], "Wireless communication method"
- ^ “RP002-1.0.3 LoRaWAN Regional Parameters”. lora-alliance.org. 2021年6月9日閲覧。
- ^ “LoRa 2.4GHz”. Semtech LoRa 2.4GHz. 2021年11月8日時点のオリジナルよりアーカイブ。2021年11月8日閲覧。
- ^ Ramon Sanchez-Iborra; Jesus Sanchez-Gomez; Juan Ballesta-Viñas; Maria-Dolores Cano; Antonio F. Skarmeta (2018). “Performance Evaluation of LoRa Considering Scenario Conditions”. Sensors 18 (3): 772. Bibcode: 2018Senso..18..772S. doi:10.3390/s18030772. PMC 5876541. PMID 29510524 .
- ^ Adelantado, Ferran; Vilajosana, Xavier; Tuset-Peiro, Pere; Martinez, Borja; Melia-Segui, Joan; Watteyne, Thomas (2017). “Understanding the Limits of LoRaWAN”. IEEE Communications Magazine 55 (9): 34–40. doi:10.1109/mcom.2017.1600613. ISSN 0163-6804.
- ^ Fargas, Bernat Carbones. “GPS-free Geolocation using LoRa in Low-Power WANs”. DTU Library. 2022年3月21日閲覧。
参考文献
- Olivier Bernard André Seller. "Wireless communication method" U.S. Patent No. 9,647,718. 09 September 2015.
- Lee, Chang-Jae, Ki-Seon Ryu, and Beum-Joon Kim. "Periodic ranging in a wireless access system for mobile station in sleep mode." U.S. Patent No. 7,194,288. 20 March 2007.
- Ghoslya (2019年4月17日). “How to generate LoRa Symbols”. All About LoRa and LoRaWAN. 2022年3月21日閲覧。
- Quigley, Thomas J., and Ted Rabenko. "Latency reduction in a communications system." U.S. Patent No. 7,930,000. 19 April 2011.
- Bankov, D.; Khorov, E.; Lyakhov, A. "On the Limits of LoRaWAN Channel Access". 2016 International Conference on Engineering and Telecommunication (EnT): 10–14.
- Seneviratne, Pradeeka. "Beginning LoRa Radio Networks with Arduino - Build Long Range, Low Power Wireless IoT Networks." Apress, 2019, eBook ISBN 978-1-4842-4357-2, Softcover ISBN 978-1-4842-4356-5, Ed: 1
外部リンク
LoRa
出典: フリー百科事典『ウィキペディア(Wikipedia)』 (2022/05/07 14:49 UTC 版)
詳細は「LoRa」を参照 サブGHz帯を用いる。LoRa Allianceの技術。仏オレンジ、韓国SKTなどの通信事業者が採用している。 最大伝送速度は250 kbps程度。伝送距離は最大10 km程度。アズビル金門株式会社、株式会社グリーンハウス、セムテック・ジャパン合同会社、東京エレクトロンデバイス株式会社、日本アイ・ビー・エム株式会社、株式会社Braveridge、菱電商事株式会社は2017年4月から実証実験。
※この「LoRa」の解説は、「LPWA (無線)」の解説の一部です。
「LoRa」を含む「LPWA (無線)」の記事については、「LPWA (無線)」の概要を参照ください。
- lor aのページへのリンク