DropboxがAppleのファイルプロバイダ拡張機能に移行する件（2023年3月10日の記事「AppleのファイルプロバイダがMacのクラウドストレージに変化を迫る」参照）の詳細を深く調べていた時、メディア業界の人々のコメントを見て興味をそそられました。私はメディア業界にあまり精通していませんが、彼らは1TBの内部ストレージで満足している一般ユーザーとは全く異なるデジタル世界に住んでいるのです。ユーザーmillifooさんはこう書いています。
オーディオ/ビデオ編集の共同作業を可能にするため、外付けの大容量ドライブとクラウド同期を使用しています。複数の拠点で共同作業を行う多くのメディアハウスでは、ファイルをローカルに保存することがワークフロー上重要であり（編集と再生のスピード向上のため）、クラウド同期はそれを実現するだけでなく、万が一の災害発生時にもすべてのファイルをバックアップします。
Dropboxのプランではストレージ容量が足りないと指摘する人もいました。PlusプランとFamilyプランは2TB、Professionalプランは3TB、Standardチームプランは5TBです。それ以上のストレージ容量を利用できるのは、ユーザー1人あたり月額24ドルのAdvancedプランのみです。メディア関係者はどれくらいの容量が必要なのでしょうか？KyleKoch氏は次のように述べています。
メディアがローカルにある場合、Dropboxを外付けドライブに保存する必要がある人は多くいます。50TB以上のクラウドストレージがある場合、OSドライブ上のDropboxフォルダ内でビデオアセットを管理するのは理にかなっていません。
ユーザー solldavid は同意しました:
アドバンスプランをご利用いただいており、Dropboxクラウドには最大200TB以上のアセットを保存しています。これらはすべて「オンラインのみ」でOSX Finderから閲覧・検索でき、フル帯域幅ダウンロードで復元可能です。これは業界最高の製品だと私は思います。はい、最低3人の「ユーザー」が必要です。
残念ながら、このスレッドの話題に関連して、AppleとDropboxの今回の変更は私のワークフロー全体を脅かしています。大容量のビデオ、GFX、3Dファイルをリモートワークステーション間で同期するために、一度に3～6TBのオフラインストレージを用意しており、2012年から外付けSSDを使ってうまく運用しています。SSDは私たちのワークフローの基盤であり、非常に信頼性が高く、十分な速度で、これがなければどうなっていたか分かりません。
そしてユーザーjmeredi2はこう言いました:
6ユーザーで年間約1,700ドルを支払っているビジネスアドバンスプランを契約しています。これは無制限プランなので、ストレージ容量の上限に達するたびに容量を追加してくれます。残念ながら、30～40TBの内蔵ハードドライブを搭載したパソコンが見つからない限り、DropBoxの「アップグレード」ではこの方法は使えなくなります。
多くの人が1テラバイトや2テラバイト以上のクラウドストレージを必要としていることは承知していますが、これらのコメントから、プロのメディア業界の需要を垣間見ることができました。この記事を背景としてお伝えしたのは、この記事が掲載されて間もなく、TidBITS読者のSteven Niedzielski氏から、彼が勤めるLucidLink社がハイパフォーマンスメディアユーザー向けにストリーミングクラウドストレージを提供しているという話を伺ったからです。このシステムは私たちのほとんどにとっては大げさすぎるかもしれませんが、もっと詳しく知りたかったのです。
LucidLinkがクラウドストレージを再考
前回の記事の背景となったのは、Box、Dropbox、Google Drive、Microsoft OneDrive などの「同期と共有」サービスに一貫したアプローチを提供する Apple のファイル プロバイダー拡張機能です。
これらはすべて、概念的には比較的シンプルなアーキテクチャに基づいています。すべてのファイルはオンラインで保存され、Webインターフェースからアクセスできます。さまざまなオペレーティングシステム用のクライアントソフトウェアが、そのデータストアをデバイスに同期します。同期は、完全なコンテンツ（オフライン）またはプレースホルダー形式（オンラインのみ）で行われます。オンラインのみのファイルで作業する必要がある場合は、ファイル全体をダウンロードしてからでないとアクセスできません。ディレクトリ構造の追加、削除、調整などの変更は、まずクライアントからクラウドに同期され、その後、接続されている他のすべてのクライアントに同期されます。これらの変更の一部は、特定のファイルの変更された部分のみを転送する差分アプローチに依存する場合もあれば、ファイル全体を送信する必要がある場合もあります。
LucidLink はそうは動作しません。Mac では、LucidLink 独自のクラウドネイティブファイルシステムである Filespace を標準の Mac ボリュームとしてマウントするために MacFUSE を利用しています。(LucidLink は Windows と Linux でも利用可能です。) 少し考えてみてください。Finder では普通の外付けドライブやネットワークドライブのように見えますが、その背後にはクラウドネイティブファイルシステムのデータがあるのです。つまり、LucidLink からファイルを開くのは、Mac の内蔵 SSD からファイルを開くのと同じように動作します。ただし、macOS のローカルストレージのデフォルトのブロックサイズは 4096 バイトであるのに対し、LucidLink は 256 キロバイトのブロック単位でデータの読み書きを行います。
つまり、LucidLink では、例えば Dropbox にあるオンライン専用ファイルのように、ファイルを開く前にファイル全体を同期する必要がありません。小さなファイルであれば同期方式でも十分に機能しますが、メディア業界で使われるファイルのサイズが大きい場合、クラウドからファイルを取得するのにかなりの時間がかかります。そのため、ローカルバージョンを保存するために大容量の外付けドライブが必要になります。
MacFUSEは、Macエクスペリエンスに特殊なファイルシステムを統合する素晴らしい方法だとずっと前から思っていたので、LucidLinkの取り組みも理解していました。しかし、Niedzielski氏にLucidLinkに必要な帯域幅をすぐに尋ねました。1Gbpsの光ファイバー接続が必要で、本格的なビデオ制作のプロフェッショナルなら皆、そのような接続環境を持っているだろうと彼が認めるだろうと予想していたからです。
代わりに彼は、動画以外の作業では、下り50Mbps、上り10Mbpsが現実的な最低速度だと述べました。理想的な動画の世界では、シームレスな動作のためには動画ストリームの帯域幅と一致させたいと彼は指摘しました。私は動画を帯域幅の観点から考えていませんが、帯域幅が広ければ広いほど良いのではないかと思います。光ファイバー接続が良いかもしれません。あるハンズオンレビューでは、LucidLinkは下り230Mbpsでも問題なく動作したと述べられていますが、これはプロキシワークフローのシナリオで、ほとんどの編集作業は小さなプロキシファイルで行われていたようです。低レイテンシーも重要で、LucidLinkのインターフェースはそれを報告します（「AppleのnetworkQualityツールを使ってインターネットの応答性をテストする」、2022年4月22日も参照）。
帯域幅は重要ですが、Dropboxなどのサービスを利用する人は、いずれにしてもすべてのデータをローカルに保存する必要があります。LucidLinkはパフォーマンス向上のため、高速なローカルキャッシュも利用しています。デフォルトでは内蔵ドライブに5GBのキャッシュが保存されますが、外付けドライブに再設定することで10TBまで拡張できます。さらに、特定のファイルで作業することが分かっている場合は、そのファイルを「ピン留め」してローカルキャッシュに事前にロードしておくことができます。ピン留めされたファイルであっても、LucidLinkはブロックレベルで差分データのみをアップロードするため、小さな変更があった場合でもファイル全体を転送する必要はありません。
LucidLink のアプローチの欠点の一つは、ピン留めされたファイルであってもオフラインでは作業できないことです。クラウド上に単一の信頼できる情報源があるため、サービスを利用するにはインターネット接続を維持する必要があります。ローカルキャッシュはあくまでキャッシュであり、ファイルの独立したコピーではありません。
LucidLinkのキャッシュ方式には、もう一つ欠点があります。Dropboxユーザーの中には、「同期と共有」アーキテクチャがバックアップを提供していると考えている人もいます。もちろん、適切な権限を持つユーザーであれば誰でも、不注意または悪意を持ってファイルを削除できるため、これは事実ではありません。しかし、ほとんどの場合、複数のコピーが残ってしまうことになります。LucidLinkのローカルキャッシュは、それさえも提供しません。
しかし、LucidLinkのFilespaceファイルシステムは、APFSと同様に自動スナップショット機能を提供します（LucidLinkの一部のプランでは、カスタムスナップショットスケジュールを作成できます）。スナップショットは、ファイルの特定の時点における正確な状態を記録するため、削除、破損、または変更されたファイルを容易に復元できます。スナップショットはスペースを効率的に使用し、2つのスナップショット間で変更されたブロックレベルのデータのみを記録します。さらに、スナップショットは読み取り専用であるため、バックアップを破壊しようとするランサムウェア攻撃に対する防御としても機能します。
それでも、LucidLinkはバックアップを推奨しています。Niedzielski氏によると、同社はLucidLinkを「活発なコラボレーションスペース」と捉えており、ユーザーにはすべてのファイルの別コピーを保管することを推奨しています。これは、ローカルNASデバイスに保存することも、Backblaze B2やWasabiなどのクラウドサービスに保存することもできます。また、一部の顧客はLucidLinkデータの移行と保護にCloudSodaというデータ管理サービスを利用しているとのことです。これは、本格的なエンタープライズレベルの機能と言えるでしょう。
LucidLinkが、メディア企業、医療画像グループ、ゲーム開発チームなど、ビジネス界をターゲットにしていることは間違いありません。米国財務省でさえLucidLinkの顧客です。Dropbox、Google Drive、iCloud Driveなどの2TBのストレージに月額9.99ドルを支払うことに抵抗があるなら、LucidLinkはやりすぎでしょう。
しかし、不可能ではありません。LucidLinkのBasic Filespaceプランは、最大5ユーザーまで1テラバイトあたり月額20ドルで、追加ユーザーは1ユーザーあたり月額10ドルです。これは、コンシューマーレベルのサービスで半分のストレージ容量に対して月額2倍の料金となります。これは高額ですが、フリーランサーや小規模オフィスにとっては管理可能な範囲です。Advanced Filespaceプランは、同じく5ユーザーで1テラバイトあたり月額80ドルですが、WasabiストレージではなくIBMストレージを使用することでパフォーマンスが向上し、カスタムスナップショットスケジュールとシングルサインオン統合が提供されます。
LucidLinkは実際には3つの部分から構成されています。Mac上で動作するLucidLinkクライアント、メタデータとスナップショットを管理するLucidLinkサービス、そしてS3またはAzure準拠のストレージシステムであるオブジェクトストレージです。これが、1テラバイトあたり月額40ドルで独自のストレージを提供できるカスタムファイルスペースプランの理由です。ただし、他のプランのWasabiとIBMストレージには、多くのクラウドストレージプロバイダーがデータ取得に課金するエグレス料金がかかりません。データアクセスが多い場合、エグレス料金は予想外に急速に増加する可能性があります。
セキュリティの観点から、LucidLinkは「ゼロ知識」アプローチを主張しています。LucidLinkクライアントはエンドツーエンドの暗号化を提供し、暗号化キーはユーザーのみが保持します。さらに、LucidLinkサービスはユーザーのデータは一切閲覧せず、メタデータのみを閲覧します。また、ストレージプロバイダーに保存されているデータは暗号化されています。非常によく考えられた設計と言えるでしょう。
クラウドストレージと基本的な共同作業だけが必要なのであれば、Dropbox、Google Drive、iCloud DriveなどのサービスからLucidLinkに切り替える必要はありません。しかし、特に音声や動画の作業において、これらのサービスの限界に挑戦しているのであれば、LucidLinkは検討する価値があります。
もっと一般的に言えば、ローカルストレージのような見た目と操作性を持つストリーミングオンラインストレージの役割がもっと大きくなるのではないかと考えています。デバイスが理論上無制限のオンラインストレージにいつでもアクセスできるようになれば、空き容量の懸念は過去のものになるかもしれません。キャッシュはパフォーマンス上の理由から、そしておそらく常時接続の必要性をなくすためにも依然として有用ですが、必要なだけのストレージをいつでも利用できるようになります…もちろん、支払う意思がある限りですが。