超強力な文字起こしができるということで話題のOpenAI Whisper。macOSだとMacWhisperを使うのが手っ取り早い……のだけど、Mediumモデルで1.5GB、さらに高精度のLargeモデルは3GBにもなる。アプリからは「メモリが足りない」とめっちゃ文句を言われる(一応動いているが)。
物理メモリが少なくても動画編集等の用途以外では問題なしと聞いてメモリ8GBのMacBook Airにしたけど、こんなに早くメモリをバカ食いするアプリが出てくるとは(Apple SiliconはCPUもGPUもメモリも一体化されていて、あとから増設できない)。
メモリが少なくても動くLLMがどんどん登場しているけど、やっぱりローカルで快適に使うにはメモリをドカッと積む流れになっていくんじゃないか。メモリ業界、景気よくなるかも。Apple SiliconもLLMの登場で将来製品の仕様変更を迫られていたりするんだろうか。
コメント