CopilotにFARGAN Codecで1kbps以下の音声コーデックが作れるか聞いてみた？

暇つぶしにRADEV2がQPSKで８００Hzの帯域だとしたら多分800bpsぐらいになるだろうと思い1kbps以下でどの程度の性能になるかCopilotに聞いてみた。答えは10秒以内で得られて解析付きで驚いた。結果は聞くことはできるが自然性などは得られないという結論になっている。

ただし、David August 2025, BBFM write up, RADE V2 OTA, Fine timingのV2を聞くと明らかに700Dより良い音でCopilotが言っているようにMELP600bitsより良い音だろうと期待している。上記のブログのV1と比較して聞くとよく聞けば違いは分かるけどそんなに絶対良いとは言えないように思う。これは通常なら比較の対象が6kbps以上の携帯のコーデックとなら違いは明確に分かるけれど、現状の1.6kbpsのV1と比較をせよと言われると1.6kbpsの半分になっても遜色ないし感度も上がるのでV2でよいのではとの結論になってしまうのかもしれない。

もう少し音質重視でSSBを完全に上回る国内通信（NVIS)向けの3~4kbpsあたりも開発したほうがＪＡとか欧州ユーザーには喜ばれるように思っている。先日３．５MHｚでのローカルラグチューを聞いていたら、「相手がせめて千円のPC用のヘッドセットと１万円のマイクを使っているかの違いはこちらでわかるようにしてほしい」とのご希望はごもっともと思った次第。3~4kbpsあればCopilotの解析で使っている特徴量のビット配分で音造りの妙味が楽しめでそうだ。

コピーペーストができたので多分開示してよいのだと思って公開のボタンを押してみた。

🧩 What the page explains

The page breaks down whether you can build a sub‑1 kbps speech codec using FARGAN, a neural vocoder.

⭐ Core conclusion

  • Yes, sub‑1 kbps is possible, but only with extremely aggressive feature quantization.
  • Speech will remain intelligible, but quality, naturalness, and speaker identity degrade noticeably.

🔍 Why sub‑1 kbps is achievable

  • FARGAN itself doesn’t impose a bitrate; it just reconstructs audio from:
    • spectral envelope
    • pitch (F0)
    • voicing
    • energy
  • If you compress these features to ≈10 bits per 10 ms frame, you get ~1 kbps.
  • Even 8 bits per frame (~0.8 kbps) is technically feasible.

📉 The trade‑offs

To reach <1 kbps, you must use very low‑dimensional, heavily quantized features, such as:

  • 1–2 bits for voicing
  • 4–5 bits for pitch
  • 2–3 bits for spectral envelope

This leads to:

  • robotic timbre
  • limited speaker identity
  • artifacts in transitions
  • reduced naturalness

However, FARGAN’s GAN-based structure may still outperform traditional ultra‑low‑rate codecs like MELP 600 bps at similar bitrates.

🧪 Example “realistic” feature budget

FeatureBitsNotes
Pitch (F0)4Very coarse
Voicing1Voiced/unvoiced
Energy2Rough loudness
Spectral envelope3Very low resolution
Total10 bits/frame→ ~1 kbps

🎤 Overall assessment

  • Goal: intelligible speech at <1 kbps → Achievable.
  • Goal: natural, pleasant speech at <1 kbps → Not achievable due to fundamental information limits.

🛠️ What the page offers next

The page suggests help with designing:

  • feature sets for 0.8–1.0 kbps
  • quantization strategies
  • pitch encoding
  • spectral envelope compression
  • a training pipeline for a FARGAN‑based codec

If you want, I can distill this further into design guidelines for your own codec experiments.


コメント

コメントを投稿

このブログの人気の投稿

RedPitayaを使ったSDR構成のまとめ

イメージ
１．はじめに SDRとしてRedPitayaを使い始めて約2年半経ち、その間ディジタル、SSB、AM,　CWなどのQSOをしながらその時々の興味にしたがって構成を変化させてきた。その中での成果を日々の運用に生かせるようまとめてみた。これはその忘備録である。 FT8オペレーション風景 FT8の運用周波数である１４．０７４MHｚにWSJT-Xを設定するとOpenHPSDRとRedPitayaを経由してTS-680Sのダイアルも14.074に設定されていることに注意 ２．全体構成 現在のQTHは密集した住宅地でもあり５０Wの移動局運用であるが将来の帰郷を想定して５００Wの固定運用も可能な構成としてみた。 JA5AEA局全体構成 Keyer, SP, MICをRedPitayaに収容するかPCに収容するかユーザの好みに応じて選択できる 試みたことは １）HPSDRのSDRの機能をほとんど実現した ２）既存リグを流用して低廉なSDRを実現した ３）RedPitayaにCAT制御機能を搭載し既存リグの改造を最小限にした ４）Auto-atttenuate機能を含むプレディストーションを可変減衰器一個で実現した ５）RedPitayaにオーディオコーデックを接続した ６）RedPitaya側のハードを最小限にしてPC上のソフトウエアを多用した構成を試みた ７）受信専用のループアンテナでダイバーシティーを構成しOHレーダー近隣雑音などの除去してみた 等々である。 RedPitayaを使って実際の送受信機を構成する方法とそれに従ったボード類が世の中に多く存在するが、本構成はその中での位置付けとしては最も簡単な構成法でボード上に追加された部品数は最小であると自負している。これはRedPitayaのコネクターE1,E2で既に存在するンターフェースでのみ実現してみたからである。 ３．TS-680S　CATインターフェース TS-680Sへの周波数指定とPTT制御をRedPitayaのUSBポート接続としてみた。これでPavelのマニュアルにあるようなコネクタE１のHermes Ctrlとの接続のための改造と配線は不要になってRedPitayaとは３本（USBケーブル一本、送受細心同軸２本）でよい。 ...
続きを読む

Thetis完全対応：sdr-transceiver-hpsdr-ananxd（３月１日改定）

１．はじめに           ---------３月１６日付けで DH1KLMから 今回の改良が CQ-NRW.de に紹介されている--------- RedPitayaのSDRソフト「 Alpine with pre-built applications 」に収録されている「 SDR transceiver compatible with HPSDR 」にはAngelia対応sdr-transceiver-hpsdr-ananxdが収録される予定である。このアップデート作業に協力したので公開予定の標準プログラムを事前に入手できた。この標準プログラムに対して独自のS-ATT,　Audio　Codec、　CAT機能を加えたプログラムを小生の GitHub にアップロードして先行公開してある。既に小生の機能追加プログラムを利用されている方はダウンロードして使ってもらいたい。 ２．使用方法 利用するためには １．Githubから以下のファイルをダウンロードする。 sdr-transceiver-hpsdr-ananxd sdr-transceiver-hpsdr-hpsdr.c sdr-transceiver-hpsdr_hpsdr.bit start.sh stop.sh 2. ダウンロードしたファイルをSDカード内のapps/sdr_transceiver_hpsdrに上書きコピーする。 ３. ThetisのRadio　Setup->H/W SelectのRadio　ModelをANAN-100Dに変更する。 4. 以下に示すstart.shの最後の行の添字の法則は 以下の通り。   $apps_dir/sdr_transceiver_hpsdr/sdr-transceiver-hpsdr-ananxd 1 2 2 2 1 2 1 2 & 添字：          1              2          ...
続きを読む

DAIWA CNW-518　アンテナチューナのフィルター特性

イメージ
  １．はじめに 新スプリアス規格 となって短波帯送信機の高調波は従来のー４０ｄBcからー５０ｄBcに引き上げられた。そのために従来の送信機を使用し続けるまたは海外で製造された送信機を使用して規格を満たさない場合は外部に高域遮断フィルターを入れることが推奨されている。このため直列にコイルを並列にコンデンサが入った構成で高調波に減衰効果があるLCL_T型 アンテナチューナ に注目が集まっている。このため購入したベクトルネットワークアナライザー NANOVNA の使い方を学習する目的で手持ちのDAIWA　CNW-518のフィルタ特性を計ってみた。 その後TINY　SAおよびアンリツスペアナを使い最も特性の悪い７MHｚ帯でスプリアスを実測したがNANO VNAの測定値と良く一致するとともに極めて良好なスプリアス特性となり旧規格のリニアアンプでも利用を続けられることが確認できた。（２０２２年１２月２１日追記） ２．フィルタ特性例 CNW-518の マニュアル （４ページ）に７MHｚ帯にチューニングした時の実測特性が載っている。通過帯域の７MHｚで損失は０ｄＢであるがＤＣで２５ｄＢ、２倍の高調波周波数１４ＭＨｚで２０ｄＢ、３倍の高調波２１ＭＨｚで２６ｄＢ程度の減衰量がある。このように高調波に対しては約２０ｄＢ程度の減衰が期待でき要求さえる１０ｄＢ以上の低域通過フィルタ特性を十分満たすことがわかる。 ３．NANOVNAでの実測 同様に７MHｚ帯にチューニングして実測した。Startは１ＭＨｚ、Dtopは50MHzである。7MHzの損失は0.6dB,１４MHｚで１９．４ｄＢ、２１MHｚで２９．０ｄＢであった。これはマニュアルの実測とよく一致しているとともに余裕をもって要求特性を満たしている。DCから５０MHｚまでのフィルター特性もよく似ている。２倍の高調波の減衰特性を他のバンドで測定してみた結果は３．５MHｚ帯で２３ｄＢ、１４ＭＨｚ帯で２２ｄＢ、２８ＭＨｚ帯で３４ｄＢであった。以上から７ＭＨｚ帯が最も特性が悪かった。 Ameritron AL-80B  リニアアンプ  (3-500Zのシングル　５００W）で実際のスプリアス量をハンディースペアナTINY　SAで実測した結果が以下の図である。シングル構成で２倍の高調波が多い。 CNW-518 入力（－５２...
続きを読む