ある時はアミーゴ

ただの日記。技術・読書・株式投資・育児など

Mixture-of-Agentsのサンプルプログラムを実行してみた

技術

これを動かしてみた。 github.com

概要

これはTogether AIの研究者が発表した論文 Mixture-of-Agents Enhances Large Language Model Capabilities で紹介しているアプローチを実装したサンプルプログラムで、TogetherのAPIで利用可能なLLMから選んだいくつかのモデル（サンプルでは4つ）に同じプロンプトを処理させ、アグレゲータとして選んだひとつのモデルにそれらの回答を集約して最終的な回答を出させる、というものです。

https://raw.githubusercontent.com/togethercomputer/MoA/main/assets/together-moa-explained.png

アグレゲータに対しては次のようなプロンプトが送られます。文末に他のLLMの回答が追記されます。

You have been provided with a set of responses from various open-source models to the latest user query. Your task is to synthesize these responses into a single, high-quality response. It is crucial to critically evaluate the information provided in these responses, recognizing that some of it may be biased or incorrect. Your response should not simply replicate the given answers but should offer a refined, accurate, and comprehensive reply to the instruction. Ensure your response is well-structured, coherent, and adheres to the highest standards of accuracy and reliability.

Responses from models:

日本語にしておくと、

最新のユーザーの質問に対する、さまざまなオープンソースモデルからの回答セットが提供されています。これらの回答を統合して、高品質な回答を作成するのがあなたのタスクです。提供された情報を批判的に評価し、一部には偏りや誤りが含まれている可能性があることを認識することが重要です。与えられた回答を単に再現するのではなく、洗練された、正確で包括的な回答を提供してください。回答は、構造が整い、一貫性があり、最高の正確性と信頼性の基準を満たす必要があります。

モデルからの回答セットは次のとおりです:

あくまでサンプルプログラムで、プロンプトはハードコーディングされています。

What are some fun things to do in SF?

日本語だと、「サンフランシスコではどんなことが楽しめますか」ですね。

動かしてみる

動かし方は README.md に書かれているとおりシンプルなのですが、

  1. Install the Together Python library: pip install together
  2. Get your Together API Key & export it: export TOGETHER_API_KEY=
  3. Run the python file: python moa.py

実際にやってみるとエラーがでます。

together.error.RateLimitError: Error code: 429 - {"message": "You have been rate limited. Your rate limit is 60 queries per minute. Please navigate to https://api.together.xyz/settings/billing to upgrade to a paid plan.", "type_": "credit_limit", "param": null, "code": null}

このプログラムがそんなにAPI呼び出しをしているとは思えないのだけれど、無料プランのレートリミットにひっかかっているようです。有料プランにアップグレードさせる戦略か？

Togetherのアカウントは作成した時点で無料のクレジットが5ドル付与されています。無料プランのままだとレートリミットにはひっかかるものの、5ドルというクレジットが足りないというわけでもなさそうなので、カード情報を入力して有料プランにアップグレードしました。ついでに、今後うっかり大量のAPI呼び出しを実行してしまうとコワイので、月間の利用上限を30ドルに設定しておきました。

そして改めて実行すると…

San Francisco is a city that offers a plethora of activities and attractions for both tourists and locals. Here are some of the top things to do in San Francisco:

  1. Golden Gate Bridge: This iconic landmark is a must-visit. You can walk, bike, or drive across the bridge for stunning views of the city and the bay.
  2. Alcatraz Island: Take a ferry to Alcatraz Island and explore the former prison that once housed some of the nation's most notorious criminals. Guided tours are available.
  3. Fisherman's Wharf: Visit Pier 39, where you can find shops, restaurants, and sea lions lounging on the docks. Don't miss the Ghirardelli Square for some chocolate treats.
  4. Lombard Street: Drive down or walk up the "crookedest" street in the world, known for its sharp turns and beautiful views.
  5. Cable Cars: Ride one of the historic cable cars that run through the city. It's a unique and fun way to see the sights.
  6. Chinatown: Explore the largest Chinatown outside of Asia. Enjoy the vibrant street life, shops, and restaurants.
  7. Museums: Visit the Exploratorium, the California Palace of the Legion of Honor, the de Young Museum, or the Asian Art Museum.
  8. Golden Gate Park: Walk, jog, or bike through this large urban park. Don't miss the Japanese Tea Garden and the San Francisco Botanical Garden.
  9. Haight-Ashbury: Experience the neighborhood that was the center of the 1960s counterculture movement. Browse vintage stores, head shops, and cafes.
  10. Civic Center: See the San Francisco City Hall and the San Francisco War Memorial Opera House. The area is also home to several museums and cultural institutions.
  11. Mission District: Known for its vibrant street murals, eclectic food scene, and colorful culture. Visit the Mission Dolores, one of the oldest surviving structures in San Francisco.
  12. Coit Tower: Climb to the top for panoramic views of the city and the bay.
  13. The Castro: Known for its LGBTQ+ history and vibrant community. Don't miss the historic Castro Theatre.
  14. Twin Peaks: Drive or hike to the top for stunning views of the city skyline.
  15. Telegraph Hill: Visit Coit Tower and the Filbert Street Steps that lead to the top of the hill for more great views of the city.

Remember to check for any current restrictions or opening hours due to events or the COVID-19 situation before visiting any attractions.

うまくいったようです。

かかったお金

クレジットは0.01ドル減って$4.99になりました。