Обсуждение

собрал стату по галлюцинациям sonnet 3.5 в коде, цифры странные

Петя Васильев @petya_vasilev · 2 недели назад

прогнал 200 генераций кода для парсинга и визуализации через api, записал все в табличку. в 34% случаев модель выдумывает несуществующие параметры в matplotlib или pandas, хотя в промпте жестко прописаны версии либ. у вас такой же процент брака или я криво промпт составил? график с распределением ошибок могу скинуть если интересно

Комментарии 7

Войдите, чтобы оставить комментарий.

Войти

SanyaPromptMaster 2 недели назад

34% это оч много часов на ручной дебаг уходит. температуру в ноль крутил? если few-shot добавить с сигнатурами методов брак падает раза в три
1. Серёга 1 неделю назад
  
  раньше руками эти контроллеры строчили дольше в разы, даже с третью брака по времени окупается, хотя фьюшот под типы все равно мастхэв
Дарья Волкова 2 недели назад

чел а ты апи ключи хоть захайдил или в открытом виде гоняешь)) бэкапы таблички делай кст а то улетит все)
1. Елена Соколова 1 неделю назад
  
  а как их правильно прятать? я просто в .env закинул этого мало? и куда бэкапить если база в supabase оно само не сохраняет разве?
Лёша Алексеев 2 недели назад

Будет интересно взглянуть на распределение ошибок. В современных библиотеках API меняется слишком быстро, поэтому модели путаются. В старых стандартизированных системах такого не происходило.
toxic_unicorn 1 неделю назад

ЗАЧЕМ вы вообще это тестите??? Соннет нормальный код пишет!! Я на нем пет-проект за два дня собрал для резюме и все работает идеально! Учитесь писать промпты грамотно!!!
1. Таня Куликова 1 неделю назад
  
  ДВА ДНЯ на пет проект??? мы в 2003 на Delphi базы данных за полчаса накидывали БЕЗ ВСЯКИХ НЕЙРОСЕТЕЙ и все летало на 64мб оперативы!! щас развели клоунаду с промптами учите базы данных!!!