Kelly Chavez v. Nancy Berryhill ( 2018 )

In the
United States Court of Appeals
For the Seventh Circuit
____________________
No. 17‐2978
KELLY J. CHAVEZ,
Plaintiff‐Appellant,
v.
NANCY A. BERRYHILL,
Acting Commissioner of Social Security,
Defendant‐Appellee.
____________________
Appeal from the United States District Court for the
Northern District of Indiana, Fort Wayne Division.
No. 1:16‐cv‐314‐WCL — William C. Lee, Judge.
____________________
ARGUED JUNE 6, 2018 — DECIDED JULY 18, 2018
____________________
Before  WOOD,  Chief  Judge,  and  KANNE  and  SCUDDER,
Circuit Judges.
SCUDDER, Circuit Judge. When a person applies for disabil‐
ity benefits, the Social Security Administration evaluates that
person’s capacity to work and, at the fifth and final step of the
analysis,  assesses  whether  significant  numbers  of  jobs  exist
that someone with those abilities and limitations could per‐
form.  This  determination  is  consequential:  answering  no
2  No. 17‐2978
means the claimant is disabled and entitled to supplemental
income, whereas a yes answer results in a denial of benefits.
At this final step, the agency bears the burden of showing that
suitable jobs exist in significant numbers. The vocational ex‐
pert  enlisted  by  the  agency  to  estimate  the  number  of  jobs
suitable for Kelly Chavez offered two vastly different projec‐
tions—testifying that for one particular job there were either
800 or 108,000 existing positions. The vocational expert pre‐
ferred the larger estimate, and the administrative law judge
who presided over Chavez’s hearing agreed with that choice.
In the end, the ALJ denied Chavez’s claim for benefits, and the
district court affirmed.
We vacate the ALJ’s decision at step five. The decision was
not supported by substantial evidence because the ALJ failed
to ensure that the vocational expert’s job estimates were relia‐
ble. To the contrary, the vocational expert offered no affirma‐
tive  explanation  for  why  his  estimates  (or  the  method  that
produced them) were reliable and instead reached that con‐
clusion  through  a  process  of  elimination—by  determining
that the estimates yielded by an alternative method seemed
too low. By affording such broad deference to the vocational
expert’s chosen estimates, the ALJ relieved the agency of its
evidentiary burden at the final step of the disability analysis
and impermissibly shifted the burden to Chavez.
I
Kelly Chavez has severe impairments. In 2007, at the age
of 21, she was diagnosed with a brain tumor and underwent
five  surgeries.  Around  this  time,  Chavez  began  feeling  de‐
pressed and anxious. She struggled to maintain enough con‐
centration to complete simple household tasks like loading a
dishwasher. Chavez also suffered from migraine headaches,
No. 17‐2978  3
back pain (caused by degenerative disc disease), and numb‐
ness in her feet and hands. Perhaps owing to becoming sick at
such a young age, Chavez has no prior work experience.
In 2010 Chavez applied for supplemental security income,
alleging that she had been disabled since 2007. Eventually she
received a hearing before an ALJ. At step one of the five‐step
disability analysis delineated in 20 C.F.R. § 416.905(a), the ALJ
found that Chavez had not worked since applying for bene‐
fits. At steps two and three, the ALJ concluded that Chavez
had several severe impairments, but found that none matched
or equaled the impairments listed in 20 C.F.R. Part 404, Sub‐
part P, Appendix 1, that presumptively establish that a claim‐
ant is disabled. The ALJ then assessed Chavez’s residual func‐
tional capacity or RFC—her ability to work on a sustained ba‐
sis despite the limitations caused by her impairments, as re‐
quired by 20 C.F.R. § 416.920(e)—and found that Chavez was
quite  limited.  She  could  perform  only  simple,  routine  tasks
with significant restrictions imposed on how much she could
lift  and  carry.  The  ALJ  further  specified  that  Chavez  could
work  only  in  an  unchanging  environment  that  neither  pro‐
ceeded at a fast pace nor required more than brief interactions
with colleagues or the public. At step four, therefore, the ALJ
determined  that  Chavez  could  perform  a  limited  range  of
light work. None of these findings is at issue in this appeal.
The ALJ then proceeded to step five. Because Chavez had
no  past  work  experience,  the  question  became  whether  she
was able to do any work in light of her RFC, age, and educa‐
tion. See 20 C.F.R. § 416.960(c)(1). At this step, the agency bore
the burden of demonstrating the existence of significant num‐
bers of jobs in the national economy that Chavez could per‐
form. See id. § 416.960(c)(2); McKinnie v. Barnhart, 368 F.3d 907,
4  No. 17‐2978
911 (7th Cir. 2004) (“It is the Commissioner’s burden at Step 5
to establish the existence of a significant number of jobs that
the claimant can perform.”).
Understanding how the agency generally approaches its
burden at step five provides essential context for this appeal.
The  agency  does  not  tally  the  number  of  job  openings  at  a
given time, but rather approximates the number of positions
that exist, whether vacant or filled, and without regard to the
location  of  the  work  and  a  claimant’s  likelihood  of  being
hired.  See  42  U.S.C. § 423(d)(2)(A);  20  C.F.R. § 416.966(a).  In
the same vein, the regulations direct that other factors of clear
import  to  anyone  pursuing  employment,  such  as  economic
conditions or an employer’s hiring practices, are not to affect
step‐five estimates of job numbers. See id. § 416.966(c). The de‐
sign of these limitations is clear: they establish a framework
for approximating the availability of suitable alternative work
that the agency can apply across massive volumes of applica‐
tions for disability benefits.
To obtain a job‐number estimate at Chavez’s hearing, the
ALJ followed the common path of seeking the assistance of a
vocational expert. See 20 C.F.R. § 416.966(e) (authorizing use
of  a  VE  and  other  specialists  to  aid  with  step  five
assessments). VEs tend to have master’s degrees in vocational
rehabilitation or psychology and often work in the field of job
placement. The agency expects VEs to testify objectively and
impartially about the exertional requirements of various jobs
and  their  frequency  in  the  national  economy.  See  SOC.  SEC.
ADMIN.,  VOCATIONAL  EXPERT  HANDBOOK,  9–10  (Aug.  2017).
Doing  so  requires  a  VE  to  be  familiar  with  and  draw  from
various sources of occupational information produced by the
Department of Labor, Social Security Administration, Census
No. 17‐2978  5
Bureau,  and  state  employment  studies.  Amy  E.  Vercelli,
Consultation in Social Security Disability Law, in FOUNDATIONS
OF FORENSIC VOCATIONAL REHABILITATION 311, 318–21 (Rick H.
Robinson  ed.,  2014).  The  VE  selected  to  assist  the  ALJ  at
Chavez’s  hearing  had  three  decades  of  experience  as  a
vocational  consultant.  The  parties  stipulated  to  the  VE’s
qualifications as an expert, and those qualifications are not at
issue here.
The VE testified that someone with Chavez’s abilities, lim‐
itations, and impairments could perform “unskilled work” at
a “light level,” including, for example, working as a “bench
assembler,” “domestic laundry worker,” or “hand packager.”
If these job titles sound obscure, that is a fair reaction, as they
come  from  a  1977  publication  of  the  Department  of  Labor
known as the Dictionary of Occupational Titles, regularly abbre‐
viated as the DOT. The Social Security Administration’s regu‐
lations authorize the agency to “take administrative notice of
reliable job information” from the DOT, among other publica‐
tions. 20 C.F.R. § 416.966(d)(1). As a result, in cases like these,
the DOT is a source that VEs regularly canvass to identify job
titles suitable for a claimant.
The  DOT  divides  jobs  into  groups  and  then  lists  and
describes  particular  job  titles  within  each  group.  The  title
“domestic laundry worker” (DOT 302.685‐010), for example,
is situated in group 302 (“Private Family Launderers”), which
contains one other job title, “ironer” (DOT 302.687‐010). U.S.
DEPARTMENT  OF  LABOR,  I  DICTIONARY  OF  OCCUPATIONAL
TITLES 302 (4th ed. 1991). Other DOT groups are much larger.
For instance, a “bench assembler” (DOT 706.684‐022), another
job that the VE identified as suitable for Chavez, is listed as
one of 59 job titles in the group “Metal Unit Assemblers and
6  No. 17‐2978
Adjusters,  Not  Elsewhere  Classified.”  U.S.  DEPARTMENT  OF
LABOR,  II  DICTIONARY  OF  OCCUPATIONAL  TITLES  706  (4th  ed.
1991). The third job the VE identified, DOT 920.687‐122, which
he  called  a  “hand  packager,”  is  actually  entitled  “machine‐
pack assembler” and exists only in the artillery industry. Id. at
937.  That  job  is  one  of  109  titles  in  group  920,  “Packaging
Occupations.” Id. at 931–38.
The  Department  of  Labor  last  revised  the  DOT  in  1991.
Recognizing  the  outdated  nature  of  many  of  the  DOT’s  job
descriptions and titles, the Social Security Administration has
been  working  (since  2008)  on  a  new  resource  that  better
reflects the jobs that exist in today’s economy. The agency has
announced  that  it  anticipates  replacing  the  DOT  with  the
Occupational Information System in 2020. SOC.  SEC.  ADMIN.,
OCCUPATIONAL  INFORMATION  SYSTEM  PROJECT,
www.ssa.gov/disabilityresearch/occupational_info_systems.
html  (last  visited  July  18,  2018).  Courts  including  our  own
have invited this development. See, e.g., Dimmett v. Colvin, 816
F.3d 486, 489 (7th Cir. 2016) (encouraging agency to complete
its  efforts  to  replace  DOT  in  light  of  its  “obsolescence”);
Browning v. Colvin, 766 F.3d 702, 709 (7th Cir. 2014) (“No doubt
many of the jobs [in the DOT] have changed and some have
disappeared.  We  have  no  idea  how  vocational  experts  and
administrative law judges deal with this problem.”); Purdy v.
Berryhill,  887  F.3d  7,  14  n.10  (1st  Cir.  2018)  (recognizing  the
criticism  leveled  at  the  DOT  and  acknowledging  that  the
agency plans to implement a replacement in 2020).
Beyond  being  outdated,  the  DOT’s  other  significant
limitation  is  that  it  describes  only  job  duties  and
requirements,  without  also  reporting  an  estimate  of  how
many  of  those  positions  exist  in  the  national  economy.  To
No. 17‐2978  7
determine  the  number  of  jobs,  a  VE  must  consult  another
resource. One commonly used is the Department of Labor’s
compilation  of  Occupational  Employment  Statistics.  That
publication does not  use the DOT job grouping system, but
instead  relies  upon  another  classification  system,  the
Standard Occupational Classification (SOC).
The use of one system to supply the job titles and another
to provide the number of jobs creates a matching problem: a
one‐to‐one correlation does not exist. When a VE identifies an
SOC code and the number of jobs in that code, that number
approximates (at best) the number of positions within a DOT
job  group—not  the  specific  DOT  job  title  that  the  VE
identified  as  suitable  for  a  particular  claimant.  Vocational
counselors have recognized that this crude data matching is
highly  inaccurate  and  thus  are  advised  not  to  perform  this
analysis  in  other  areas  of  their  practice  (when  they  are  not
testifying in a disability hearing). See Mary Barros‐Bailey and
Sylvia Karman, Occupational and Labor Market Information, in
FOUNDATIONS  OF  FORENSIC  VOCATIONAL  REHABILITATION  203,
221–25, 232–33 (Rick H. Robinson ed., 2014).
Here the VE testified that the three jobs he had identified
as suitable for Chavez existed in meaningful numbers. He es‐
timated that across the country there were 108,000 bench as‐
sembler  jobs,  306,000  domestic  laundry  worker  jobs,  and
57,000 hand packager jobs. These estimates drew a quick and
repeated objection from Chavez’s counsel, who asked the VE
how he had arrived at the job figures. The VE stated that he
applied what is known as the equal distribution method.
This  question  before  us  centers  on  the  reliability  of  the
equal  distribution  method.  The  method  operates  on  the
illogical assumption that all job titles within a particular DOT
8  No. 17‐2978
job group exist in equal numbers in the national economy. A
few  examples  illustrate  the  point  and  expose  the  method’s
distorting  effects.  Consider  a  VE  who  determines  that  a
particular claimant is able to perform one of the 24 jobs listed
within the DOT under group 313, entitled “Chefs and Cooks,
Hotels  and  Restaurants.”  U.S.  DEPARTMENT  OF  LABOR,  I
DICTIONARY  OF  OCCUPATIONAL  TITLES  313  (4th  ed.  1991).
Under the equal distribution method, the VE would assume
that  each  DOT  job  title  encompassed  by  the  corresponding
SOC code exists in equal numbers. But it does not take much
knowledge  of  job  markets  to  know  that,  while  certain  jobs
may  exist  in  large  numbers  (for  example,  a  “pizza  baker,”
DOT  313.381‐014,  who  “prepares  and  bakes  pizza  pies”),
others clearly do not (such as a “chef de froid,” DOT 313.281‐
010,  who  designs  “artistic  food  arrangements  for  buffets  in
formal restaurants” including “mold[ing] butter into artistic
forms”). Or, by way of a second example, take “Cashiers and
Tellers” (DOT group 211). Of the 28 positions included in that
group, six exist only in the racing industry, with five of those
six existing only at horse‐racing tracks. Id. at 182–84. It seems
unlikely that over 20% of all cashier and teller jobs in today’s
economy are at racetracks.
At the hearing, Chavez objected to the VE’s job‐number es‐
timates. The ALJ then asked the VE to explain how he arrived
at  his  projections.  The  VE  responded  by  stating  that  he  ap‐
plied the equal distribution method because he prefers it over
the  occupational  density  method,  which  approximates  job
numbers utilizing a software program known as JobBrowser
Pro. The VE then observed that the two methods can produce
substantially  different  estimates,  and  he  used  the  bench  as‐
sembler  position  as  an  illustration.  Under  the  occupational
No. 17‐2978  9
density method, the VE explained, the JobBrowser Pro soft‐
ware estimated that 800 bench assembler positions existed in
the  national  economy,  while  the  equal  distribution  method
put the number at 108,000. When asked by the ALJ why he
adopted the higher estimate, the VE answered only by offer‐
ing that, “I find the information on occupation density infor‐
mation produce[d] in JobBrowser Pro, a SkillTRAN product,
to the estimated numbers of jobs significant[ly] lower than I
believe would be the numbers in the national economy.” (A.R.
at 688.)
Recognizing  that  the  VE’s  response  did  not  answer  the
question, the ALJ tried again, asking the VE to explain his de‐
cision to adopt an estimate of 108,000 bench assembler jobs.
The VE then replied:
Oh, the example I gave for the unskilled, light produc‐
tion worker was [for the position of] bench assembler.
I find that JobBrowser Pro’s estimate, and it is an esti‐
mate, for that group of occupations [for] bench assem‐
bler is [a] little less than 800 in the national economy. I
just think it’s almost logical that there are more bench
assemblers in the national economy than 800.
(A.R. at 689.)
The  ALJ  did  not  stop  there,  trying  yet  a  third  time  to
understand  the  basis  for  the  VE’s  decision  to  choose  the
estimate  from the  equal  distribution  method over that  from
the JobBrowser Pro software:
Q:  And  you  said  that‐‐or  that  you  assume  that  there
would be more than 800 of that particular kind of job
in the national economy, and other than just a guess is
there some other basis in addition to your expectation
10  No. 17‐2978
that informs that opinion? Have you done labor mar‐
ket  surveys  or  other  things  that  would  indicate  that
that’s‐‐that those kind of numbers are too low or what
is it that’s telling you those‐‐
A:  I would have to say no that I have not done labor
market surveys in order to get number counts.
(A.R. at 689–90.) When asked the same question a fourth time,
the VE did not elaborate much:
I’m not sure that either one of the methods give a very
accurate  count  on  numbers.  Numbers  are  always
ranges and estimates no matter how they’re counted. I
consistently find that the numbers that I read in the Job
Browser Pro estimate at the DOT level are much lower
than what I normally find. And virtually when I look
at down to the local level in a very small region, a met‐
ropolitan statistical area[,] I don’t have the confidence
with those [JobBrowser Pro] numbers are high enough
to be a more accurate reflection of the numbers of jobs
than that group of numbers that I have given [from the
equal distribution method].
(A.R. at 690–91.) The colloquy concluded with the VE stating
that his confidence in estimates generated from the equal dis‐
tribution method was not rooted in surveys or job data, but
rather  more  generally  “based  on  [his]  experience  as  well  as
consultation  with  other  experts  throughout  the  country.”
(A.R. at 691.)
The ALJ adopted the VE’s testimony over Chavez’s objec‐
tion. In her written opinion, the ALJ explained that “[t]he vo‐
cational expert’s opinion is accepted as it is not contradicted
No. 17‐2978  11
and in light of [the VE’s] professional qualifications and famil‐
iarity with the rules governing the vocational aspects of the
Social Security disability evaluation.” (A.R. 641.)
Chavez appealed to the district court, contending that the
ALJ erred in accepting the VE’s arbitrary and unreliable opin‐
ion. The district court affirmed the ALJ’s decision, concluding
that although this court has criticized the equal distribution
method in prior opinions, we have not prohibited its use or
deemed its application reversible error. Chavez then sought
our review.
II
A
On appeal we ask whether substantial evidence supported
the ALJ’s conclusion that there are significant numbers of jobs
in the economy suitable for Kelly Chavez to perform. See 42
U.S.C.  §  405(g)  (requiring  Commissioner’s  findings  to  be
sustained  if  supported  by  substantial  evidence);  Johansen  v.
Barnhart, 314 F.3d 283, 287 (7th Cir. 2002). The Supreme Court
has explained that substantial evidence requires more than “a
mere  scintilla”  of  proof  and  instead  requires  “such  relevant
evidence  as  a  reasonable  mind  might  accept  as  adequate  to
support a conclusion.” Richardson v. Perales, 402 U.S. 389, 401
(1971).  Information  “without  a  basis  in  evidence  having
rational  probative  force”  cannot  satisfy  this  standard.  Id.  at
407  (internal  citation  omitted).  When  assessing  the
administrative record, our role is not to reweigh the evidence
or  substitute  our  judgment  for  that  of  the  agency.  Elder  v.
Astrue, 529 F.3d 408, 413 (7th Cir. 2008).
In the context of job‐number estimates, we have observed
that  the  substantial  evidence  standard  requires  the  ALJ  to
12  No. 17‐2978
ensure  that  the  approximation  is  the  product  of  a  reliable
method.  See  Donahue  v.  Barnhart,  279  F.3d  441,  446  (7th  Cir.
2002);  see  also  McKinnie,  368  F.3d  at  910  (relying  upon
Donahue  and  emphasizing  that  “an  ALJ  may  depend  on
expert testimony only if the testimony is reliable”). To put the
point  most  succinctly,  “[a]  finding  based  on  unreliable  VE
testimony is equivalent to a finding that is not supported by
substantial evidence and must be vacated.” Britton v. Astrue,
521 F.3d 799, 803 (7th Cir. 2008).
Our  prior  cases  have  not  required  us  to  explain  the  full
contours of what it means for a VE’s step five testimony to be
reliable. What we have said, though, goes most of the way to
resolving this appeal, if not resolving it entirely. In Donahue,
we observed that the substantial evidence requirement brings
with it an obligation for experts to use reliable methods. 279
F.3d at 446. We further underscored—and reiterate here—that
the  measuring  stick  for  assessing  the  reliability  of  expert
testimony in this administrative setting is not Federal Rule of
Evidence  702.  Id.  (pointing  to  Richardson  and  underscoring
that  “Rule  702  does  not  apply  to  disability  adjudications,  a
hybrid  between  the  adversarial  and  inquisitorial  models”).
We  added  that,  at  the  very  least,  “[e]vidence  is  not
‘substantial’ if vital testimony has been conjured out of whole
cloth.” Id.
Establishing the reliability of a job‐number estimate does
not require meeting an overly exacting standard. Many vari‐
ables combine to create uncertainty in a VE’s job‐number esti‐
mate. Consider what is being estimated. It is not general em‐
ployment  levels.  Nor  is  it  the  number  of  people  working
within the same general job category in a particular industry.
No. 17‐2978  13
Rather, the agency is required to focus on what jobs a partic‐
ular individual can perform (in light of the person’s age, edu‐
cation,  work  experience,  and  residual  functional  capacity)
and then to estimate the number of those jobs that exist across
the  nation  (or,  at  a  minimum,  in  a  region).  See  20  C.F.R.  §
416.960(c)(1)  (“Any  other  work  (jobs)  that  you  can  adjust  to
must exist in significant numbers in the national economy (ei‐
ther in the region where you live or in several regions in the
country).”).
A VE’s estimate will be just that—an estimate. VEs are nei‐
ther required nor expected to administer their own surveys of
employers to obtain a precise count of the number of positions
that exist at a moment in time for a specific job. Think of the
difficulty, if not impossibility, of acquiring the data necessary
to  tally  how  many  residential  laundry  worker  jobs  exist
throughout the United States or even in the Midwest. The VE
necessarily must approximate, and there is no way to avoid
uncertainty in doing so.
The law recognizes and respects these realities and limita‐
tions.  The  agency’s  regulations  do  not  mandate  a  precise
count of job numbers. See 20 C.F.R. § 416.960(c)(2). And, while
Congress has required the agency to support its findings with
substantial evidence, see 42 U.S.C. § 405(g), this standard af‐
fords the agency sufficient flexibility in approaching the ap‐
proximation  required  at  step  five.  But  any  method  that  the
agency uses to estimate job numbers must be supported with
evidence sufficient to provide some modicum of confidence
in its reliability.
14  No. 17‐2978
B
This is not our first encounter with the equal distribution
method. We have seen the method applied in other Social Se‐
curity  cases  and—for  the  exact  reason  its  application  here
troubles us—have questioned its use in at least four opinions.
See, e.g., Alaura v. Colvin, 797 F.3d 503, 507–08 (7th Cir. 2015);
Voigt v. Colvin, 781 F.3d 871, 879 (7th Cir. 2015); Browning, 766
F.3d at 709; Herrmann v. Colvin, 772 F.3d 1110, 1112–14 (7th Cir.
2014). Other courts have sounded similar concern, if not spe‐
cifically about the equal distribution method, then about the
many layers of uncertainty in the available data on job num‐
bers. See, e.g., Brault v. Soc. Sec. Admin., Commʹr, 683 F.3d 443,
447 n.4 (2d Cir. 2012) (noting the “information loss” that re‐
sults from the “many‐to‐one mapping,” between the DOT ti‐
tles and SOC codes, which results in an estimate of existing
jobs that “may deviate significantly from the actual number
of  existing  positions”).  What  most  concerns  us  is  that  the
method rests on an assumption about the relative distribution
of  jobs  within  a  broader  grouping  that  lacks  any  empirical
footing. To return to a previous example, we seriously doubt
the reliability of a method that assumes that the totality of all
cashier and teller positions in today’s economy exist in equal
numbers at racetracks as they do in banks and retail stores.
All of this brings us to the evidentiary record before the
ALJ at Chavez’s hearing. And all the record shows is that the
VE preferred the job‐number estimates produced by the equal
distribution method over those from the occupational density
method. What is entirely lacking is any testimony from the VE
explaining why he had a reasonable degree of confidence in
his estimates. The VE, for example, could have drawn on his
past  experience  with  the  equal  distribution  method,
No. 17‐2978  15
knowledge of national or local job markets, or practical learn‐
ing  from  assisting  people  with  locating  jobs  throughout  the
region, to offer an informed view on the reasonableness of his
estimates.  The  absence  of  any  such  testimony  left  the  ALJ
without any reasoned and principled basis for accepting the
job‐number estimates.
The ALJ sensed the evidentiary void and rightly reacted
by charting the course we suggested in Donahue—by asking
the VE to explain why it was reasonable to believe that 108,000
bench assembler jobs was a better estimate than 800. See 279
F.3d at 446 (“If the basis of the vocational expert’s conclusions
is  questioned  at  the  hearing,  however,  then  the  ALJ  should
make an inquiry (similar though not necessarily identical to
that of Rule 702) to find out whether the purported expert’s
conclusions are reliable.”) (emphasis omitted).
When pressed four times to explain why he chose the es‐
timates produced by the equal distribution method over those
from the JobBrowser Pro software, the VE focused entirely on
the latter  method’s shortcomings, testifying that “it’s  almost
logical” that there exist more than 800 bench assembler jobs
in the national economy. Perhaps so. But concluding that one
approach  is  flawed  does  not  demonstrate  that  another
method is reliable. Our confidence in the VE’s methodology is
further  diminished  by  his  later  concession  that  he  was  “not
sure that either one of the methods give a very accurate count
on numbers.” An affirmative explanation for the estimates he
produced was required, for without one there was no eviden‐
tiary foundation on which the ALJ could rest a finding of re‐
liability. See McKinnie, 368 F.3d at 911 (“Without first inquir‐
ing into the reliability of [VE] Bose’s opinions, the ALJ should
not  have  so  unquestioningly  accepted  her  testimony  that  a
16  No. 17‐2978
significant number of jobs were available to McKinnie.”). The
transcript leaves us with the conviction that the VE mechani‐
cally  relied  on  outdated  sources  to  estimate  job  numbers,
without  bringing  any  aspect  of  his  extensive  experience  to
bear on the reality of those numbers. We are left with the pos‐
sibility that the job‐number estimates were “conjured out of
whole cloth.” Donahue, 279 F.3d at 446.
The Commissioner argues that the ALJ fulfilled her duty
by asking questions about the VE’s method. But accepting that
argument  renders  meaningless  the  substantial  evidence
standard. The ALJ needed to do more than just ask questions;
she needed to hold the VE to account for the reliability of his
job‐number  estimates.  See  Richardson,  402  U.S.  at  407  (rein‐
forcing the necessity of evidentiary reliability in administra‐
tive proceedings). By accepting the VE’s estimates at step five
because they were “not contradicted,” the ALJ effectively and
impermissibly shifted the burden to Chavez.
Before  accepting  a  VE’s  job‐number  estimate,  the  ALJ,
when confronted by a claimant’s challenge, must require the
VE to offer a reasoned and principled explanation. At or after
a hearing, the VE could support the approximation by, for ex‐
ample, drawing on knowledge of labor market conditions and
occupational  trends,  gleaned  from  reviewing  relevant  data
sources or from placing workers in jobs. This is particularly
true where, as here, there is a world of difference between two
estimates offered by a VE—800 versus 108,000 bench assem‐
bler jobs. This approach not only properly leaves the burden
on the agency at step five, it also aligns fully with the expec‐
tations the agency itself has articulated for VEs. See SOC. SEC.
ADMIN.,  VOCATIONAL  EXPERT  HANDBOOK,  8,  38  (Aug.  2017)
No. 17‐2978  17
(“You should be prepared to explain why your sources are re‐
liable.”).
With this opinion we intend no new obligations. Substan‐
tial evidence remains the governing standard. We also recog‐
nize and underscore that VEs cannot be expected to formulate
opinions  with  more  confidence  than  imperfect  data  allows.
Nor  is  it  our  place  to  enjoin  use  of  the  equal  distribution
method. What we do require, though, is more than what sup‐
ported the ALJ’s decision here.
We recognize that the VE identified three suitable jobs for
Chavez  and  then  estimated  that,  in  total,  nearly  500,000  of
those jobs existed in today’s economy. The observation leads
nowhere, however, as each of the VE’s job estimates was the
product of the equal distribution method, and nothing in the
administrative record allows us to conclude with any reliabil‐
ity that the estimates reasonably approximate the number of
suitable jobs that exist for Chavez. The substantial evidence
standard  does  not  permit  the  shortcut,  and  too  much  is  at
stake for Chavez for us to take it. Her case must go back.
III
Whether Kelly Chavez is disabled and entitled to supple‐
mental income remains for the Social Security Administration
to decide. At a new step‐five hearing, it may be that the evi‐
dentiary gap is filled through expanded testimony from the
VE about his estimates or through some other showing that
there are a significant number of jobs in the economy Chavez
can perform given her limitations. Chavez will have the op‐
portunity to challenge any such showing by the agency.
We VACATE and REMAND for further proceedings con‐
sistent with this opinion.